- 本文以华为云分布式消息服务 DMS for Kafka 为例,手把手走一遍创建实例、创建 Topic,再用命令行完成一次真实的收发验证,适合第一次接触 Kafka 的开发者按步骤复现。 本文以华为云分布式消息服务 DMS for Kafka 为例,手把手走一遍创建实例、创建 Topic,再用命令行完成一次真实的收发验证,适合第一次接触 Kafka 的开发者按步骤复现。
- 摘要:大促期间应用日志峰值从 2 万条/秒飙到 15 万条/秒,原有 Filebeat 直写 Elasticsearch 的架构频繁出现 ES OOM、索引写入拒绝、日志丢失等问题。本文以电商大促日志系统扩容为场景,基于华为云分布式消息服务 DMS for Kafka,在日志采集端与存储端之间引入消息队列作为缓冲层,实现削峰填谷、故障隔离与多消费者并行处理,将日志系统的端到端稳定性从 95%... 摘要:大促期间应用日志峰值从 2 万条/秒飙到 15 万条/秒,原有 Filebeat 直写 Elasticsearch 的架构频繁出现 ES OOM、索引写入拒绝、日志丢失等问题。本文以电商大促日志系统扩容为场景,基于华为云分布式消息服务 DMS for Kafka,在日志采集端与存储端之间引入消息队列作为缓冲层,实现削峰填谷、故障隔离与多消费者并行处理,将日志系统的端到端稳定性从 95%...
- 摘要:在现代大规模分布式系统、实时日志流处理与大数据数仓接入架构中,高吞吐、低时延的消息中间件是承接流量洪峰的核心大动脉。华为云分布式消息服务(Distributed Message Service,DMS for Kafka)提供了全托管、金融级高可用的分布式流数据底座。然而在落地亿级日活或突发大促流量的生产实践中,架构团队常面临“消费者处理变慢引发千万级消息堆积、消费组频繁 Rebala... 摘要:在现代大规模分布式系统、实时日志流处理与大数据数仓接入架构中,高吞吐、低时延的消息中间件是承接流量洪峰的核心大动脉。华为云分布式消息服务(Distributed Message Service,DMS for Kafka)提供了全托管、金融级高可用的分布式流数据底座。然而在落地亿级日活或突发大促流量的生产实践中,架构团队常面临“消费者处理变慢引发千万级消息堆积、消费组频繁 Rebala...
- 一、为什么需要重试与死信队列在订单、支付、通知这类业务里,生产者把消息写入 Kafka 只是第一步,真正的风险在消费端:下游接口超时、数据库瞬间不可用、消息体本身有脏数据。消费失败时如果直接提交位移丢弃消息,业务数据就丢了;如果无限重试,又会堵住整个分区。重试 + 死信队列(DLT)就是在两者之间取一个折中:先按退避策略重试几次,仍失败再转入死信主题,由人工或补偿任务处理。需要先说清一个事... 一、为什么需要重试与死信队列在订单、支付、通知这类业务里,生产者把消息写入 Kafka 只是第一步,真正的风险在消费端:下游接口超时、数据库瞬间不可用、消息体本身有脏数据。消费失败时如果直接提交位移丢弃消息,业务数据就丢了;如果无限重试,又会堵住整个分区。重试 + 死信队列(DLT)就是在两者之间取一个折中:先按退避策略重试几次,仍失败再转入死信主题,由人工或补偿任务处理。需要先说清一个事...
- 一、前言:云原生时代消息基础设施的技术演进在现代企业级分布式系统与微服务架构中,消息流平台(Message Streaming Platform)承担着系统解耦、异步通信、千万级流量削峰填谷以及海量实时数据管道构建的核心重任。随着业务全面迈向云原生时代,传统的分布式消息队列在面对动态弹性伸缩、百万级高并发分区扩展、跨地域多租户隔离以及PB级冷热分层存储等复杂业务诉求时,经历了深刻的架构重塑。... 一、前言:云原生时代消息基础设施的技术演进在现代企业级分布式系统与微服务架构中,消息流平台(Message Streaming Platform)承担着系统解耦、异步通信、千万级流量削峰填谷以及海量实时数据管道构建的核心重任。随着业务全面迈向云原生时代,传统的分布式消息队列在面对动态弹性伸缩、百万级高并发分区扩展、跨地域多租户隔离以及PB级冷热分层存储等复杂业务诉求时,经历了深刻的架构重塑。...
- Kafka、RocketMQ 与 RabbitMQ 都能完成消息中转,但设计起点与优势场景并不相同,脱离业务需求比较参数容易得出错误结论。本文从三者的出身与定位切入,按吞吐与延迟、功能特性、生态与运维成本展开对比,再按日志数据管道、交易业务消息与中小规模集成等场景给出参考建议,并强调团队经验在选型中的权重 Kafka、RocketMQ 与 RabbitMQ 都能完成消息中转,但设计起点与优势场景并不相同,脱离业务需求比较参数容易得出错误结论。本文从三者的出身与定位切入,按吞吐与延迟、功能特性、生态与运维成本展开对比,再按日志数据管道、交易业务消息与中小规模集成等场景给出参考建议,并强调团队经验在选型中的权重
- 拿 TPS 数字选消息队列,通常在上线三个月后开始还债。真正决定选型的是投递语义、顺序性范围和积压后的恢复方式。本文用三张对照表说清 Kafka、RabbitMQ、RocketMQ 的边界,并拆解"消息丢了""重复消费""顺序乱了"这三类故障的真实成因与配置项。 拿 TPS 数字选消息队列,通常在上线三个月后开始还债。真正决定选型的是投递语义、顺序性范围和积压后的恢复方式。本文用三张对照表说清 Kafka、RabbitMQ、RocketMQ 的边界,并拆解"消息丢了""重复消费""顺序乱了"这三类故障的真实成因与配置项。
- 本文以电商大促场景为切入点,详细讲解如何基于华为云 DMS for Kafka 构建高可用的异步消息通信架构。内容涵盖实例创建与规格选型、Topic 分区与副本策略设计、生产者与消费者核心代码实现、消息顺序性保证、消费幂等性处理、死信队列机制,以及结合 ECS 部署的完整生产级架构方案。通过本文,读者可以掌握从零搭建一套具备削峰填谷、解耦通信、可靠投递能力的消息中间件体系。 本文以电商大促场景为切入点,详细讲解如何基于华为云 DMS for Kafka 构建高可用的异步消息通信架构。内容涵盖实例创建与规格选型、Topic 分区与副本策略设计、生产者与消费者核心代码实现、消息顺序性保证、消费幂等性处理、死信队列机制,以及结合 ECS 部署的完整生产级架构方案。通过本文,读者可以掌握从零搭建一套具备削峰填谷、解耦通信、可靠投递能力的消息中间件体系。
- 大促秒杀、定时任务集中触发时,流量往往在几秒内冲到平时的十倍以上。如果请求直达数据库和后端服务,连接池很快被打满,超时和失败会层层放大。这时,消息队列就是一道缓冲带:先把请求收下来,再按后端能承受的速度慢慢处理。Kafka适合做这道缓冲带。它以分区、顺序写盘和持久化存储为基础,吞吐量高,也能扛住短时间的大量写入。生产者把订单、通知、日志等事件写入主题,消费者按自己的节奏拉取处理,上下游不再互... 大促秒杀、定时任务集中触发时,流量往往在几秒内冲到平时的十倍以上。如果请求直达数据库和后端服务,连接池很快被打满,超时和失败会层层放大。这时,消息队列就是一道缓冲带:先把请求收下来,再按后端能承受的速度慢慢处理。Kafka适合做这道缓冲带。它以分区、顺序写盘和持久化存储为基础,吞吐量高,也能扛住短时间的大量写入。生产者把订单、通知、日志等事件写入主题,消费者按自己的节奏拉取处理,上下游不再互...
- 本文以华为云 DMS for Kafka 为例,完整演示消息队列实操:创建 Kafka 实例、创建 Topic、命令行生产消费验证,并给出可直接运行的 hcloud CLI、Kafka 原生命令与 Python kafka-python 生产消费示例,帮助读者快速跑通 Kafka 消息收发闭环。 本文以华为云 DMS for Kafka 为例,完整演示消息队列实操:创建 Kafka 实例、创建 Topic、命令行生产消费验证,并给出可直接运行的 hcloud CLI、Kafka 原生命令与 Python kafka-python 生产消费示例,帮助读者快速跑通 Kafka 消息收发闭环。
- 消息队列积压是最常见的线上告警之一:生产者还在不停地写,消费者却越落越远,Lag 曲线一路向上。积压本身不可怕,可怕的是不知道它卡在哪一环。本文按“先看指标、再定原因、最后动手”的顺序,讲一套可直接照着做的排查流程。一、先确认:到底积压了多少,在哪个环节打开 Kafka 的监控,先看三个数:Lag(消费滞后量):Log End Offset - Consumer Offset,按 Topic... 消息队列积压是最常见的线上告警之一:生产者还在不停地写,消费者却越落越远,Lag 曲线一路向上。积压本身不可怕,可怕的是不知道它卡在哪一环。本文按“先看指标、再定原因、最后动手”的顺序,讲一套可直接照着做的排查流程。一、先确认:到底积压了多少,在哪个环节打开 Kafka 的监控,先看三个数:Lag(消费滞后量):Log End Offset - Consumer Offset,按 Topic...
- 消费组每隔几分钟就触发一次 rebalance、lag 越涨越高。多数情况不是 Kafka 集群不稳,而是 poll 回调里的同步处理耗时超过了 max.poll.interval.ms。本文给出定位步骤与分层修复方案。 消费组每隔几分钟就触发一次 rebalance、lag 越涨越高。多数情况不是 Kafka 集群不稳,而是 poll 回调里的同步处理耗时超过了 max.poll.interval.ms。本文给出定位步骤与分层修复方案。
- 背景某天凌晨,订单系统的核心 Topic 消费延迟告警触发:消费组 lag 突然从 0 涨到 120 万条,订单状态同步延迟超过 15 分钟,下游仓储、财务系统陆续出现超时。本文记录从发现告警到彻底消除积压的完整排查过程。先讲一个核心概念:lag = 分区最新位移(log-end-offset)- 消费组已提交位移(committed offset)。lag 上涨只有两种可能:生产太快,或... 背景某天凌晨,订单系统的核心 Topic 消费延迟告警触发:消费组 lag 突然从 0 涨到 120 万条,订单状态同步延迟超过 15 分钟,下游仓储、财务系统陆续出现超时。本文记录从发现告警到彻底消除积压的完整排查过程。先讲一个核心概念:lag = 分区最新位移(log-end-offset)- 消费组已提交位移(committed offset)。lag 上涨只有两种可能:生产太快,或...
- 本文从Topic、分区与副本的核心模型讲起,讲清生产者acks与幂等、消费者偏移量手动提交、Rebalance成因与缓解方法,以及消息不丢不重的三环节对照,最后给出上线前逐项核对的清单,帮你第一次就把Kafka用对。 本文从Topic、分区与副本的核心模型讲起,讲清生产者acks与幂等、消费者偏移量手动提交、Rebalance成因与缓解方法,以及消息不丢不重的三环节对照,最后给出上线前逐项核对的清单,帮你第一次就把Kafka用对。
- 一、为什么选择托管版 Kafka在订单、支付、日志、埋点等业务系统里,我们经常需要一个高吞吐、可持久化、支持多订阅者的消息中间件。自建 Apache Kafka 意味着要自己维护 broker 节点、处理分区副本均衡、监控磁盘与 ISR、升级版本并在故障时手动替换节点,运维成本不低。华为云分布式消息服务 Kafka(DMS for Kafka)提供了兼容开源 Kafka 协议的全托管实例,底... 一、为什么选择托管版 Kafka在订单、支付、日志、埋点等业务系统里,我们经常需要一个高吞吐、可持久化、支持多订阅者的消息中间件。自建 Apache Kafka 意味着要自己维护 broker 节点、处理分区副本均衡、监控磁盘与 ISR、升级版本并在故障时手动替换节点,运维成本不低。华为云分布式消息服务 Kafka(DMS for Kafka)提供了兼容开源 Kafka 协议的全托管实例,底...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签