- 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成... 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成...
- Kafka因为具有优秀的并发读写性能在大数据收集传输过程中有的非常重要的作用。近期项目计划将Kafka作为数据建模分析的总线使用，但是因为项目的特殊性需求，我们在两个不同的地理位置上部署了两套Kafka队列，并且要求其中一套能把数据传递到另一套的指定队列，说简单点就是需要从一个Kafka队列里读数据，然后写到另一个Kafka队列里，读写Kafka队列的工具有很多，相比Apache Flume我们更 Kafka因为具有优秀的并发读写性能在大数据收集传输过程中有的非常重要的作用。近期项目计划将Kafka作为数据建模分析的总线使用，但是因为项目的特殊性需求，我们在两个不同的地理位置上部署了两套Kafka队列，并且要求其中一套能把数据传递到另一套的指定队列，说简单点就是需要从一个Kafka队列里读数据，然后写到另一个Kafka队列里，读写Kafka队列的工具有很多，相比Apache Flume我们更
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题,国内某云使用RocketMQ，性能对比唱衰kafka 64分区时出现性能拐点，为此我们表示不服，从理论到实测数据，一步步揭开所谓单机性能拐点的秘密及解决之道。 kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题,国内某云使用RocketMQ，性能对比唱衰kafka 64分区时出现性能拐点，为此我们表示不服，从理论到实测数据，一步步揭开所谓单机性能拐点的秘密及解决之道。
- 版权归PUMA项目组所有，转载请声明，多谢。 kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题（比如：https://yq.aliyun.com/articles/62832?spm=5176.100239.blogcont25379.8.KMUH1L）,国内某云使用Rock 版权归PUMA项目组所有，转载请声明，多谢。 kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题（比如：https://yq.aliyun.com/articles/62832?spm=5176.100239.blogcont25379.8.KMUH1L）,国内某云使用Rock
- Splunk是业界赫赫有名的数据分析工具，比较擅长BI和安全分析，我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成，Splunk官方提供的一个Kafka的插件，可以很容易的做到与开源Kafka集成，本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka（Splunk搭建请参考，Kafka搭建请参考）。 # 概述Spl Splunk是业界赫赫有名的数据分析工具，比较擅长BI和安全分析，我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成，Splunk官方提供的一个Kafka的插件，可以很容易的做到与开源Kafka集成，本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka（Splunk搭建请参考，Kafka搭建请参考）。 # 概述Spl
- 即MessageSet是MessageAndOffset类的集合。case class MessageAndOffset(message: Message, offset: Long)MessageAndOffset是一个case类，带有Message和offset这两个成员。从名字就知道是带ByteBuffer的MessageSet类，其构造函数类会调用create函数，里面就会创建一个Byte 即MessageSet是MessageAndOffset类的集合。case class MessageAndOffset(message: Message, offset: Long)MessageAndOffset是一个case类，带有Message和offset这两个成员。从名字就知道是带ByteBuffer的MessageSet类，其构造函数类会调用create函数，里面就会创建一个Byte
- 27. read: 先说说这个方法的返回对象: FetchDataInfo——这是一个case类，包含了日志位移元数据信息以及一个消息集合。这个方法也很简单，就是从日志中读取消息，将起始位移和读取到的消息集合封装进一个FetchDataInfo中。此方法接收3个参数: startOffset表示读取操作执行的开始位移点; maxLength表示最多读取的字节数; maxOffset表示读取操 27. read: 先说说这个方法的返回对象: FetchDataInfo——这是一个case类，包含了日志位移元数据信息以及一个消息集合。这个方法也很简单，就是从日志中读取消息，将起始位移和读取到的消息集合封装进一个FetchDataInfo中。此方法接收3个参数: startOffset表示读取操作执行的开始位移点; maxLength表示最多读取的字节数; maxOffset表示读取操
- Log模块读写源码分析1. 基本原理注：本文部分内容摘自互联网1.1 Kafka消息存储方式首先深入的了解一下Kafka中的Topic.Topic是发布的消息的类别或者种子Feed名。对于每一个Topic, Kafka集群维护这一个分区的log,就像下图中的示例：每一个分区都是一个顺序的、不可变的消息队列，并且可以持续的添加。分区中的消息都被分配了一个序列号，称之为 Log模块读写源码分析1. 基本原理注：本文部分内容摘自互联网1.1 Kafka消息存储方式首先深入的了解一下Kafka中的Topic.Topic是发布的消息的类别或者种子Feed名。对于每一个Topic, Kafka集群维护这一个分区的log,就像下图中的示例：每一个分区都是一个顺序的、不可变的消息队列，并且可以持续的添加。分区中的消息都被分配了一个序列号，称之为
- 这里主要是根据config.queueEnqueueTimeoutMs参数选择不同的入队列方式，该参数的值含义如下：# Timeout for event enqueue:# 0: events will be enqueued immediately or dropped if the queue is full# -ve: enqueue will block indefinitely if 这里主要是根据config.queueEnqueueTimeoutMs参数选择不同的入队列方式，该参数的值含义如下：# Timeout for event enqueue:# 0: events will be enqueued immediately or dropped if the queue is full# -ve: enqueue will block indefinitely if
- 上期链接：kafka源码解析之一：源代码工程目录介绍1. 初始化代码分析：首先Demo里封装了一个Producer类， 这个类提供了同步和异步两种方式来发送消息。 异步发送消息是基于同步发送消息的接口来实现的。异步发送消息的实现很简单，客户端消息发送过来以后，先放入到一个队列中然后就返回了。Producer再开启一个线程（ProducerSendThread）不断从队列中取出消息，然后调用同步 上期链接：kafka源码解析之一：源代码工程目录介绍1. 初始化代码分析：首先Demo里封装了一个Producer类， 这个类提供了同步和异步两种方式来发送消息。 异步发送消息是基于同步发送消息的接口来实现的。异步发送消息的实现很简单，客户端消息发送过来以后，先放入到一个队列中然后就返回了。Producer再开启一个线程（ProducerSendThread）不断从队列中取出消息，然后调用同步
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
即将直播
热门标签