- 文章目录 概述 磁盘顺序读写 批量操作优化 Sendfile 零拷贝 MMAP 技术 小结 概述 Kafka 所实现的高性能不需要太高配置的... 文章目录 概述 磁盘顺序读写 批量操作优化 Sendfile 零拷贝 MMAP 技术 小结 概述 Kafka 所实现的高性能不需要太高配置的...
- 文章目录 概述Spring-kafka生产者源码流程Spring-kafka消费者源码流程（`@EnableKafka`和`@KafkaListener` ）FlowKafkaListenerAn... 文章目录 概述Spring-kafka生产者源码流程Spring-kafka消费者源码流程（`@EnableKafka`和`@KafkaListener` ）FlowKafkaListenerAn...
- 文章目录 PreQuestionAnswer扩展知识 Pre #kafka spring.kafka.bootstrap-servers=10.11.114.247:9092 s... 文章目录 PreQuestionAnswer扩展知识 Pre #kafka spring.kafka.bootstrap-servers=10.11.114.247:9092 s...
- 快速开始教程：http://kafka.apache.org/quickstart 单节点服务 1、下载解压： http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.1/kafka_2.11-2.2.1.tgz 2、启动服务 需要先启动ZooKeeper服务 $ zkServer.sh start # 如果没... 快速开始教程：http://kafka.apache.org/quickstart 单节点服务 1、下载解压： http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.2.1/kafka_2.11-2.2.1.tgz 2、启动服务 需要先启动ZooKeeper服务 $ zkServer.sh start # 如果没...
- pykafka https://pypi.org/project/pykafka/ http://github.com/Parsely/pykafka/ https://pykafka.readthedocs.io/ kafka-python https://pypi.org/project/kafka-python/ https://github.com/dpkp/... pykafka https://pypi.org/project/pykafka/ http://github.com/Parsely/pykafka/ https://pykafka.readthedocs.io/ kafka-python https://pypi.org/project/kafka-python/ https://github.com/dpkp/...
- 文章目录 场景 消费形式 kafka基础架构 Record 、Topic、Broker、leader、follower 分区&日志 生产者与消费者 写入和读出的性能 Kafka环境搭建 & Topic管理： kafka和zookeeper之间的关系 1. broker 2. consumer 单机模式 集群... 文章目录 场景 消费形式 kafka基础架构 Record 、Topic、Broker、leader、follower 分区&日志 生产者与消费者 写入和读出的性能 Kafka环境搭建 & Topic管理： kafka和zookeeper之间的关系 1. broker 2. consumer 单机模式 集群...
- 文章目录 消息队列概述 分类 消息系统的适用场景 消息队列对比 RabbitMQ Redis ZeroMQ ActiveMQ Kafka介绍 概述 使用场景 Messaging Website activity tracking Metric Log Aggregation 特点 安装 基本指令 ... 文章目录 消息队列概述 分类 消息系统的适用场景 消息队列对比 RabbitMQ Redis ZeroMQ ActiveMQ Kafka介绍 概述 使用场景 Messaging Website activity tracking Metric Log Aggregation 特点 安装 基本指令 ...
- Apache Kafka 的流行并未退缩。如果有的话，它的采用率是有目共睹的。从视觉上看，以下是过去六年中全球 Kafka 的谷歌搜索趋势： image.png 在书名中使用“有效”一词通常是为各自领域中最权威的文本保留的。例如，Scott Meyers 的Effective C++或Josh Bloch 的Effective Java。它们是绝对的精华。 那么，... Apache Kafka 的流行并未退缩。如果有的话，它的采用率是有目共睹的。从视觉上看，以下是过去六年中全球 Kafka 的谷歌搜索趋势： image.png 在书名中使用“有效”一词通常是为各自领域中最权威的文本保留的。例如，Scott Meyers 的Effective C++或Josh Bloch 的Effective Java。它们是绝对的精华。 那么，...
- 发送消息的流程 Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里面kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费Consumer从kafka集群pull数据，并控制获取消息的offset 1 同步发送模式... 发送消息的流程 Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里面kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费Consumer从kafka集群pull数据，并控制获取消息的offset 1 同步发送模式...
- 1 大数据常用的选主机制 Leader选举算法非常多，大数据领域常用的有以下两种: 1.1 Zab(zookeeper使用) Zab协议有四个阶段 Leader electionDiscovery (E#epoch establish)Synchronization (5X#sync with followers)Broadcast 比如3个节点选举leade... 1 大数据常用的选主机制 Leader选举算法非常多，大数据领域常用的有以下两种: 1.1 Zab(zookeeper使用) Zab协议有四个阶段 Leader electionDiscovery (E#epoch establish)Synchronization (5X#sync with followers)Broadcast 比如3个节点选举leade...
- Acceptor 监听客户端的连接请求，并建立和客户端的数据传输通道，然后为这个客户端指定一个Processor，它的工作就到此结束，这样它就可以去响应下一个客户端的连接请求了。 Processor 主要职责是负责从客户端读取数据和将响应返回给客户端，它本身不处理具体的业务逻辑，每个Processor都有一个Selector，用来监听多个客户端，因此可以非阻... Acceptor 监听客户端的连接请求，并建立和客户端的数据传输通道，然后为这个客户端指定一个Processor，它的工作就到此结束，这样它就可以去响应下一个客户端的连接请求了。 Processor 主要职责是负责从客户端读取数据和将响应返回给客户端，它本身不处理具体的业务逻辑，每个Processor都有一个Selector，用来监听多个客户端，因此可以非阻...
- 1 分区消费模式 直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。 Kafka支持的协议众多，使用比较重要的有: 获取消息的FetchRequest和FetchResponse获取offset的OffsetRequest和... 1 分区消费模式 直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。 Kafka支持的协议众多，使用比较重要的有: 获取消息的FetchRequest和FetchResponse获取offset的OffsetRequest和...
- Kafka是分布式的，基于发布订阅的消息系统。 1 特点 同时为发布和订阅提供高吞吐量 Kafka每秒可生产约25万条消息（50 MB），每秒处理55万条消息（110 MB）持久化 默认就将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及防止数据丢失。以O(1)时间复杂度提供消息持久化能力，即使对TB级以上数据也能保证常... Kafka是分布式的，基于发布订阅的消息系统。 1 特点 同时为发布和订阅提供高吞吐量 Kafka每秒可生产约25万条消息（50 MB），每秒处理55万条消息（110 MB）持久化 默认就将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及防止数据丢失。以O(1)时间复杂度提供消息持久化能力，即使对TB级以上数据也能保证常...
- 在Kafka的数据路径下有很多.index和.timeindex后缀文件： .index文件，即Kafka中的位移索引文件.timeindex文件，即时间戳索引文件。 1 OffsetIndex - 位移索引 1.1 定义 用于根据位移值快速查找消息所在文件位置。 每当Consumer需要从topic分区的某位置开始读消息时，Kafka就会用OffsetInd... 在Kafka的数据路径下有很多.index和.timeindex后缀文件： .index文件，即Kafka中的位移索引文件.timeindex文件，即时间戳索引文件。 1 OffsetIndex - 位移索引 1.1 定义 用于根据位移值快速查找消息所在文件位置。 每当Consumer需要从topic分区的某位置开始读消息时，Kafka就会用OffsetInd...
- 1.kafka启动: ./kafka-server-start.sh ../config/server.properties & 2.创建topic: ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tes 3.查看... 1.kafka启动: ./kafka-server-start.sh ../config/server.properties & 2.创建topic: ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tes 3.查看...
上滑加载中
推荐直播
-
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
基于华为云码道，构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品，并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签