- 本文主要内容考察Kafka架构。生产者发送消息。消费者读取消息。Kafka安装与运行。虽然这是一本关于Kafka Streams的书，但是要研究Kafka Streams不可能不探讨Kafka，毕竟，Kafka Streams是一个运行在Kafka之上的库。Kafka Streams设计得非常好，因此即使具有很少或者零Kafka经验的人都可以启动和运行Kafka Streams。但是，你所取... 本文主要内容考察Kafka架构。生产者发送消息。消费者读取消息。Kafka安装与运行。虽然这是一本关于Kafka Streams的书，但是要研究Kafka Streams不可能不探讨Kafka，毕竟，Kafka Streams是一个运行在Kafka之上的库。Kafka Streams设计得非常好，因此即使具有很少或者零Kafka经验的人都可以启动和运行Kafka Streams。但是，你所取...
- 分布式消息服务Kafka版提供了消息积压诊断功能，如果消息存在堆积，诊断后会生成诊断记录，诊断记录显示消息堆积可能的原因、受影响的分区或者broker，以及解决消息堆积的建议。 分布式消息服务Kafka版提供了消息积压诊断功能，如果消息存在堆积，诊断后会生成诊断记录，诊断记录显示消息堆积可能的原因、受影响的分区或者broker，以及解决消息堆积的建议。
- 在这个数字化时代，分布式系统已经成为我们日常生活和工作不可或缺的一部分。而消息队列中间件，如Kafka、RabbitMQ等，更是这些系统中的关键组件。它们承担着消息传递、系统解耦、异步处理等重要职责。但你是否真正了解如何对这些中间件进行有效的测试呢？大咖公开课亮点● 深入剖析Kafka等消息队列中间件： 我们将详细介绍Kafka、RabbitMQ等主流消息队列中间件的基本原理、架构和特性，帮... 在这个数字化时代，分布式系统已经成为我们日常生活和工作不可或缺的一部分。而消息队列中间件，如Kafka、RabbitMQ等，更是这些系统中的关键组件。它们承担着消息传递、系统解耦、异步处理等重要职责。但你是否真正了解如何对这些中间件进行有效的测试呢？大咖公开课亮点● 深入剖析Kafka等消息队列中间件： 我们将详细介绍Kafka、RabbitMQ等主流消息队列中间件的基本原理、架构和特性，帮...
- ELK集群+(Filebeat+Nginx)+Kafka集群、rsync同步和inotify上传 介绍ELK是Elasticsearch, Logstash, Kibana的简称，是一个流行的日志和数据处理框架。结合Filebeat和Nginx，再加上Kafka集群，可以提供高效的日志收集、存储和分析功能。rsync和inotify用于文件同步和监控，可以进一步增强系统的灵活性和可靠性。 ... ELK集群+(Filebeat+Nginx)+Kafka集群、rsync同步和inotify上传 介绍ELK是Elasticsearch, Logstash, Kibana的简称，是一个流行的日志和数据处理框架。结合Filebeat和Nginx，再加上Kafka集群，可以提供高效的日志收集、存储和分析功能。rsync和inotify用于文件同步和监控，可以进一步增强系统的灵活性和可靠性。 ...
- 作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。01如何构建一个基本的请求和处理响应一个消息队列涉及的网络通信主要有两块：消息生产者与消息队列服务器之间（Kafka 中是生产者向队列「推」消息）消息消费者与... 作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。01如何构建一个基本的请求和处理响应一个消息队列涉及的网络通信主要有两块：消息生产者与消息队列服务器之间（Kafka 中是生产者向队列「推」消息）消息消费者与...
- 今天我们一起梳理了 kafka 2.8.1 版本自带的 BenchMark 测试脚本，我们熟悉了常见的性能测试的工具行命令。希望这些命令在工作做 Kafka 集群BenchMark测试有所帮助。 今天我们一起梳理了 kafka 2.8.1 版本自带的 BenchMark 测试脚本，我们熟悉了常见的性能测试的工具行命令。希望这些命令在工作做 Kafka 集群BenchMark测试有所帮助。
- Kafka采用Pull模式为主，消费者主动拉取消息，保证控制和灵活性；同时融合Push模式，如自动Partition再分配和有序消息传递，实现高可用和负载均衡。专栏提供全面资源和面试题，助力Kafka学习。 Kafka采用Pull模式为主，消费者主动拉取消息，保证控制和灵活性；同时融合Push模式，如自动Partition再分配和有序消息传递，实现高可用和负载均衡。专栏提供全面资源和面试题，助力Kafka学习。
- QueueFullException是在消息队列满或资源受限时抛出的异常，涉及队列容量、资源限制、性能阈值、消息大小、队列策略、系统错误、并发控制、配置错误、外部依赖和安全限制等因素。处理该异常需根据具体场景调整队列配置、优化处理策略等。 QueueFullException是在消息队列满或资源受限时抛出的异常，涉及队列容量、资源限制、性能阈值、消息大小、队列策略、系统错误、并发控制、配置错误、外部依赖和安全限制等因素。处理该异常需根据具体场景调整队列配置、优化处理策略等。
- 01引言在一个线上 Kafka 集群中，流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生，而这些变化可能导致流量在集群各个节点间分布不均，从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同分区在各个节点间移动，以达到平衡流量和数据的目的。当前，Apache Kafka 仅提供了分区迁移工具，但具体的迁移计划则需要运维人员自行决定，而对于动辄成百... 01引言在一个线上 Kafka 集群中，流量的波动、Topic 的创建和删除、Broker 的消亡和启动都随时可能发生，而这些变化可能导致流量在集群各个节点间分布不均，从而导致资源浪费、影响业务稳定。此时则需要主动将 Topic 的不同分区在各个节点间移动，以达到平衡流量和数据的目的。当前，Apache Kafka 仅提供了分区迁移工具，但具体的迁移计划则需要运维人员自行决定，而对于动辄成百...
- 作者｜黄章衡，小红书消息引擎研发专家 01 引言Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几... 作者｜黄章衡，小红书消息引擎研发专家 01 引言Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几...
- 01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速... 01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速...
- 注意：本文内容截止到 2024 年 2 月 26 日发布的 Kafka 3.7.0 版本。MirrorMaker2（后文简称 MM2）在 2019 年 12 月随 Kafka 2.4.0 一起推出。顾名思义，是为了解决 Kafka 集群之间数据复制和数据同步的问题而诞生的 Kafka 官方的数据复制工具。在实际生产中，经常被用来实现 Kafka 数据的备份，迁移和灾备等目的。在此也预告一下，... 注意：本文内容截止到 2024 年 2 月 26 日发布的 Kafka 3.7.0 版本。MirrorMaker2（后文简称 MM2）在 2019 年 12 月随 Kafka 2.4.0 一起推出。顾名思义，是为了解决 Kafka 集群之间数据复制和数据同步的问题而诞生的 Kafka 官方的数据复制工具。在实际生产中，经常被用来实现 Kafka 数据的备份，迁移和灾备等目的。在此也预告一下，...
- 01 引言单分区写入在一些需要全局顺序消息的场景中具备重要应用价值。在一些严格保序场景下，需要将分区数设置为 1，并且只用单个生产者来发送数据，从而确保消费者可以按照原始顺序读取所有数据。此时，Kafka 的单分区写入性能将会决定整个系统的吞吐上限。在我们的实践中发现，Kafka 由于其本身线程模型实现上的制约，并没有将单分区写入性能的极限发挥出来。本文今天将具体解读 Kafka 线程模型的... 01 引言单分区写入在一些需要全局顺序消息的场景中具备重要应用价值。在一些严格保序场景下，需要将分区数设置为 1，并且只用单个生产者来发送数据，从而确保消费者可以按照原始顺序读取所有数据。此时，Kafka 的单分区写入性能将会决定整个系统的吞吐上限。在我们的实践中发现，Kafka 由于其本身线程模型实现上的制约，并没有将单分区写入性能的极限发挥出来。本文今天将具体解读 Kafka 线程模型的...
- 01 背景弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言，由于其存储架构诞生于 IDC 时代，针对物理硬件设计，存储层强依赖本地存储，已不能很好地适应现在云的时代了。当然，这并不意味着我们要放弃 Kafka。Kafka 凭借极其优异的生态已经塑造了其在流处理领域不可撼动的地位，Kafka API ... 01 背景弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言，由于其存储架构诞生于 IDC 时代，针对物理硬件设计，存储层强依赖本地存储，已不能很好地适应现在云的时代了。当然，这并不意味着我们要放弃 Kafka。Kafka 凭借极其优异的生态已经塑造了其在流处理领域不可撼动的地位，Kafka API ...
- 手拉手入门springboot+kafka 手拉手入门springboot+kafka
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签