- 哈喽~大家好啊,我是彦祖😋之前,我写过一篇文章叫做 Kafka如何修改分区Leader就是因为在我们实际的运维过程中,需要指定某个副本为ISR,但是呢 Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。关于Leader选举策略,你可以看这篇文章Leader选举流程和4种选举策略但是我们在之前的文章中,是留下了一个小尾巴-优化与改进。我们先简单的回顾一下之前的2... 哈喽~大家好啊,我是彦祖😋之前,我写过一篇文章叫做 Kafka如何修改分区Leader就是因为在我们实际的运维过程中,需要指定某个副本为ISR,但是呢 Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。关于Leader选举策略,你可以看这篇文章Leader选举流程和4种选举策略但是我们在之前的文章中,是留下了一个小尾巴-优化与改进。我们先简单的回顾一下之前的2...
- kafka中的iSR伸缩机制 kafka中的iSR伸缩机制
- 简介Kafka的API有Producer API，Consumer API还有自定义Interceptor (自定义拦截器)，以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中，涉及两个线程：main线程和Sender线程，以及一个线程共享变量Rec... 简介Kafka的API有Producer API，Consumer API还有自定义Interceptor (自定义拦截器)，以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中，涉及两个线程：main线程和Sender线程，以及一个线程共享变量Rec...
- 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗
- 即如何保证消息的可靠性传输？用MQ，数据：不能多，重复消费和幂等性问题不能少，这数据别搞丢若这是用MQ传递非常核心的消息，比如计费系统是很重的一个业务，操作很耗时，经常将计费做成异步化，然后中间就是加个MQ。为确保MQ传递过程中绝不会把计费消息弄丢。广告主投放个广告，说好用户点击一次扣费1块钱。结果要是用户动不动点击了一次，扣费时搞的消息丢了，公司就会不断的少几块。 如何解决MQ丢数据，一般... 即如何保证消息的可靠性传输？用MQ，数据：不能多，重复消费和幂等性问题不能少，这数据别搞丢若这是用MQ传递非常核心的消息，比如计费系统是很重的一个业务，操作很耗时，经常将计费做成异步化，然后中间就是加个MQ。为确保MQ传递过程中绝不会把计费消息弄丢。广告主投放个广告，说好用户点击一次扣费1块钱。结果要是用户动不动点击了一次，扣费时搞的消息丢了，公司就会不断的少几块。 如何解决MQ丢数据，一般...
- Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官... Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官...
- 搞懂AbstractFetcherThread的processPartitionData、truncate、buildFetch方法，就掌握了拉取线程的处理逻辑。最后搞懂串联起这三个方法的doWork方法就能完整理解Follower副本应用拉取线程（即ReplicaFetcherThread线程），从Leader副本获取消息并处理的流程了。 AbstractFetcherThread#doW... 搞懂AbstractFetcherThread的processPartitionData、truncate、buildFetch方法，就掌握了拉取线程的处理逻辑。最后搞懂串联起这三个方法的doWork方法就能完整理解Follower副本应用拉取线程（即ReplicaFetcherThread线程），从Leader副本获取消息并处理的流程了。 AbstractFetcherThread#doW...
- AbstractFetcherThread：拉取消息的步骤副本机制是Kafka实现数据高可靠性的基础：同一个分区下的多个副本分散在不同的Broker机器上，它们保存相同的消息数据以实现高可靠性。那如何确保所有副本上的数据一致性呢？最常见方案当属Leader/Follower备份机制（Leader/Follower Replication）。Kafka分区的：某个副本会被指定为Leader，... AbstractFetcherThread：拉取消息的步骤副本机制是Kafka实现数据高可靠性的基础：同一个分区下的多个副本分散在不同的Broker机器上，它们保存相同的消息数据以实现高可靠性。那如何确保所有副本上的数据一致性呢？最常见方案当属Leader/Follower备份机制（Leader/Follower Replication）。Kafka分区的：某个副本会被指定为Leader，...
- 读这源码有何用？ReplicaStateMachine是内部组件，一般用户感觉不到存在，但搞懂它，对从根本定位一些数据不一致问题大有裨益。部署3-Broker（A、B和C）Kafka集群，版本2.0.0。在这3个Broker上创建一个单分区、双副本主题。若两个副本分别位于A、B，而Controller在C当关闭A、B后，zk会显示该主题的Leader是-1，ISR为空但若两个副本依处A、B... 读这源码有何用？ReplicaStateMachine是内部组件，一般用户感觉不到存在，但搞懂它，对从根本定位一些数据不一致问题大有裨益。部署3-Broker（A、B和C）Kafka集群，版本2.0.0。在这3个Broker上创建一个单分区、双副本主题。若两个副本分别位于A、B，而Controller在C当关闭A、B后，zk会显示该主题的Leader是-1，ISR为空但若两个副本依处A、B...
- Kafka有很多状态机和管理器，如Controller通道管理器ControllerChannelManager、处理Controller事件的ControllerEventManager等。这些管理器和状态机，大多与各自“宿主”联系密切。就如Controller这俩管理器，必须与Controller组件紧耦合，才能实现各自功能。Kafka还有一些状态机和管理器，具有相对独立的功能框架，不严... Kafka有很多状态机和管理器，如Controller通道管理器ControllerChannelManager、处理Controller事件的ControllerEventManager等。这些管理器和状态机，大多与各自“宿主”联系密切。就如Controller这俩管理器，必须与Controller组件紧耦合，才能实现各自功能。Kafka还有一些状态机和管理器，具有相对独立的功能框架，不严...
- 主要讲述Kafka基本概念、架构及功能。重在了解Kafka是如何保证数据存储、传输的可靠性，以及对于旧数据的处理方式。 主要讲述Kafka基本概念、架构及功能。重在了解Kafka是如何保证数据存储、传输的可靠性，以及对于旧数据的处理方式。
- 零拷贝是中间件相关面试中必考题，本文就和大家一起来总结一下NIO拷贝的原理，并结合Netty代码，从代码实现层面近距离观摩如何使用java实现零拷贝。 1、零拷贝实现原理**“零拷贝”**其实包括两个层面的含义：拷贝一份相同的数据从一个地方移动到另外一个地方的过程，叫拷贝。零希望在IO读写过程中，CPU控制的数据拷贝到次数为0。在IO编程领域，当然是拷贝的次数越少越好，逐步优化，将其拷贝次数... 零拷贝是中间件相关面试中必考题，本文就和大家一起来总结一下NIO拷贝的原理，并结合Netty代码，从代码实现层面近距离观摩如何使用java实现零拷贝。 1、零拷贝实现原理**“零拷贝”**其实包括两个层面的含义：拷贝一份相同的数据从一个地方移动到另外一个地方的过程，叫拷贝。零希望在IO读写过程中，CPU控制的数据拷贝到次数为0。在IO编程领域，当然是拷贝的次数越少越好，逐步优化，将其拷贝次数...
- 🌊 作者主页：海拥🌊 简介：🏆CSDN全栈领域优质创作者、🥇HDZ核心组成员、🥈蝉联C站周榜前十🌊 粉丝福利：粉丝群 每周送六本书，不定期送各种小礼品 78. 删除评论-持久层 （a）规划需要执行的SQL语句需要执行的SQL语句大致是：delete from comment where id=?通常，在处理增、删、改之前，还存在相关的检查，特别是删、改的操作之前，都应该检查被操作... 🌊 作者主页：海拥🌊 简介：🏆CSDN全栈领域优质创作者、🥇HDZ核心组成员、🥈蝉联C站周榜前十🌊 粉丝福利：粉丝群 每周送六本书，不定期送各种小礼品 78. 删除评论-持久层 （a）规划需要执行的SQL语句需要执行的SQL语句大致是：delete from comment where id=?通常，在处理增、删、改之前，还存在相关的检查，特别是删、改的操作之前，都应该检查被操作...
- 在企业实际项目中，elk 是比较成熟且广泛使用的技术方案。logstash 性能稍弱于 filebeat，一般不直接运行于采集点，推荐使用filebeat。在日志进入elk前，从经验性角度，前置 kafka，一方面作为队列和缓冲，另一方面提供了统一的入口渠道。 在企业实际项目中，elk 是比较成熟且广泛使用的技术方案。logstash 性能稍弱于 filebeat，一般不直接运行于采集点，推荐使用filebeat。在日志进入elk前，从经验性角度，前置 kafka，一方面作为队列和缓冲，另一方面提供了统一的入口渠道。
- @[TOC]日常运维问题排查怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台 1. Leader的epoch过时The leader epoch in the request is older than the epoch on the broker--Partition $topicPartition marked as failed解决方法说明 当前分区的Lead... @[TOC]日常运维问题排查怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台 1. Leader的epoch过时The leader epoch in the request is older than the epoch on the broker--Partition $topicPartition marked as failed解决方法说明 当前分区的Lead...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签