- 为什么我们想要业务主键，想要幂等 在分布式微服务场景下，有太多的环节可以引发错误的处理（包括丢失或者重复处理），如果业务本身有幂等的特性，我们可以以较低的代价解决大部分问题。 我们假设我们在k8s集群中维护着下面的系统，部署了数个网关实例，数个业务处理服务，一套Kafka集群，数个消费者服务，一个数据库，平时的业务流程是这样子的：客户--->(step1) 网关--->(step2) ... 为什么我们想要业务主键，想要幂等 在分布式微服务场景下，有太多的环节可以引发错误的处理（包括丢失或者重复处理），如果业务本身有幂等的特性，我们可以以较低的代价解决大部分问题。 我们假设我们在k8s集群中维护着下面的系统，部署了数个网关实例，数个业务处理服务，一套Kafka集群，数个消费者服务，一个数据库，平时的业务流程是这样子的：客户--->(step1) 网关--->(step2) ...
- 环境Centos 7.9JDK 11Kafka 版本：kafka_2.12-3.0.1.tgzkafka 配置知识（https://doc.knowstreaming.com/study-kafka/6-operation#611-%E4%BC%98%E9%9B%85%E5%85%B3%E6%9C%BA） 安装步骤 准备 服务器三台做集群部署192.168.3.100 master192.... 环境Centos 7.9JDK 11Kafka 版本：kafka_2.12-3.0.1.tgzkafka 配置知识（https://doc.knowstreaming.com/study-kafka/6-operation#611-%E4%BC%98%E9%9B%85%E5%85%B3%E6%9C%BA） 安装步骤 准备 服务器三台做集群部署192.168.3.100 master192....
- 背景 当前我所在的产品的缓存消息采用的是Etag标签机制，以Domain为粒度，由缓存读取服务通过主动拉取Etag的方式，对缓存和DB中的消息进行比较。颗粒太大，效率低下。所以我们需要一种以更细的粒度的，通过事件驱动，主动推送变化的方式。技术选型 方法一：在S层解决。在增删改接口中，拼装业务变化，推送kafka消息。缺点很明显，需要对所有的接口进行遍... 背景 当前我所在的产品的缓存消息采用的是Etag标签机制，以Domain为粒度，由缓存读取服务通过主动拉取Etag的方式，对缓存和DB中的消息进行比较。颗粒太大，效率低下。所以我们需要一种以更细的粒度的，通过事件驱动，主动推送变化的方式。技术选型 方法一：在S层解决。在增删改接口中，拼装业务变化，推送kafka消息。缺点很明显，需要对所有的接口进行遍...
- wget https://repo.huaweicloud.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz #下载Kafkatar zxvf kafka_2.12-1.1.0.tgz #解压cd ~/kafka_2.... wget https://repo.huaweicloud.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz #下载Kafkatar zxvf kafka_2.12-1.1.0.tgz #解压cd ~/kafka_2....
- Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
- 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成... 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成...
- Kafka因为具有优秀的并发读写性能在大数据收集传输过程中有的非常重要的作用。近期项目计划将Kafka作为数据建模分析的总线使用，但是因为项目的特殊性需求，我们在两个不同的地理位置上部署了两套Kafka队列，并且要求其中一套能把数据传递到另一套的指定队列，说简单点就是需要从一个Kafka队列里读数据，然后写到另一个Kafka队列里，读写Kafka队列的工具有很多，相比Apache Flume我们更 Kafka因为具有优秀的并发读写性能在大数据收集传输过程中有的非常重要的作用。近期项目计划将Kafka作为数据建模分析的总线使用，但是因为项目的特殊性需求，我们在两个不同的地理位置上部署了两套Kafka队列，并且要求其中一套能把数据传递到另一套的指定队列，说简单点就是需要从一个Kafka队列里读数据，然后写到另一个Kafka队列里，读写Kafka队列的工具有很多，相比Apache Flume我们更
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题,国内某云使用RocketMQ，性能对比唱衰kafka 64分区时出现性能拐点，为此我们表示不服，从理论到实测数据，一步步揭开所谓单机性能拐点的秘密及解决之道。 kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题,国内某云使用RocketMQ，性能对比唱衰kafka 64分区时出现性能拐点，为此我们表示不服，从理论到实测数据，一步步揭开所谓单机性能拐点的秘密及解决之道。
- 版权归PUMA项目组所有，转载请声明，多谢。 kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题（比如：https://yq.aliyun.com/articles/62832?spm=5176.100239.blogcont25379.8.KMUH1L）,国内某云使用Rock 版权归PUMA项目组所有，转载请声明，多谢。 kakfa大规模集群能力在前面已给大家分享过，kafka作为消息总线，在支撑云千万tps上千节点的集群能力非常出色，本文继续对业界关于单机多topic的性能瓶颈点问题（比如：https://yq.aliyun.com/articles/62832?spm=5176.100239.blogcont25379.8.KMUH1L）,国内某云使用Rock
- Splunk是业界赫赫有名的数据分析工具，比较擅长BI和安全分析，我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成，Splunk官方提供的一个Kafka的插件，可以很容易的做到与开源Kafka集成，本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka（Splunk搭建请参考，Kafka搭建请参考）。 # 概述Spl Splunk是业界赫赫有名的数据分析工具，比较擅长BI和安全分析，我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成，Splunk官方提供的一个Kafka的插件，可以很容易的做到与开源Kafka集成，本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka（Splunk搭建请参考，Kafka搭建请参考）。 # 概述Spl
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签