- 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家) 对于kafka，我们不仅在单机、集群、参数调优等方面，对kakfa全方位研究，更要在代码层解读，从原理到代码细节一一打开看看。(声明：所有这系列代码分析章节，有些图片/资料整理来自网络公开资料，站在巨人肩膀上二次仔细解读代码总结分享给大家)
- 分布式消息服务（Distributed Message Service，简称DMS）是一项基于高可用分布式集群技术的消息中间件服务，提供了可靠且可扩展的托管消息队列，用于收发消息和存储消息。 分布式消息服务（Distributed Message Service，简称DMS）是一项基于高可用分布式集群技术的消息中间件服务，提供了可靠且可扩展的托管消息队列，用于收发消息和存储消息。
- Kalfka 消息队列原理架构阐述 Kalfka 消息队列原理架构阐述
- 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。
- 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。
- 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。 前期PUMA千节点系列，讲的是通过扩展节点资源，来达到千万TPS等海量吞吐诉求，实际上，我们大部分业务可能不需要那么大规模，对于集群资源有限，如何最大可能调优kafka集群性能，下面我们从broker、producer、consumer 3个方面性能相关参数详细解析，实测解密PUMA集群如何最大性能化。
- 文章目录 业务实现之编写写入ODS层业务代码 一、代码编写 二、创建Iceberg-ODS层表 1、在Hive中添加Iceberg表格式需要的包 2、创建Iceberg表 三、代码测试 1、在Kafka中创建对应的topic 2、将代码中消费Kafka数据改成从头开始消费 3、启动日志采集接口，启动Flume监控 4... 文章目录 业务实现之编写写入ODS层业务代码 一、代码编写 二、创建Iceberg-ODS层表 1、在Hive中添加Iceberg表格式需要的包 2、创建Iceberg表 三、代码测试 1、在Kafka中创建对应的topic 2、将代码中消费Kafka数据改成从头开始消费 3、启动日志采集接口，启动Flume监控 4...
- 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍... 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍...
- 关于如何消费kafka数据，请参看Vertica的这些事（十四）——Vertica实时消费kafka实现 最近有小伙伴提出了消费kafka的一些疑问，答疑如下： #####1、 Vertica消费kaf... 关于如何消费kafka数据，请参看Vertica的这些事（十四）——Vertica实时消费kafka实现 最近有小伙伴提出了消费kafka的一些疑问，答疑如下： #####1、 Vertica消费kaf...
- 本文选自电子工业出版社的新书《kafka进阶》，推荐一下。 送书规则：文末留言，精选精彩留言，对留言点赞最多的4位包邮送书一本~ 截止时间：2022.06.20 8:00 一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的... 本文选自电子工业出版社的新书《kafka进阶》，推荐一下。 送书规则：文末留言，精选精彩留言，对留言点赞最多的4位包邮送书一本~ 截止时间：2022.06.20 8:00 一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的...
- 点击下方“Java编程鸭”关注并标星 更多精彩 第一时间直达 文章来源：https://c1n.cn/RWt2e 前言 最近一直在做微服务开发，涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排。 学习了 SpringCloud Data Flow... 点击下方“Java编程鸭”关注并标星 更多精彩 第一时间直达 文章来源：https://c1n.cn/RWt2e 前言 最近一直在做微服务开发，涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排。 学习了 SpringCloud Data Flow...
- Rancher配置sideCar sideCar配置filebeats 注意环境变量及数据卷的配置 Rancher配置sideCar sideCar配置filebeats 注意环境变量及数据卷的配置
- 再谈消息队列技术 上周，我们举办了第二届技术沙龙，我这边主要演讲了消息队列技术的议题，现分享给大家： 在我们团队内部，随着消息应用中心（任务中心）的广泛应用，有时候我们感觉不到消息队列的存在，但这不影响消息队列在高可用、分布式、高并发架构下的核心地位。 消息队列都应用到了哪些实际的应用场景中？ 一、再谈消息队列的应用场景 异步... 再谈消息队列技术 上周，我们举办了第二届技术沙龙，我这边主要演讲了消息队列技术的议题，现分享给大家： 在我们团队内部，随着消息应用中心（任务中心）的广泛应用，有时候我们感觉不到消息队列的存在，但这不影响消息队列在高可用、分布式、高并发架构下的核心地位。 消息队列都应用到了哪些实际的应用场景中？ 一、再谈消息队列的应用场景 异步...
- filebeat.inputs: - type: log paths: - /home/resource/project/upload/logs/userorderinfo_*.log fields:  ... filebeat.inputs: - type: log paths: - /home/resource/project/upload/logs/userorderinfo_*.log fields:  ...
- 一、KafKa副本消息同步策略 在开始前需要了解两个概念：LEO 和 HW ： LEO： 该副本数据最后一个offset提交的位置，最大offset值。HW： 高水位线 消费者能够消费最大的offse... 一、KafKa副本消息同步策略 在开始前需要了解两个概念：LEO 和 HW ： LEO： 该副本数据最后一个offset提交的位置，最大offset值。HW： 高水位线 消费者能够消费最大的offse...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
即将直播
热门标签