- 1. 引言：为什么选择 Kafka + Spark？在广告点击流分析、IoT设备监控等实时大数据场景下，传统批处理（如Hadoop MapReduce）已无法满足低延迟需求。我们曾用Kafka+Spark Streaming替换原有Lambda架构，使数据处理延迟从小时级降至秒级。关键对比（表1）：方案延迟吞吐量开发复杂度适用场景Hadoop MR小时级高★★☆离线报表Flink毫秒级极高... 1. 引言：为什么选择 Kafka + Spark？在广告点击流分析、IoT设备监控等实时大数据场景下，传统批处理（如Hadoop MapReduce）已无法满足低延迟需求。我们曾用Kafka+Spark Streaming替换原有Lambda架构，使数据处理延迟从小时级降至秒级。关键对比（表1）：方案延迟吞吐量开发复杂度适用场景Hadoop MR小时级高★★☆离线报表Flink毫秒级极高...
- docker安装命令，其中172.16.11.111是宿主机ip，14818是宿主机端口，对应容器端口9092：docker run -d \ --name kafka \ -p 14818:9092 \ -p 9093:9093 \ -v /tmp/kraft-combined-logs:/tmp/kraft-combined-logs \ -e TZ=Asia/Shangha... docker安装命令，其中172.16.11.111是宿主机ip，14818是宿主机端口，对应容器端口9092：docker run -d \ --name kafka \ -p 14818:9092 \ -p 9093:9093 \ -v /tmp/kraft-combined-logs:/tmp/kraft-combined-logs \ -e TZ=Asia/Shangha...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言随着系统复杂度的提升，异步通信和解耦变得越来越重要。Kafka 作... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言随着系统复杂度的提升，异步通信和解耦变得越来越重要。Kafka 作...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在现代分布式系统中，消息队列作为一种强有力的解耦工具，帮助开发者在... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 前言在现代分布式系统中，消息队列作为一种强有力的解耦工具，帮助开发者在...
- 1、为什么要使用MQ1）解耦：A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃…A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。如果使用MQ，A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如... 1、为什么要使用MQ1）解耦：A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃…A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。如果使用MQ，A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如...
- 摘要： Apache Kafka是一款高性能分布式消息队列，采用主题（topic）、分区（partition）和分段（segment）机制实现海量数据吞吐。其核心设计包括：批量日志存储（压缩消息至4KB批次）、稀疏索引（偏移量和时间戳索引）加速查询，以及基于顺序I/O的Page Cache异步刷盘策略。日志支持两种清理策略——按时间/大小删除或按Key合并（保留最新值）。 摘要： Apache Kafka是一款高性能分布式消息队列，采用主题（topic）、分区（partition）和分段（segment）机制实现海量数据吞吐。其核心设计包括：批量日志存储（压缩消息至4KB批次）、稀疏索引（偏移量和时间戳索引）加速查询，以及基于顺序I/O的Page Cache异步刷盘策略。日志支持两种清理策略——按时间/大小删除或按Key合并（保留最新值）。
- 验证kafka集群2AZ部署可行性 验证kafka集群2AZ部署可行性
- 不是你消息太多，而是你不会排队：openEuler 的消息队列实战手记 不是你消息太多，而是你不会排队：openEuler 的消息队列实战手记
- Spring Boot + Kafka 亿级日志收集系统：零丢失传输与实时分析架构关键词：Spring Boot、Kafka、亿级日志、零丢失、实时分析、Exactly-Once、背压、熔断、可观测性 一、总体设计思路维度目标关键技术吞吐单集群 300 MB/s → 1 GB/s异步批量、压缩、零拷贝可靠性零消息丢失acks=all、幂等 Producer、事务、ISR实时性90% 日志 ... Spring Boot + Kafka 亿级日志收集系统：零丢失传输与实时分析架构关键词：Spring Boot、Kafka、亿级日志、零丢失、实时分析、Exactly-Once、背压、熔断、可观测性 一、总体设计思路维度目标关键技术吞吐单集群 300 MB/s → 1 GB/s异步批量、压缩、零拷贝可靠性零消息丢失acks=all、幂等 Producer、事务、ISR实时性90% 日志 ...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 前言在现代分布式系统中，事件驱动架构（EDA）和消息流处理已成为... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 前言在现代分布式系统中，事件驱动架构（EDA）和消息流处理已成为...
- 在当今互联网应用中，高并发场景如电商秒杀、社交平台热点事件或金融交易系统，常常面临突如其来的流量洪峰。这些峰值可能导致后端服务瞬间过载，引发系统崩溃、响应延迟甚至数据丢失。想象一下，双十一购物节时，数百万用户同时下单，如果数据库直接处理所有写入请求，服务器可能像堵车的高速公路一样瘫痪。那么，如何优雅地应对这种挑战？答案就是引入消息队列（Message Queue）作为缓冲层，实现流量削峰（T... 在当今互联网应用中，高并发场景如电商秒杀、社交平台热点事件或金融交易系统，常常面临突如其来的流量洪峰。这些峰值可能导致后端服务瞬间过载，引发系统崩溃、响应延迟甚至数据丢失。想象一下，双十一购物节时，数百万用户同时下单，如果数据库直接处理所有写入请求，服务器可能像堵车的高速公路一样瘫痪。那么，如何优雅地应对这种挑战？答案就是引入消息队列（Message Queue）作为缓冲层，实现流量削峰（T...
- Java消息队列应用：Kafka、RabbitMQ选择与优化在Java应用领域，消息队列是实现异步通信、应用解耦、流量削峰等重要功能的关键组件。Kafka和RabbitMQ作为两种主流的消息队列技术，各有特点和适用场景。本文将深入探讨Kafka和RabbitMQ在Java中的应用，并提供优化建议，帮助开发者根据业务需求做出合理选择。 一、Kafka和RabbitMQ的基本概念与架构 （一）... Java消息队列应用：Kafka、RabbitMQ选择与优化在Java应用领域，消息队列是实现异步通信、应用解耦、流量削峰等重要功能的关键组件。Kafka和RabbitMQ作为两种主流的消息队列技术，各有特点和适用场景。本文将深入探讨Kafka和RabbitMQ在Java中的应用，并提供优化建议，帮助开发者根据业务需求做出合理选择。 一、Kafka和RabbitMQ的基本概念与架构 （一）...
- linux命令使用消费kafka的生产者、消费者 linux命令使用消费kafka的生产者、消费者
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签