- 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似... 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似...
- 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言... 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言...
- 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传... 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传...
- kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个... kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个...
- 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok... 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok...
- 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统... 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统...
- 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公... 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character... 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character...
- 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www.... 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www....
- # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:... # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:...
- 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf... 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf...
- Apache Kafka是一个分布式流处理平台，具有以下核心特性：高吞吐量、可扩展性、持久化存储、高可用性、分布式架构。 Apache Kafka是一个分布式流处理平台，具有以下核心特性：高吞吐量、可扩展性、持久化存储、高可用性、分布式架构。
- 📖 开篇故事：一个电商平台的烦恼想象一下，你是一家快速成长的电商公司的后端工程师。场景：黑五大促，用户疯狂下单…📱 用户下单 → 💾 订单入库 → 📧 发送邮件 → 📦 通知仓库 → 💳 扣款处理问题出现了：邮件服务挂了，整个下单流程卡住 ❌仓库通知延迟，发货慢了 2 小时 ❌数据库压力太大，响应越来越慢 ❌解决方案：引入 Apache Kafka 作为消息中间件，让各个服务异... 📖 开篇故事：一个电商平台的烦恼想象一下，你是一家快速成长的电商公司的后端工程师。场景：黑五大促，用户疯狂下单…📱 用户下单 → 💾 订单入库 → 📧 发送邮件 → 📦 通知仓库 → 💳 扣款处理问题出现了：邮件服务挂了，整个下单流程卡住 ❌仓库通知延迟，发货慢了 2 小时 ❌数据库压力太大，响应越来越慢 ❌解决方案：引入 Apache Kafka 作为消息中间件，让各个服务异...
- 别再堆机器了：无服务器流处理，才是实时数据的“降维打击” 别再堆机器了：无服务器流处理，才是实时数据的“降维打击”
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签