- @toc 1.1. MQ 的相关概念 1.1.1. 什么是 MQ MQ(message queue)，从字面意思上看，本质是个队列，FIFO 先入先出，只不过队列中存放的内容是message 而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了 MQ 之后，消息发送上游只需要依赖 MQ，不用依赖其他服务... @toc 1.1. MQ 的相关概念 1.1.1. 什么是 MQ MQ(message queue)，从字面意思上看，本质是个队列，FIFO 先入先出，只不过队列中存放的内容是message 而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了 MQ 之后，消息发送上游只需要依赖 MQ，不用依赖其他服务...
- 当业务需要系统间调用解耦时，MQ是一个很好的解决方案。目前选择最多的当属Kafka和阿里的RocketMQ性能指标kafkaRocketMQ适用场景日志处理适合处理业务性能单击写入TPS号称在百万条/秒大约10万条/秒可靠性使用异步刷盘，异步复制(Replication)支持异步/同步刷盘，异步/同步复制(Replication)。RocketMQ 所支持的同步方式提升了数据的可靠性实时性支... 当业务需要系统间调用解耦时，MQ是一个很好的解决方案。目前选择最多的当属Kafka和阿里的RocketMQ性能指标kafkaRocketMQ适用场景日志处理适合处理业务性能单击写入TPS号称在百万条/秒大约10万条/秒可靠性使用异步刷盘，异步复制(Replication)支持异步/同步刷盘，异步/同步复制(Replication)。RocketMQ 所支持的同步方式提升了数据的可靠性实时性支...
- 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似... 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似...
- 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言... 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言...
- 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传... 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传...
- kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个... kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个...
- 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok... 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok...
- 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统... 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统...
- 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公... 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character... 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character...
- 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www.... 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www....
- # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:... # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:...
- 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf... 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf...
- 从“数据堆积如山”到“实时驱动业务”——聊聊Kafka到Flink的实时数据处理演进 从“数据堆积如山”到“实时驱动业务”——聊聊Kafka到Flink的实时数据处理演进
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签