- 2020-06-19：多线程消费kafka的时候，开发、测试环境都能每秒10w+,但是正式环境只能1w/s，正式环境不能重启，看怎么调试？福哥答案2020-06-19：答案来自群成员：基准测试。观察 网络和磁盘的读写，实时与历史曲线，观察文件句柄/内存的使用情况。观察系统patch 基础库/运行时状态。 2020-06-19：多线程消费kafka的时候，开发、测试环境都能每秒10w+,但是正式环境只能1w/s，正式环境不能重启，看怎么调试？福哥答案2020-06-19：答案来自群成员：基准测试。观察 网络和磁盘的读写，实时与历史曲线，观察文件句柄/内存的使用情况。观察系统patch 基础库/运行时状态。
- 福哥答案2020-05-25：应用场景：解耦、异步、削峰。区别如下：特性 ActiveMQ RabbitMQ RocketMQ Kafka单机吞吐量 万级，比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级，支撑高吞吐 10 万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景topic 数量对吞吐量的影响 topic 可以达到几百/几千的级别... 福哥答案2020-05-25：应用场景：解耦、异步、削峰。区别如下：特性 ActiveMQ RabbitMQ RocketMQ Kafka单机吞吐量 万级，比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级，支撑高吞吐 10 万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景topic 数量对吞吐量的影响 topic 可以达到几百/几千的级别...
- KSQL是Apache Kafka的流式SQL引擎，它大大降低了流处理世界的门槛。 KSQL实现了非常有效的功能：使用数据领域中大多数社区已知的语义SQL实时读取，编写和转换数据！ KSQL是Apache Kafka的流式SQL引擎，它大大降低了流处理世界的门槛。 KSQL实现了非常有效的功能：使用数据领域中大多数社区已知的语义SQL实时读取，编写和转换数据！
- 本节书摘来自华章计算机《Hyperledger Fabric菜鸟进阶攻略》 一书中第2章，第2.3.2节，作者是黎跃春 韩小东 付金亮 。 本节书摘来自华章计算机《Hyperledger Fabric菜鸟进阶攻略》 一书中第2章，第2.3.2节，作者是黎跃春 韩小东 付金亮 。
- 2024年03-04月动态01商业售卖上线阿里云和 AWS 中国区云市场，用户自助开通即可使用。企业版面向客户提供生产级 Kafka 托管服务，目前企业版已经入驻阿里云和 AWS 中国区云市场。使用阿里云等云账号即可自助开通使用服务。[1][2]支持按小时按量和包年包月付费AutoMQ 企业版支持按小时和包年包月付费，业务初期和调研阶段推荐使用按小时按量计费，业务上线和稳定运行后推荐包年包月... 2024年03-04月动态01商业售卖上线阿里云和 AWS 中国区云市场，用户自助开通即可使用。企业版面向客户提供生产级 Kafka 托管服务，目前企业版已经入驻阿里云和 AWS 中国区云市场。使用阿里云等云账号即可自助开通使用服务。[1][2]支持按小时按量和包年包月付费AutoMQ 企业版支持按小时和包年包月付费，业务初期和调研阶段推荐使用按小时按量计费，业务上线和稳定运行后推荐包年包月...
- Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析... Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析...
- Apache Kafka是一个高性能、分布式的消息队列系统，广泛应用于实时数据流处理和消息传递。其中，消费者组是Kafka架构中的重要概念之一，本文将深入探讨Kafka消费者组的原理、应用场景以及最佳实践，帮助读者更好地理解和应用Kafka消费者组。在现代的大数据和实时数据处理场景中，消息队列系统扮演着至关重要的角色。Apache Kafka作为一种分布式流式平台，以其高吞吐量、可扩展性和持... Apache Kafka是一个高性能、分布式的消息队列系统，广泛应用于实时数据流处理和消息传递。其中，消费者组是Kafka架构中的重要概念之一，本文将深入探讨Kafka消费者组的原理、应用场景以及最佳实践，帮助读者更好地理解和应用Kafka消费者组。在现代的大数据和实时数据处理场景中，消息队列系统扮演着至关重要的角色。Apache Kafka作为一种分布式流式平台，以其高吞吐量、可扩展性和持...
- 在现代大数据架构中，消息队列扮演着至关重要的角色，用于解耦系统组件、实现异步通信，并确保数据的可靠传输。Apache Kafka 作为一种分布式流处理平台，已经成为许多企业的首选。在 Kafka 中，生产者负责将消息发送到主题（Topic），而消费者则从主题中读取消息进行处理。然而，为了确保数据流的可靠性和一致性，Kafka 引入了幂等生产者和事务生产者这两种机制。Kafka 幂等生产者幂等... 在现代大数据架构中，消息队列扮演着至关重要的角色，用于解耦系统组件、实现异步通信，并确保数据的可靠传输。Apache Kafka 作为一种分布式流处理平台，已经成为许多企业的首选。在 Kafka 中，生产者负责将消息发送到主题（Topic），而消费者则从主题中读取消息进行处理。然而，为了确保数据流的可靠性和一致性，Kafka 引入了幂等生产者和事务生产者这两种机制。Kafka 幂等生产者幂等...
- 在现代数据处理系统中，Apache Kafka 已经成为了一个不可或缺的组件。它是一个分布式流处理平台和消息队列系统，被广泛应用于构建实时数据管道和大数据处理应用。Kafka 的成功得益于其高性能、可扩展性以及强大的持久性特性。然而，要使得 Kafka 集群运行稳定和可靠，除了核心的消息传递功能外，还需要一些重要的组件来管理集群状态和协调各个节点的工作。其中，Kafka 控制器就是一个至关重... 在现代数据处理系统中，Apache Kafka 已经成为了一个不可或缺的组件。它是一个分布式流处理平台和消息队列系统，被广泛应用于构建实时数据管道和大数据处理应用。Kafka 的成功得益于其高性能、可扩展性以及强大的持久性特性。然而，要使得 Kafka 集群运行稳定和可靠，除了核心的消息传递功能外，还需要一些重要的组件来管理集群状态和协调各个节点的工作。其中，Kafka 控制器就是一个至关重...
- 1. topic1.1. 简单描述一下KafkaKafka是一个高吞吐、易扩展的分布式发布-订阅消息系统，它能够将消息持久化到磁盘，用于批量的消费。Kafka中有以下几个概念：Topic：特指Kafka处理的消息源（feeds of messages）的不同分类。Partition：Topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。... 1. topic1.1. 简单描述一下KafkaKafka是一个高吞吐、易扩展的分布式发布-订阅消息系统，它能够将消息持久化到磁盘，用于批量的消费。Kafka中有以下几个概念：Topic：特指Kafka处理的消息源（feeds of messages）的不同分类。Partition：Topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。...
- 5. 消息5.1. 请简述一下消息的顺序Kafka保证一个Partition内消息的有序性，但是并不保证多个Partition之间的数据有顺序。 每个Topic可以划分成多个分区( 每个Topic都至少有一个分区)，同一Topic下的不同分区包含的消息是不同的。每个消息在被添加到分区时，都会被分配一个offset，它是消息在此分区中的唯一编号，Kafka 通过offset保证消息在分区内的顺... 5. 消息5.1. 请简述一下消息的顺序Kafka保证一个Partition内消息的有序性，但是并不保证多个Partition之间的数据有顺序。 每个Topic可以划分成多个分区( 每个Topic都至少有一个分区)，同一Topic下的不同分区包含的消息是不同的。每个消息在被添加到分区时，都会被分配一个offset，它是消息在此分区中的唯一编号，Kafka 通过offset保证消息在分区内的顺...
- Kafka作为一种分布式消息队列系统，在大数据领域和实时数据处理中扮演着重要的角色。随着Kafka的广泛应用，用户对其功能的需求也在不断增加。延时操作作为其中之一，为用户提供了更多的灵活性和实用性。本文将介绍Kafka中延时操作的相关内容，包括其背后的原理、实现方式以及应用场景。Kafka延时操作的原理Kafka延时操作的实现原理主要基于两个核心组件：Producer和Consumer。在传... Kafka作为一种分布式消息队列系统，在大数据领域和实时数据处理中扮演着重要的角色。随着Kafka的广泛应用，用户对其功能的需求也在不断增加。延时操作作为其中之一，为用户提供了更多的灵活性和实用性。本文将介绍Kafka中延时操作的相关内容，包括其背后的原理、实现方式以及应用场景。Kafka延时操作的原理Kafka延时操作的实现原理主要基于两个核心组件：Producer和Consumer。在传...
- Kafka连接工具与监控工具 Kafka连接工具与监控工具
- 大家好，我是冰河~~很多小伙伴去大厂面试，几乎都会遇到一些开放式的题目，这些开放式的题目没有固定的答案，但是它能够实实在在的体现面试者较为真实的系统设计能力和技术功底。如果你回答的比较完美，那么，通过这种开放式题目，就能够让你从众多的面试者中脱颖而出。今天，我们就一起来聊聊，去大厂面试时，一个较为常见的开放式题目：如果让你设计一个高并发的消息中间件，你会怎么做？ 消息中间件涉及的知识点要想设... 大家好，我是冰河~~很多小伙伴去大厂面试，几乎都会遇到一些开放式的题目，这些开放式的题目没有固定的答案，但是它能够实实在在的体现面试者较为真实的系统设计能力和技术功底。如果你回答的比较完美，那么，通过这种开放式题目，就能够让你从众多的面试者中脱颖而出。今天，我们就一起来聊聊，去大厂面试时，一个较为常见的开放式题目：如果让你设计一个高并发的消息中间件，你会怎么做？ 消息中间件涉及的知识点要想设...
- 前言不论Kafka还是RabbitMQ和RocketMQ，作为消息中间件，其作用为应用解耦、异步通讯、流量削峰填谷等。拿我之前参加的一个电商项目来说，订单消息通过MQ从订单系统到支付系统、库存系统等，当订单信息写入MQ后就不再关心后续操作，既达到了应用解耦又达到异步通信。因为订单的并发量较大，为了避免数据库承受不住，在订单信息持久化时通过MQ+定时任务将订单信息均匀的持久到数据库中，达到削... 前言不论Kafka还是RabbitMQ和RocketMQ，作为消息中间件，其作用为应用解耦、异步通讯、流量削峰填谷等。拿我之前参加的一个电商项目来说，订单消息通过MQ从订单系统到支付系统、库存系统等，当订单信息写入MQ后就不再关心后续操作，既达到了应用解耦又达到异步通信。因为订单的并发量较大，为了避免数据库承受不住，在订单信息持久化时通过MQ+定时任务将订单信息均匀的持久到数据库中，达到削...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签