- 前提条件搭建Kafka环境，参考Kafka集群环境搭建及使用Java环境：JDK1.8Maven版本：apache-maven-3.6.3开发工具：IntelliJ IDEA 项目环境创建maven项目。pom.xml文件中引入kafka依赖。<dependencies> <dependency> <groupId>org.apache.kafka</g... 前提条件搭建Kafka环境，参考Kafka集群环境搭建及使用Java环境：JDK1.8Maven版本：apache-maven-3.6.3开发工具：IntelliJ IDEA 项目环境创建maven项目。pom.xml文件中引入kafka依赖。<dependencies> <dependency> <groupId>org.apache.kafka</g...
- 前提条件操作系统：CentOS7服务器：3台Java环境：JDK1.8。安装教程参考JDK1.8安装Zookeeper环境 搭建教程参考Zookeeper集群环境搭建及使用Kafka基础知识参考Kafka角色及功能概览 搭建步骤 下载执行下载命令wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz执行命令... 前提条件操作系统：CentOS7服务器：3台Java环境：JDK1.8。安装教程参考JDK1.8安装Zookeeper环境 搭建教程参考Zookeeper集群环境搭建及使用Kafka基础知识参考Kafka角色及功能概览 搭建步骤 下载执行下载命令wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz执行命令...
- 刚开始了解Kafka时对其中多个名词表示懵逼，broker是啥？咋还有分区？有没有跟和我一样有很多？？？本文就我对Kafka的理解梳理各个角色以及功能，欢迎大家一起来沟通交流。废话不多说，上图： 架构模型按照自己的理解画一个简单的Kafka架构模型，下面分别说明Zookeeper、Produce、Broker、Replica、Customer、Customer Group 、Topic、Pa... 刚开始了解Kafka时对其中多个名词表示懵逼，broker是啥？咋还有分区？有没有跟和我一样有很多？？？本文就我对Kafka的理解梳理各个角色以及功能，欢迎大家一起来沟通交流。废话不多说，上图： 架构模型按照自己的理解画一个简单的Kafka架构模型，下面分别说明Zookeeper、Produce、Broker、Replica、Customer、Customer Group 、Topic、Pa...
- 讲解 NoBrokersAvailableError在使用Apache Kafka时，你可能会遇到一个名为 "NoBrokersAvailableError" 的异常。这篇博客文章将深入讲解这个错误的原因、可能的解决方法以及如何避免它。错误描述"NoBrokersAvailableError" 是 Apache Kafka Python 客户端库（如 kafka-python）抛出的一个错误... 讲解 NoBrokersAvailableError在使用Apache Kafka时，你可能会遇到一个名为 "NoBrokersAvailableError" 的异常。这篇博客文章将深入讲解这个错误的原因、可能的解决方法以及如何避免它。错误描述"NoBrokersAvailableError" 是 Apache Kafka Python 客户端库（如 kafka-python）抛出的一个错误...
- 标题：构建高可用的Kafka集群：实现可靠的消息传递在当今大数据时代，消息传递系统对于数据流的可靠性和实时性至关重要。Apache Kafka 作为一个分布式流处理平台，以其高可扩展性和可靠性而备受青睐。本文将深入探讨如何构建一个高可用的 Kafka 集群，确保数据的可靠传递和系统的稳定运行。第一部分：Kafka 简介Apache Kafka 是一种分布式发布-订阅消息系统，最初由 Link... 标题：构建高可用的Kafka集群：实现可靠的消息传递在当今大数据时代，消息传递系统对于数据流的可靠性和实时性至关重要。Apache Kafka 作为一个分布式流处理平台，以其高可扩展性和可靠性而备受青睐。本文将深入探讨如何构建一个高可用的 Kafka 集群，确保数据的可靠传递和系统的稳定运行。第一部分：Kafka 简介Apache Kafka 是一种分布式发布-订阅消息系统，最初由 Link...
- Kafka简介Kafka是一个分布式的消息队列系统(Message Queue)。官网：Apache Kafka消息和批次kafka的数据单元称为消息。消息可以看成是数据库表的一行或一条记录。消息由字节数组组成，kafka中消息没有特别的格式或含义。消息有可选的键，也是一个字节数组，没有特殊的含义。当消息以一种可控的方式写入不同的分区时会用到键。最简单的例子，为键生成一个一致性散列值，然... Kafka简介Kafka是一个分布式的消息队列系统(Message Queue)。官网：Apache Kafka消息和批次kafka的数据单元称为消息。消息可以看成是数据库表的一行或一条记录。消息由字节数组组成，kafka中消息没有特别的格式或含义。消息有可选的键，也是一个字节数组，没有特殊的含义。当消息以一种可控的方式写入不同的分区时会用到键。最简单的例子，为键生成一个一致性散列值，然...
- 1，准备工作 1，主机准备。准备三台主机，都是 CentOS-7，IP 如下：192.168.106.7192.168.106.8192.168.106.9为了方便后续操作，先配置一下主机免密码登陆。[root@localhost ~]$ssh-keygen[root@localhost ~]$ssh-copy-id root@192.168.106.7[root@localhost ~]... 1，准备工作 1，主机准备。准备三台主机，都是 CentOS-7，IP 如下：192.168.106.7192.168.106.8192.168.106.9为了方便后续操作，先配置一下主机免密码登陆。[root@localhost ~]$ssh-keygen[root@localhost ~]$ssh-copy-id root@192.168.106.7[root@localhost ~]...
- 1，简介Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端，可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。 2，下载 kafkawget https://mirrors.cnn... 1，简介Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端，可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。 2，下载 kafkawget https://mirrors.cnn...
- 概述Kafta基于命令、参数和标志的结构构建。Kafka始终在一个集群上进行交互，这样就不需要在每个命令中传递哪个集群的信息，这与大多数Kafka命令行工具不同。要查看所有可用的命令，请运行：$ kafta用法：kafta [command]可用命令：broker broker管理cluster 集群管理completion 输出shell补全代码config 修改配置... 概述Kafta基于命令、参数和标志的结构构建。Kafka始终在一个集群上进行交互，这样就不需要在每个命令中传递哪个集群的信息，这与大多数Kafka命令行工具不同。要查看所有可用的命令，请运行：$ kafta用法：kafta [command]可用命令：broker broker管理cluster 集群管理completion 输出shell补全代码config 修改配置...
- 连接到Kafka集群并使用SSL进行Python连接本文专门讨论如何使用Python编写连接到使用SSL保护的Kafka集群的生产者和消费者。本文不会详细介绍如何生成客户端证书，这是另一篇文章的主题。 先决条件Kafka集群具有SSL配置以JKS格式的客户端证书（KeyStore）在Linux环境中安装了keytool和openssl使用Python 3.6 步骤1 - 将JKS转换为PE... 连接到Kafka集群并使用SSL进行Python连接本文专门讨论如何使用Python编写连接到使用SSL保护的Kafka集群的生产者和消费者。本文不会详细介绍如何生成客户端证书，这是另一篇文章的主题。 先决条件Kafka集群具有SSL配置以JKS格式的客户端证书（KeyStore）在Linux环境中安装了keytool和openssl使用Python 3.6 步骤1 - 将JKS转换为PE...
- MQ（Message Queue）作为一种用于实现异步通信的技术，具有重要的作用和应用场景。在面试过程中，MQ相关的问题经常被问到，因此了解MQ的用途和设计原则是必不可少的。本文总结了MQ的常见面试题，包括MQ的作用、产品选型、消息不丢失的保证、消息消费的幂等性、消息顺序的保证、消息的高效读写、分布式事务的最终一致性等方面。通过深入理解这些问题，可以更好地理解MQ的应用和设计，为面试和实际应用提供 MQ（Message Queue）作为一种用于实现异步通信的技术，具有重要的作用和应用场景。在面试过程中，MQ相关的问题经常被问到，因此了解MQ的用途和设计原则是必不可少的。本文总结了MQ的常见面试题，包括MQ的作用、产品选型、消息不丢失的保证、消息消费的幂等性、消息顺序的保证、消息的高效读写、分布式事务的最终一致性等方面。通过深入理解这些问题，可以更好地理解MQ的应用和设计，为面试和实际应用提供
- 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1... 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1...
- Apache Kafka 是一款开源的消息引擎系统，也是分布式流处理平台，使用的是纯二进制的字节序列。 kafka术语Topic: 发布订阅的对象是主题（Topic） 生产者程序通常持续不断地向一个或多个主题发送消息Producer:向主题发布消息的客户端应用程序称为生产者（Producer）Consumer:订阅这些主题消息的客户端应用程序就被称为消费者（Consumer）Broker: ... Apache Kafka 是一款开源的消息引擎系统，也是分布式流处理平台，使用的是纯二进制的字节序列。 kafka术语Topic: 发布订阅的对象是主题（Topic） 生产者程序通常持续不断地向一个或多个主题发送消息Producer:向主题发布消息的客户端应用程序称为生产者（Producer）Consumer:订阅这些主题消息的客户端应用程序就被称为消费者（Consumer）Broker: ...
- 分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，还可以通过添加新的节点机器来增加整体系统的吞吐量。 分区策略分区策略是决定生产者将消息发送到哪个分区的算法 轮询策略轮询策... 分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，还可以通过添加新的节点机器来增加整体系统的吞吐量。 分区策略分区策略是决定生产者将消息发送到哪个分区的算法 轮询策略轮询策...
- 消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例（Consumer Instance），它们共享一个公共的 ID，这个 ID 被称为 Group ID特性Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更... 消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例（Consumer Instance），它们共享一个公共的 ID，这个 ID 被称为 Group ID特性Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签