- 既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。 真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？ ... 既然是集群，必然有多个Kafka节点，只有单节点构成的Kafka伪集群只能用于日常测试，不可能满足线上生产需求。 真正的线上环境需要考量各种因素，结合自身的业务需求而制定。看一些考虑因素（以下顺序，可是分了顺序的哦） 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？ ...
- 两张图读懂kafka应用：Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broke... 两张图读懂kafka应用：Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broke...
- 一、背景企业中大量业务数据保存在各个业务系统数据库中，过去通常的同步数据的方法有很多种，比如：各个数据使用方在业务低峰期各种抽取所需数据（缺点是存在重复抽取而且数据不一致）由统一的数仓平台通过sqoop到各个系统中抽取数据（缺点是sqoop抽取方法时效性差，一般都是T+1的时效性）基于trigger或时间戳的方式获得增量的变更（缺点是对业务方侵入性大，带来性能损失等）这些方案都不能算完美，我... 一、背景企业中大量业务数据保存在各个业务系统数据库中，过去通常的同步数据的方法有很多种，比如：各个数据使用方在业务低峰期各种抽取所需数据（缺点是存在重复抽取而且数据不一致）由统一的数仓平台通过sqoop到各个系统中抽取数据（缺点是sqoop抽取方法时效性差，一般都是T+1的时效性）基于trigger或时间戳的方式获得增量的变更（缺点是对业务方侵入性大，带来性能损失等）这些方案都不能算完美，我...
- 实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台。在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。本文作为下篇（技术篇），则是从技术角度入手，介绍RTDP的技术选型和相关组件，探讨适用不同应用场景的相关模式。RTDP的敏捷之路就此展开~ 实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台。在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。本文作为下篇（技术篇），则是从技术角度入手，介绍RTDP的技术选型和相关组件，探讨适用不同应用场景的相关模式。RTDP的敏捷之路就此展开~
- 消息系统为什么要用kafka 1.解耦：2.冗余：3.扩展性：4.灵活性 & 峰值处理能力：5.可恢复性：6.顺序保证：7.缓冲：8.异步通信： 消息系统为什么要用kafka 1.解耦：2.冗余：3.扩展性：4.灵活性 & 峰值处理能力：5.可恢复性：6.顺序保证：7.缓冲：8.异步通信：
- JAVA 消费消息导入依赖<!-- 导入 0.10.2 版本 Kafka --><dependency> <groupId>org.apache.Kafka</groupId> <artifactId>Kafka-clients</artifactId> <version>0.10.2.0</version></dependency>Copy to clipboardErr... JAVA 消费消息导入依赖<!-- 导入 0.10.2 版本 Kafka --><dependency> <groupId>org.apache.Kafka</groupId> <artifactId>Kafka-clients</artifactId> <version>0.10.2.0</version></dependency>Copy to clipboardErr...
- JAVA 生产信息导入依赖<!-- 导入 0.10.2 版本 Kafka --><dependency> <groupId>org.apache.Kafka</groupId> <artifactId>Kafka-clients</artifactId> <version>0.10.2.0</version></dependency>Copy to clipboardErr... JAVA 生产信息导入依赖<!-- 导入 0.10.2 版本 Kafka --><dependency> <groupId>org.apache.Kafka</groupId> <artifactId>Kafka-clients</artifactId> <version>0.10.2.0</version></dependency>Copy to clipboardErr...
- 什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递过程中消息存储到本地... 什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递过程中消息存储到本地...
- 目录一、RabbitMQ 1.1 RabbitMQ如何保证消息不丢失？1.2 RabbitMQ消息的重复消费问题如何解决？1.3 RabbitMQ中死信交换机了解吗？（RabbitMQ延迟队列有了解过吗？）1.4 如果有100万消息堆积在MQ，如何解决？1.5 RabbitMQ的高可用机制了解吗？二、Kafka2.1 Kafka是如何保证消息不丢失？2.2 Kafka中消息的重复消费问题如... 目录一、RabbitMQ 1.1 RabbitMQ如何保证消息不丢失？1.2 RabbitMQ消息的重复消费问题如何解决？1.3 RabbitMQ中死信交换机了解吗？（RabbitMQ延迟队列有了解过吗？）1.4 如果有100万消息堆积在MQ，如何解决？1.5 RabbitMQ的高可用机制了解吗？二、Kafka2.1 Kafka是如何保证消息不丢失？2.2 Kafka中消息的重复消费问题如...
- Kafka 控制生产者流量Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。在高并发场景下，生产者可能会产生大量数据，导致 Kafka 集群压力过大。因此，控制生产者流量是确保 Kafka 集群稳定性和性能的关键。 1. 控制生产者流量的作用防止过载：避免 Kafka 集群因生产者流量过大而崩溃。资源优化：合理分配系统资源，提高 Kafka 集群的吞吐量。流量整形：根据... Kafka 控制生产者流量Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。在高并发场景下，生产者可能会产生大量数据，导致 Kafka 集群压力过大。因此，控制生产者流量是确保 Kafka 集群稳定性和性能的关键。 1. 控制生产者流量的作用防止过载：避免 Kafka 集群因生产者流量过大而崩溃。资源优化：合理分配系统资源，提高 Kafka 集群的吞吐量。流量整形：根据...
- Java 消息队列与中间件：不传之秘 1. 介绍消息队列（Message Queue）是一种在分布式系统中用于组件之间通信的技术。它允许应用程序通过发送和接收消息来进行异步通信，从而解耦系统组件，提高系统的可扩展性和可靠性。中间件（Middleware）是位于操作系统和应用程序之间的软件层，提供通用的服务和功能，如消息传递、数据管理、身份验证等。 1.1 消息队列的特点异步通信：发送者和接... Java 消息队列与中间件：不传之秘 1. 介绍消息队列（Message Queue）是一种在分布式系统中用于组件之间通信的技术。它允许应用程序通过发送和接收消息来进行异步通信，从而解耦系统组件，提高系统的可扩展性和可靠性。中间件（Middleware）是位于操作系统和应用程序之间的软件层，提供通用的服务和功能，如消息传递、数据管理、身份验证等。 1.1 消息队列的特点异步通信：发送者和接...
- 在现代数据架构中，实时数据流的处理变得越来越重要，尤其是在大数据和分布式系统的背景下。Apache Kafka作为一个高吞吐量的分布式消息系统，已广泛应用于各种实时数据流的处理场景。本文将介绍如何将Python与Kafka整合，以实现高效的实时数据处理。项目背景Kafka 是一个分布式流平台，能够处理大量的实时数据流。它具有高吞吐量、水平扩展性、容错性和高可靠性，适合处理日志、传感器数据、点... 在现代数据架构中，实时数据流的处理变得越来越重要，尤其是在大数据和分布式系统的背景下。Apache Kafka作为一个高吞吐量的分布式消息系统，已广泛应用于各种实时数据流的处理场景。本文将介绍如何将Python与Kafka整合，以实现高效的实时数据处理。项目背景Kafka 是一个分布式流平台，能够处理大量的实时数据流。它具有高吞吐量、水平扩展性、容错性和高可靠性，适合处理日志、传感器数据、点...
- 扩展logback将日志输出到Kafka实例介绍logback是一个功能强大的Java日志框架，它是log4j的继任者，提供了丰富的功能和配置选项。在处理大量日志数据时，将日志输出到Kafka这样的消息队列中是一个常见的需求，这样可以使日志数据更容易被处理和分析。本文将介绍如何通过扩展logback，将日志输出到Kafka实例。准备工作在开始之前，确保你已经安装了以下依赖项：JDK 8或更高... 扩展logback将日志输出到Kafka实例介绍logback是一个功能强大的Java日志框架，它是log4j的继任者，提供了丰富的功能和配置选项。在处理大量日志数据时，将日志输出到Kafka这样的消息队列中是一个常见的需求，这样可以使日志数据更容易被处理和分析。本文将介绍如何通过扩展logback，将日志输出到Kafka实例。准备工作在开始之前，确保你已经安装了以下依赖项：JDK 8或更高...
- Kafka 配置文件 server.properties 详解Kafka 是一个分布式消息队列系统，广泛用于大数据处理和实时数据传输。在 Kafka 集群中，server.properties 文件是每个 broker（ broker 即 Kafka 服务器节点）都需要配置的文件，它包含了 Kafka 服务器的所有配置选项。本文将详细介绍 server.propertie... Kafka 配置文件 server.properties 详解Kafka 是一个分布式消息队列系统，广泛用于大数据处理和实时数据传输。在 Kafka 集群中，server.properties 文件是每个 broker（ broker 即 Kafka 服务器节点）都需要配置的文件，它包含了 Kafka 服务器的所有配置选项。本文将详细介绍 server.propertie...
- 在现代分布式系统中，消息队列已经成为处理大量数据和实现微服务架构的关键组件之一。Apache Kafka是一个开源的分布式事件流平台，它被广泛用于构建实时数据管道和流应用。Kafka以其高吞吐量、可扩展性和容错性而闻名。本文将详细介绍Apache Kafka的基本概念以及如何在Spring Boot项目中集成Kafka以实现实时数据处理。 1. Apache Kafka简介 1.1 定义Ap... 在现代分布式系统中，消息队列已经成为处理大量数据和实现微服务架构的关键组件之一。Apache Kafka是一个开源的分布式事件流平台，它被广泛用于构建实时数据管道和流应用。Kafka以其高吞吐量、可扩展性和容错性而闻名。本文将详细介绍Apache Kafka的基本概念以及如何在Spring Boot项目中集成Kafka以实现实时数据处理。 1. Apache Kafka简介 1.1 定义Ap...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签