- 消息队列中间件就是用来存储消息的软件（组件）。举个例子来理解，为了分析网站的用户行为，我们需要记录用户的访问日志。这些一条条的日志，可以看成是一条条的消息，我们可以将它们保存到消息队列中。Kafka作为分布式流处理的代表，通过分区、副本、零拷贝等技术实现了高吞吐量与可靠性，尤其适合大规模数据处理和实时分析场景。其技术生态（如Kafka Streams、KSQL）进一步扩展了应用范围，但在复杂路由和 消息队列中间件就是用来存储消息的软件（组件）。举个例子来理解，为了分析网站的用户行为，我们需要记录用户的访问日志。这些一条条的日志，可以看成是一条条的消息，我们可以将它们保存到消息队列中。Kafka作为分布式流处理的代表，通过分区、副本、零拷贝等技术实现了高吞吐量与可靠性，尤其适合大规模数据处理和实时分析场景。其技术生态（如Kafka Streams、KSQL）进一步扩展了应用范围，但在复杂路由和
- 安装单节点并配置启动KafkaApache Kafka 是一个分布式流处理平台，用于构建实时数据管道和流应用。它能够处理大量数据，并且具有高吞吐量、低延迟的特点。本文将详细介绍如何在单节点上安装、配置并启动 Apache Kafka。环境准备系统要求操作系统：Linux（本教程以 Ubuntu 20.04 为例）Java 环境：JDK 1.8 或更高版本安装 Java首先，确保你的系统中已经... 安装单节点并配置启动KafkaApache Kafka 是一个分布式流处理平台，用于构建实时数据管道和流应用。它能够处理大量数据，并且具有高吞吐量、低延迟的特点。本文将详细介绍如何在单节点上安装、配置并启动 Apache Kafka。环境准备系统要求操作系统：Linux（本教程以 Ubuntu 20.04 为例）Java 环境：JDK 1.8 或更高版本安装 Java首先，确保你的系统中已经...
- 本文介绍了数据中台的整体架构设计，涵盖数据采集、存储、计算、服务及治理等多个层面。在数据采集层，通过实时与离线方式整合多类型数据源；存储层采用分层策略，包括原始层、清洗层、服务层和归档层，满足不同访问频率需求；计算层提供批处理、流处理、交互式分析和AI计算能力，支持多样化业务场景。数据服务层封装数据为标准化API，实现灵活调用，同时强调数据治理与安全，确保元数据管理、质量监控、权限控制及加密措施 本文介绍了数据中台的整体架构设计，涵盖数据采集、存储、计算、服务及治理等多个层面。在数据采集层，通过实时与离线方式整合多类型数据源；存储层采用分层策略，包括原始层、清洗层、服务层和归档层，满足不同访问频率需求；计算层提供批处理、流处理、交互式分析和AI计算能力，支持多样化业务场景。数据服务层封装数据为标准化API，实现灵活调用，同时强调数据治理与安全，确保元数据管理、质量监控、权限控制及加密措施
- 消息系统之Kafka什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递... 消息系统之Kafka什么是消息系统消息系统是专用的中间件，负责将数据从一个应用传递到另外一个应用。使应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。消息系统一般基于可靠的消息队列来实现，使用点对点模式或发布订阅模式。数据实时在消息系统中传递，被看作流。为什么使用消息系统使用消息系统具有以下优势：解耦：发送方和接收方统一使用消息系统提供的接口进行通信，易修改易扩展。持久化：传递...
- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求...
- Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开... Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开...
- 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求... 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求...
- 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消... 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消...
- Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本... Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系... 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系...
- Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述... Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述...
- 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产... 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产...
- Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多... Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多...
- Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签