- 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求... 🏆本文收录于「滚雪球学SpringBoot」专栏(全网一个名)，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📢 前言 在微服务架构中，服务之间的通信不仅仅限于 HTTP 请求...
- Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开... Flume读取日志数据写入Kafka在大数据处理领域，日志数据的收集、传输和存储是非常重要的环节。Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。而 Apache Kafka 则是一个高吞吐量的分布式发布订阅消息系统，常用于构建实时数据管道和流应用。本文将介绍如何配置 Flume 从文件中读取日志数据并将其写入到 Kafka 中。环境准备在开...
- 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求... 1 简介事件架构的几个例子，事件驱动型架构（Event-Driven Architecture, EDA）是一种以事件为中心的架构模式，通常用于解耦系统组件，提高可扩展性和响应性。主流的事件驱动架构包括： 基于消息队列（Message Queue-Based EDA）典型技术栈：Kafka、RabbitMQ、NSQ事件存储在消息队列中，多个消费者可以异步消费事件。适用于高吞吐量和可靠性要求...
- 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消... 在 Spring Boot 2.7.x 中引入 Kafka 0.9 的实践涉及 Kafka 的基本概念、Spring Boot 的集成方式、实际应用场景以及代码实现。以下是详细的介绍和实践指南。 1. Kafka 简介与核心特性 Kafka 简介Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用。它的核心特性包括：高吞吐量：支持每秒处理数百万条消息。持久化：消...
- Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本... Kafka单机多Broker实例集群搭建Apache Kafka 是一个分布式流处理平台，广泛应用于日志收集、监控数据聚合、流式数据处理等场景。在开发和测试环境中，为了节约资源，我们常常需要在一个物理机器上搭建多个Kafka Broker实例来模拟生产环境中的集群。本文将详细介绍如何在一个单机上搭建多个Kafka Broker实例的步骤。环境准备操作系统：Ubuntu 20.04Java版本...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系... 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 🚀 Spring Boot与消息队列：如何用RabbitMQ和Kafka提升你的系...
- Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述... Kafka Replication Factor 大于可用 Broker 数量的问题解决方案在使用 Apache Kafka 时，经常会遇到配置 replication factor（副本因子）大于可用的 broker（代理服务器）数量的问题。这会导致 Kafka 无法创建 topic，或者在创建 topic 时抛出错误。本文将探讨这个问题的原因，并提供几种解决方法。问题描述...
- 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产... 在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。1. 生产者发送消息失败场景: 生产...
- Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多... Kafka 流式计算架构 介绍Kafka 是一个分布式流处理平台，旨在以高吞吐量和低延迟的方式处理实时数据流。它最初由 LinkedIn 开发，并贡献给 Apache 基金会。Kafka 可以用于构建实时流数据管道和流式应用程序。 应用使用场景实时数据分析：如股票行情、传感器数据监控。日志聚合与处理：集中收集多个来源的日志并进行分析。事件驱动应用：响应用户交互或系统事件。数据流管道：连接多...
- Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli... 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli...
- 现象近期，参与了一次处理线上Kafka单partition积压问题的定位处理。总结一下 处理过程我上线的情况是，16个partition的消息，其中有一个partition的积压特别大，而且该partition所在消费者同时消费者两个partition。同事反馈之前已经尝试过重启，该partition已经迁移到了其他服务所在的机器，情况仍没有好转。其实当时就有想过，是否是处理该partit... 现象近期，参与了一次处理线上Kafka单partition积压问题的定位处理。总结一下 处理过程我上线的情况是，16个partition的消息，其中有一个partition的积压特别大，而且该partition所在消费者同时消费者两个partition。同事反馈之前已经尝试过重启，该partition已经迁移到了其他服务所在的机器，情况仍没有好转。其实当时就有想过，是否是处理该partit...
- Requirementjdk 1.8及以上Kafka 软件包 2.0及以上 执行路径将Kafka软件包解压，进入到bin目录[bin]# lsconnect-distributed.sh kafka-consumer-perf-test.sh kafka-reassign-partitions.sh trogdor.shconnect-mirr... Requirementjdk 1.8及以上Kafka 软件包 2.0及以上 执行路径将Kafka软件包解压，进入到bin目录[bin]# lsconnect-distributed.sh kafka-consumer-perf-test.sh kafka-reassign-partitions.sh trogdor.shconnect-mirr...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签