- RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。1 架构概览在展开集群消费逻辑细节前，我们先对 RocketMQ 4.X 架构做一个概览。 整体架构中包含四种角色 : 1、NameServer名字服务是是一个几乎无状态节点，可集群部署，... RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。1 架构概览在展开集群消费逻辑细节前，我们先对 RocketMQ 4.X 架构做一个概览。 整体架构中包含四种角色 : 1、NameServer名字服务是是一个几乎无状态节点，可集群部署，...
- RocketMQ 优异的性能表现，必然绕不开其优秀的存储模型 。这篇文章，笔者按照自己的理解 , 尝试分析 RocketMQ 的存储模型，希望对大家有所启发。 1 整体概览首先温习下 RocketMQ 架构。整体架构中包含四种角色 :Producer ：消息发布的角色，Producer 通过 MQ 的负载均衡模块选择相应的 Broker 集群队列进行消息投递，投递的过程支持快速失败并且低延迟... RocketMQ 优异的性能表现，必然绕不开其优秀的存储模型 。这篇文章，笔者按照自己的理解 , 尝试分析 RocketMQ 的存储模型，希望对大家有所启发。 1 整体概览首先温习下 RocketMQ 架构。整体架构中包含四种角色 :Producer ：消息发布的角色，Producer 通过 MQ 的负载均衡模块选择相应的 Broker 集群队列进行消息投递，投递的过程支持快速失败并且低延迟...
- 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。
- 本文对 Kafka 的基本组件的实现细节及其基本应用进行了详细介绍，同时，也熬了几天夜画了图解，希望能让大家对 Kafka 核心知识的有了更深刻的理解，最后也总结了 Kafka 在实际业务中的应用。跟着小羽一起再来熟悉一下这些属于Kafka的小秘密吧 本文对 Kafka 的基本组件的实现细节及其基本应用进行了详细介绍，同时，也熬了几天夜画了图解，希望能让大家对 Kafka 核心知识的有了更深刻的理解，最后也总结了 Kafka 在实际业务中的应用。跟着小羽一起再来熟悉一下这些属于Kafka的小秘密吧
- Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。
- 什么是粘性分区 什么是粘性分区
- kafka 网络通信模块的常用配置属性详解 kafka 网络通信模块的常用配置属性详解
- 图解Kafka服务端网络模型 图解Kafka服务端网络模型
- 🔥《Kafka运维管控平台LogiKM》🔥 ✏️更强大的管控能力✏️ 🎾更高效的问题定位能力🎾 🌅更便捷的集群运维能力🌅 🎼更专业的资源治理🎼 🌞更友好的运维生态🌞 大家好，我是彦祖呀在阅读本文之前, 希望你可以思考一下下面几个问题, 带着问题去阅读文章会获得更好的效果。发送消息的时候, 当Broker挂掉了,消息体还能写入到消息缓存中... 🔥《Kafka运维管控平台LogiKM》🔥 ✏️更强大的管控能力✏️ 🎾更高效的问题定位能力🎾 🌅更便捷的集群运维能力🌅 🎼更专业的资源治理🎼 🌞更友好的运维生态🌞 大家好，我是彦祖呀在阅读本文之前, 希望你可以思考一下下面几个问题, 带着问题去阅读文章会获得更好的效果。发送消息的时候, 当Broker挂掉了,消息体还能写入到消息缓存中...
- 主流的消息中间件包含Kafka、RabbitMQ和RocketMQ，本期云图说为您介绍它们之前的差异。 主流的消息中间件包含Kafka、RabbitMQ和RocketMQ，本期云图说为您介绍它们之前的差异。
- PartitionStateMachine分区状态转换实现 1 我为何读这源码？PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMachine。很多面试官都爱问Leader选举策略。学完本文，你不但能说出4种Leader选举场景，还能总结出它们的共性。 2 简介PartitionStateMachine：定义如startu... PartitionStateMachine分区状态转换实现 1 我为何读这源码？PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMachine。很多面试官都爱问Leader选举策略。学完本文，你不但能说出4种Leader选举场景，还能总结出它们的共性。 2 简介PartitionStateMachine：定义如startu...
- 一文带你了解kafka为什么那么快？ 1.首先来说一下我们为什么要使用消息系统在没有使用消息系统之前，许多传统的系统业务对于消息的处理一般会采用串行方式或者并行方法；例如，你去网站注册一个账号，下面是串行跟并行的处理方式。串行方式：用户注册例子：用户主责，将注册信息记录到数据库后，发送注册消息邮件，再发送注册短信验证，每个过程小号50毫秒，一共就需要150毫秒并行方式：与串行不同的就是，在... 一文带你了解kafka为什么那么快？ 1.首先来说一下我们为什么要使用消息系统在没有使用消息系统之前，许多传统的系统业务对于消息的处理一般会采用串行方式或者并行方法；例如，你去网站注册一个账号，下面是串行跟并行的处理方式。串行方式：用户注册例子：用户主责，将注册信息记录到数据库后，发送注册消息邮件，再发送注册短信验证，每个过程小号50毫秒，一共就需要150毫秒并行方式：与串行不同的就是，在...
- 1.在华为云数据可视化DLV里，使用WT双轴线状图时，刚开始，显示数据化展示没有问题，等过了1—2天，出现异常。但是经查询发现mysql里的数据没有问题，考虑的是不是基础版的存储空间不够的原因，但是在文档找不到如何查询DLV的存储空间。只能提交工单，经华为云研发工程师确认，DLV查询请求返回的数据总大小是有限制的。控制的是每个请求响应体的长度，不是从数据条数限制的。而且跟DLV版本的... 1.在华为云数据可视化DLV里，使用WT双轴线状图时，刚开始，显示数据化展示没有问题，等过了1—2天，出现异常。但是经查询发现mysql里的数据没有问题，考虑的是不是基础版的存储空间不够的原因，但是在文档找不到如何查询DLV的存储空间。只能提交工单，经华为云研发工程师确认，DLV查询请求返回的数据总大小是有限制的。控制的是每个请求响应体的长度，不是从数据条数限制的。而且跟DLV版本的...
- 在高可靠场景使用kafka作为消息队列时，要求即使有Broker宕机也不能出现消息丢失。为了实现这一目的，很多人都知道要将producer的ack设置成all或-1。然而除了Producer的配置外还有两个服务端配置也会影响宕机时的消息可靠性，分别是min.insync.replicas和unclean.leader.election.enable。本文将描述这两个配置如何影响可靠性，以及推... 在高可靠场景使用kafka作为消息队列时，要求即使有Broker宕机也不能出现消息丢失。为了实现这一目的，很多人都知道要将producer的ack设置成all或-1。然而除了Producer的配置外还有两个服务端配置也会影响宕机时的消息可靠性，分别是min.insync.replicas和unclean.leader.election.enable。本文将描述这两个配置如何影响可靠性，以及推...
- 摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实... 摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实...
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签