- 文章目录 消息中间件简介常用消息队列对比RocketMQKafkaActiveMQRabbitMQZeroMQ RocketMQ简介NameServerProducerConsumerBroker RocketMQ存储特点RocketMQ集群配置附录:安装教程 消息中间件简介 消息队列(Message Queue,简称MQ)。消息中间件作为... 文章目录 消息中间件简介常用消息队列对比RocketMQKafkaActiveMQRabbitMQZeroMQ RocketMQ简介NameServerProducerConsumerBroker RocketMQ存储特点RocketMQ集群配置附录:安装教程 消息中间件简介 消息队列(Message Queue,简称MQ)。消息中间件作为...
- 文章目录 3、安装JDK ##前言 ###Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 ###Kafka优点 Kafka好处:转自 InfoQ... 文章目录 3、安装JDK ##前言 ###Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 ###Kafka优点 Kafka好处:转自 InfoQ...
- 本篇博主带来的是Flume对接Kafka。 目录 1. Kafka与Flume比较2. Flume与kafka集成 1. Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么: 1. flume:cloudera公司研发 适合多个生产者; 适合下游数据消费者不多的情况; 适合数据安全性要求不高的操... 本篇博主带来的是Flume对接Kafka。 目录 1. Kafka与Flume比较2. Flume与kafka集成 1. Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么: 1. flume:cloudera公司研发 适合多个生产者; 适合下游数据消费者不多的情况; 适合数据安全性要求不高的操...
- 本篇博主带来的是Kafka中如何自定义Interceptor及其原理。 目录 1. 拦截器(Interceptor)原理2. 自定义拦截器1. 需求2. 编写代码 3. 运行结果 1. 拦截器(Interceptor)原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端... 本篇博主带来的是Kafka中如何自定义Interceptor及其原理。 目录 1. 拦截器(Interceptor)原理2. 自定义拦截器1. 需求2. 编写代码 3. 运行结果 1. 拦截器(Interceptor)原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端...
- 本篇博主带来的是Kafka常用脚本介绍及简单的shell操作。 目录 一. Kafka常用脚本二. 简单的shell操作 一. Kafka常用脚本 至于怎样查看脚本,我们可以查看Kafka/bin目录,下图标记即为常用的脚本 1.kafka-topics.sh:对topic进行增删改查2.kafka-server-start.sh:启动... 本篇博主带来的是Kafka常用脚本介绍及简单的shell操作。 目录 一. Kafka常用脚本二. 简单的shell操作 一. Kafka常用脚本 至于怎样查看脚本,我们可以查看Kafka/bin目录,下图标记即为常用的脚本 1.kafka-topics.sh:对topic进行增删改查2.kafka-server-start.sh:启动...
- 本篇博主带来的是Kafka的Producer API操作。 目录 1. 消息发送流程2. 无回调参数的API3. 带回调函数的API4. 同步发送API / 只是比异步多了一个.get() 1. 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,... 本篇博主带来的是Kafka的Producer API操作。 目录 1. 消息发送流程2. 无回调参数的API3. 带回调函数的API4. 同步发送API / 只是比异步多了一个.get() 1. 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,...
- 本篇博主带来的是Kafka的两种监控软件。 目录 一. Kafka Monitor二. Kafka Manager 一. Kafka Monitor 1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/opt/module/下创建kafka-offset-console文件夹 [bi... 本篇博主带来的是Kafka的两种监控软件。 目录 一. Kafka Monitor二. Kafka Manager 一. Kafka Monitor 1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/opt/module/下创建kafka-offset-console文件夹 [bi...
- 本篇博主带来的是Kafka的工作流程及文件存储机制。 目录 一. Kafka的工作流程二. Kafka文件的存储机制 一. Kafka的工作流程 1. Kafka开始部分 2. 创建topic 3.生产者往每一个partition-leader,其中所发数据为一批一批的发送(提高效率) follower为leader的备份,当leader... 本篇博主带来的是Kafka的工作流程及文件存储机制。 目录 一. Kafka的工作流程二. Kafka文件的存储机制 一. Kafka的工作流程 1. Kafka开始部分 2. 创建topic 3.生产者往每一个partition-leader,其中所发数据为一批一批的发送(提高效率) follower为leader的备份,当leader...
- 自Flume快速入门系列结束后,博主决定后面几篇博客为大家带来关于Kafka的知识分享作为快速入门Kafka系列的第一篇博客,本篇为大家带来的是Kafka的简单介绍。 目录 1. Kafka的定义2. 消息与消息队列2.1 传统消息队列的应用场景1. MQ传统应用场景之异步处理2. 流量消峰 2.2 消息队列的两种模式1. 消息队列内部实现原理2 为什么需... 自Flume快速入门系列结束后,博主决定后面几篇博客为大家带来关于Kafka的知识分享作为快速入门Kafka系列的第一篇博客,本篇为大家带来的是Kafka的简单介绍。 目录 1. Kafka的定义2. 消息与消息队列2.1 传统消息队列的应用场景1. MQ传统应用场景之异步处理2. 流量消峰 2.2 消息队列的两种模式1. 消息队列内部实现原理2 为什么需...
- 本篇博主带来的是producer(生产者)的数据可靠性保证。 目录 1. 高级API1.高级API优点2.高级API缺点 1. 低级API1.低级 API 优点2.低级API缺点 3. 消费者组4. 消费方式5. 分区分配策略1. roundrobin2. range kafka提供了两套consumer API:高级Consum... 本篇博主带来的是producer(生产者)的数据可靠性保证。 目录 1. 高级API1.高级API优点2.高级API缺点 1. 低级API1.低级 API 优点2.低级API缺点 3. 消费者组4. 消费方式5. 分区分配策略1. roundrobin2. range kafka提供了两套consumer API:高级Consum...
- KarelDB以捷克科幻小说作家Karel Capek的名字命名,世人认为是他发明了“机器人”(robot)一词。一种编程语言也以他的名字命名。 KarelDB以捷克科幻小说作家Karel Capek的名字命名,世人认为是他发明了“机器人”(robot)一词。一种编程语言也以他的名字命名。
- Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。
- 前言开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?RabbitMQ架构RabbitMQ是一个分布式系统,这里面有几个抽象概念。broker:每个节点运行的服务程序,功能为维护该节点的队列的增删以及转发队列操作请求。master queue:每个队列都分为一个... 前言开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?RabbitMQ架构RabbitMQ是一个分布式系统,这里面有几个抽象概念。broker:每个节点运行的服务程序,功能为维护该节点的队列的增删以及转发队列操作请求。master queue:每个队列都分为一个...
- 对于一个复杂的分布式系统,如果没有丰富的经验和牛逼的架构能力,很难把系统做得简单易维护,我们都知道,一个软件的生命周期中,后期维护占了70%,所以系统的可维护性是极其重要的, kafka 能成为大数据领域的事实标准,很大原因是因为运维起来很方便简单,今天我们来看下 kafka 是怎么来简化运维操作的。 对于一个复杂的分布式系统,如果没有丰富的经验和牛逼的架构能力,很难把系统做得简单易维护,我们都知道,一个软件的生命周期中,后期维护占了70%,所以系统的可维护性是极其重要的, kafka 能成为大数据领域的事实标准,很大原因是因为运维起来很方便简单,今天我们来看下 kafka 是怎么来简化运维操作的。
- 假设你意气风发,要开发新一代的互联网应用,以期在互联网事业中一展宏图。借助云计算,很容易开发出如下原型系统: 1.Web应用:部署在云服务器上,为个人电脑或者移动用户提供的访问体验。 2.SQL数据库:为Web应用提供数据持久化以及数据查询。 这套架构简洁而高效,很快便能够部署到华为云等云计算平台,以便快速推向市场。互联网不就是讲究小步快跑嘛! 假设你意气风发,要开发新一代的互联网应用,以期在互联网事业中一展宏图。借助云计算,很容易开发出如下原型系统: 1.Web应用:部署在云服务器上,为个人电脑或者移动用户提供的访问体验。 2.SQL数据库:为Web应用提供数据持久化以及数据查询。 这套架构简洁而高效,很快便能够部署到华为云等云计算平台,以便快速推向市场。互联网不就是讲究小步快跑嘛!
上滑加载中
推荐直播
-
让你的应用用上GaussDB
2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注,伙伴们想知道什么时候该选用,开发者也跃跃欲试想尝鲜。课程会分享适用的场景,并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会
2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办,本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用,围绕AI如何在千行万业落地进行深入交流,探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会
2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名
热门标签