- 文章目录 业务实现之编写写入ODS层业务代码 一、代码编写 二、创建Iceberg-ODS层表 1、在Hive中添加Iceberg表格式需要的包 2、创建Iceberg表 三、代码测试 1、在Kafka中创建对应的topic 2、将代码中消费Kafka数据改成从头开始消费 3、启动日志采集接口，启动Flume监控 4... 文章目录 业务实现之编写写入ODS层业务代码 一、代码编写 二、创建Iceberg-ODS层表 1、在Hive中添加Iceberg表格式需要的包 2、创建Iceberg表 三、代码测试 1、在Kafka中创建对应的topic 2、将代码中消费Kafka数据改成从头开始消费 3、启动日志采集接口，启动Flume监控 4...
- 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍... 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍...
- 关于如何消费kafka数据，请参看Vertica的这些事（十四）——Vertica实时消费kafka实现 最近有小伙伴提出了消费kafka的一些疑问，答疑如下： #####1、 Vertica消费kaf... 关于如何消费kafka数据，请参看Vertica的这些事（十四）——Vertica实时消费kafka实现 最近有小伙伴提出了消费kafka的一些疑问，答疑如下： #####1、 Vertica消费kaf...
- 本文选自电子工业出版社的新书《kafka进阶》，推荐一下。 送书规则：文末留言，精选精彩留言，对留言点赞最多的4位包邮送书一本~ 截止时间：2022.06.20 8:00 一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的... 本文选自电子工业出版社的新书《kafka进阶》，推荐一下。 送书规则：文末留言，精选精彩留言，对留言点赞最多的4位包邮送书一本~ 截止时间：2022.06.20 8:00 一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的...
- 点击下方“Java编程鸭”关注并标星 更多精彩 第一时间直达 文章来源：https://c1n.cn/RWt2e 前言 最近一直在做微服务开发，涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排。 学习了 SpringCloud Data Flow... 点击下方“Java编程鸭”关注并标星 更多精彩 第一时间直达 文章来源：https://c1n.cn/RWt2e 前言 最近一直在做微服务开发，涉及了一些数据处理模块的开发，每个处理业务都会开发独立的微服务，便于后面拓展和流编排。 学习了 SpringCloud Data Flow...
- Rancher配置sideCar sideCar配置filebeats 注意环境变量及数据卷的配置 Rancher配置sideCar sideCar配置filebeats 注意环境变量及数据卷的配置
- 再谈消息队列技术 上周，我们举办了第二届技术沙龙，我这边主要演讲了消息队列技术的议题，现分享给大家： 在我们团队内部，随着消息应用中心（任务中心）的广泛应用，有时候我们感觉不到消息队列的存在，但这不影响消息队列在高可用、分布式、高并发架构下的核心地位。 消息队列都应用到了哪些实际的应用场景中？ 一、再谈消息队列的应用场景 异步... 再谈消息队列技术 上周，我们举办了第二届技术沙龙，我这边主要演讲了消息队列技术的议题，现分享给大家： 在我们团队内部，随着消息应用中心（任务中心）的广泛应用，有时候我们感觉不到消息队列的存在，但这不影响消息队列在高可用、分布式、高并发架构下的核心地位。 消息队列都应用到了哪些实际的应用场景中？ 一、再谈消息队列的应用场景 异步...
- filebeat.inputs: - type: log paths: - /home/resource/project/upload/logs/userorderinfo_*.log fields:  ... filebeat.inputs: - type: log paths: - /home/resource/project/upload/logs/userorderinfo_*.log fields:  ...
- 一、KafKa副本消息同步策略 在开始前需要了解两个概念：LEO 和 HW ： LEO： 该副本数据最后一个offset提交的位置，最大offset值。HW： 高水位线 消费者能够消费最大的offse... 一、KafKa副本消息同步策略 在开始前需要了解两个概念：LEO 和 HW ： LEO： 该副本数据最后一个offset提交的位置，最大offset值。HW： 高水位线 消费者能够消费最大的offse...
- 一、KafKa控制器作用 在 kafka 中分为 broker 和 partition 分区，其中分区副本在前几篇文章中都进行了讲解，本篇文章针对 broker 进行分析，其中在 kafka 集群中，一... 一、KafKa控制器作用 在 kafka 中分为 broker 和 partition 分区，其中分区副本在前几篇文章中都进行了讲解，本篇文章针对 broker 进行分析，其中在 kafka 集群中，一...
- 一、KafKa分区副本ISR选举机制 kafka 中每一个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有多若干个副本。 所谓的副本，本质上就是一个只能追加写消息的提... 一、KafKa分区副本ISR选举机制 kafka 中每一个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有多若干个副本。 所谓的副本，本质上就是一个只能追加写消息的提...
- 前景连接： Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121566611?s... 前景连接： Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121566611?s...
- 1.kafka维护的一些命令： 1.1创建topic kafka-topics.sh --create --partitions 1 --replication-factor 2 --topic te... 1.kafka维护的一些命令： 1.1创建topic kafka-topics.sh --create --partitions 1 --replication-factor 2 --topic te...
- 环境准备： centos 7 zookeeper正常运行 kafka_2.11-1.0.0.tgz 环境搭建： 一、安装： 1、免费下载： kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载kafka_2.11-1.0.0.tgz.z... 环境准备： centos 7 zookeeper正常运行 kafka_2.11-1.0.0.tgz 环境搭建： 一、安装： 1、免费下载： kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载kafka_2.11-1.0.0.tgz.z...
- 大家好，我是梦想家Alex，今天为大家带来面试过程中关于 Kafka 核心知识灵魂 16 问 ~ 内容较丰富... 大家好，我是梦想家Alex，今天为大家带来面试过程中关于 Kafka 核心知识灵魂 16 问 ~ 内容较丰富...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签