- 目录 扩展阅读 File Sink 介绍 案例演示 扩展阅读 File Sink 介绍 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/file_sink.html &n... 目录 扩展阅读 File Sink 介绍 案例演示 扩展阅读 File Sink 介绍 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/file_sink.html &n...
- 目录 案例二 需求 代码实现-SQL 代码实现-Table 案例二 需求 使用SQL和Table两种方式对DataStream中的单词进行统计 代码实现-SQL package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp... 目录 案例二 需求 代码实现-SQL 代码实现-Table 案例二 需求 使用SQL和Table两种方式对DataStream中的单词进行统计 代码实现-SQL package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp...
- 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然... 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然...
- 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &... 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &...
- Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。... Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。...
- 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh... 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh...
- 请按照如下方法进行日志获取： 1、 登录yarn原生界面找到对应任务的appid 已经任务提交用户 2、 hdfs dfs –get /tmp/logs/提交任务用户名/logs/任务ID /tmp 3、 到/tmp目录下找到get下来的文件 请按照如下方法进行日志获取： 1、 登录yarn原生界面找到对应任务的appid 已经任务提交用户 2、 hdfs dfs –get /tmp/logs/提交任务用户名/logs/任务ID /tmp 3、 到/tmp目录下找到get下来的文件
- 1.Operator Level（算子级别）(可以使用) 一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定 image.png 2.Execution Environment Level（Env级别）(可以使用) 执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的... 1.Operator Level（算子级别）(可以使用) 一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定 image.png 2.Execution Environment Level（Env级别）(可以使用) 执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的...
- sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和BatchRolloverInterval一定要加L，虽然不加L也不会报错， 但笔者遇到一个坑设置10... sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和BatchRolloverInterval一定要加L，虽然不加L也不会报错， 但笔者遇到一个坑设置10...
- Flink.png flink 1.12.2 hudi 0.9.0 一、组件下载 1.1、flink1.12.2编译包下载： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz 1.2、hudi编译： git clone htt... Flink.png flink 1.12.2 hudi 0.9.0 一、组件下载 1.1、flink1.12.2编译包下载： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz 1.2、hudi编译： git clone htt...
- Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的... Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的...
- Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*... Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*...
- 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2... 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2...
- 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J... 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J...
- 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的... 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的...
上滑加载中
推荐直播
-
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
基于华为云码道，构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品，并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签