- 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然... 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然...
- 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &... 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &...
- Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。... Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。...
- 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh... 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh...
- 请按照如下方法进行日志获取： 1、 登录yarn原生界面找到对应任务的appid 已经任务提交用户 2、 hdfs dfs –get /tmp/logs/提交任务用户名/logs/任务ID /tmp 3、 到/tmp目录下找到get下来的文件 请按照如下方法进行日志获取： 1、 登录yarn原生界面找到对应任务的appid 已经任务提交用户 2、 hdfs dfs –get /tmp/logs/提交任务用户名/logs/任务ID /tmp 3、 到/tmp目录下找到get下来的文件
- 1.Operator Level（算子级别）(可以使用) 一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定 image.png 2.Execution Environment Level（Env级别）(可以使用) 执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的... 1.Operator Level（算子级别）(可以使用) 一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定 image.png 2.Execution Environment Level（Env级别）(可以使用) 执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的...
- sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和BatchRolloverInterval一定要加L，虽然不加L也不会报错， 但笔者遇到一个坑设置10... sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和BatchRolloverInterval一定要加L，虽然不加L也不会报错， 但笔者遇到一个坑设置10...
- Flink.png flink 1.12.2 hudi 0.9.0 一、组件下载 1.1、flink1.12.2编译包下载： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz 1.2、hudi编译： git clone htt... Flink.png flink 1.12.2 hudi 0.9.0 一、组件下载 1.1、flink1.12.2编译包下载： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz 1.2、hudi编译： git clone htt...
- Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的... Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的...
- Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*... Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*...
- 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2... 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2...
- 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J... 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J...
- 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的... 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的...
- 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water... 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water...
- 4、Flink 中水印是什么概念，起到什么作用？ 答：Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。 Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发 Watermark 是用于处理乱序事件的，... 4、Flink 中水印是什么概念，起到什么作用？ 答：Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。 Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发 Watermark 是用于处理乱序事件的，...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签