- Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*... Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*...
- 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2... 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2...
- 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J... 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J...
- 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的... 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的...
- 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water... 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water...
- 4、Flink 中水印是什么概念，起到什么作用？ 答：Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。 Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发 Watermark 是用于处理乱序事件的，... 4、Flink 中水印是什么概念，起到什么作用？ 答：Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。 Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发 Watermark 是用于处理乱序事件的，...
- 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H... 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H...
- Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上，这个内存块叫做 MemorySegment，它代表了一段固定长度的内存（默认大小为 32KB），也是 Flink 中最小的内存分配单元，并且提供了非常高效的读写方法。每条记录都会以序列化的形式存储在一个或多个MemorySegment中。Flink堆内存划分： image.png Ne... Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上，这个内存块叫做 MemorySegment，它代表了一段固定长度的内存（默认大小为 32KB），也是 Flink 中最小的内存分配单元，并且提供了非常高效的读写方法。每条记录都会以序列化的形式存储在一个或多个MemorySegment中。Flink堆内存划分： image.png Ne...
- 面试官有可能这么问: 1.Flink中对窗口的支持包括哪几种？说说他们的使用场景 flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window flink支持窗口的两个重要属性（size和interval） 如果size=interval,那么就会形成t... 面试官有可能这么问: 1.Flink中对窗口的支持包括哪几种？说说他们的使用场景 flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window flink支持窗口的两个重要属性（size和interval） 如果size=interval,那么就会形成t...
- 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni... 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni...
- 简介： 大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。 首先讲一下 Checkpoint 与 state 的关系， 然后介绍什么是 state?， 第三部分介绍如何在 Flink 中使用state? 第四部分则介绍 Checkpoint 的执行机制。 作者：唐云(茶干) 整理:平凡的世界_zkx 第一部分: Checkpoint ... 简介： 大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。 首先讲一下 Checkpoint 与 state 的关系， 然后介绍什么是 state?， 第三部分介绍如何在 Flink 中使用state? 第四部分则介绍 Checkpoint 的执行机制。 作者：唐云(茶干) 整理:平凡的世界_zkx 第一部分: Checkpoint ...
- 简介： 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、二部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。 作者：周凯波（宝牛） 整理：平凡的世界－zkx 第一大部分: 1.Flink 架构概览 image.png 用... 简介： 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、二部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。 作者：周凯波（宝牛） 整理：平凡的世界－zkx 第一大部分: 1.Flink 架构概览 image.png 用...
- 答：Flink 实现了多种重启策略。 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 没有重启策略（No Restart Strategy） Fallback重启策略（Fallback Restart Strategy） 问题拓展: Flink支持不同的重启策略，以在故... 答：Flink 实现了多种重启策略。 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 没有重启策略（No Restart Strategy） Fallback重启策略（Fallback Restart Strategy） 问题拓展: Flink支持不同的重启策略，以在故...
- image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ... image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ...
- 1Flinkchecpoint容错机制【并行barrier面试必问】 image.png image.png barrier携带者快照的id，快照的id在快照存放在最前面 flink容错-checkpoint概念 image.png flink容错-checkpoint流程 第二个问题：停止数据处理，做完快照，广播屏障。 1、快照数据存储，... 1Flinkchecpoint容错机制【并行barrier面试必问】 image.png image.png barrier携带者快照的id，快照的id在快照存放在最前面 flink容错-checkpoint概念 image.png flink容错-checkpoint流程 第二个问题：停止数据处理，做完快照，广播屏障。 1、快照数据存储，...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
去报名 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
即将直播
热门标签