- 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H... 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H...
- Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上，这个内存块叫做 MemorySegment，它代表了一段固定长度的内存（默认大小为 32KB），也是 Flink 中最小的内存分配单元，并且提供了非常高效的读写方法。每条记录都会以序列化的形式存储在一个或多个MemorySegment中。Flink堆内存划分： image.png Ne... Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上，这个内存块叫做 MemorySegment，它代表了一段固定长度的内存（默认大小为 32KB），也是 Flink 中最小的内存分配单元，并且提供了非常高效的读写方法。每条记录都会以序列化的形式存储在一个或多个MemorySegment中。Flink堆内存划分： image.png Ne...
- 面试官有可能这么问: 1.Flink中对窗口的支持包括哪几种？说说他们的使用场景 flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window flink支持窗口的两个重要属性（size和interval） 如果size=interval,那么就会形成t... 面试官有可能这么问: 1.Flink中对窗口的支持包括哪几种？说说他们的使用场景 flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window flink支持窗口的两个重要属性（size和interval） 如果size=interval,那么就会形成t...
- 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni... 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni...
- 简介： 大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。 首先讲一下 Checkpoint 与 state 的关系， 然后介绍什么是 state?， 第三部分介绍如何在 Flink 中使用state? 第四部分则介绍 Checkpoint 的执行机制。 作者：唐云(茶干) 整理:平凡的世界_zkx 第一部分: Checkpoint ... 简介： 大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。 首先讲一下 Checkpoint 与 state 的关系， 然后介绍什么是 state?， 第三部分介绍如何在 Flink 中使用state? 第四部分则介绍 Checkpoint 的执行机制。 作者：唐云(茶干) 整理:平凡的世界_zkx 第一部分: Checkpoint ...
- 简介： 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、二部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。 作者：周凯波（宝牛） 整理：平凡的世界－zkx 第一大部分: 1.Flink 架构概览 image.png 用... 简介： 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、二部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。 作者：周凯波（宝牛） 整理：平凡的世界－zkx 第一大部分: 1.Flink 架构概览 image.png 用...
- 答：Flink 实现了多种重启策略。 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 没有重启策略（No Restart Strategy） Fallback重启策略（Fallback Restart Strategy） 问题拓展: Flink支持不同的重启策略，以在故... 答：Flink 实现了多种重启策略。 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 没有重启策略（No Restart Strategy） Fallback重启策略（Fallback Restart Strategy） 问题拓展: Flink支持不同的重启策略，以在故...
- image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ... image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ...
- 1Flinkchecpoint容错机制【并行barrier面试必问】 image.png image.png barrier携带者快照的id，快照的id在快照存放在最前面 flink容错-checkpoint概念 image.png flink容错-checkpoint流程 第二个问题：停止数据处理，做完快照，广播屏障。 1、快照数据存储，... 1Flinkchecpoint容错机制【并行barrier面试必问】 image.png image.png barrier携带者快照的id，快照的id在快照存放在最前面 flink容错-checkpoint概念 image.png flink容错-checkpoint流程 第二个问题：停止数据处理，做完快照，广播屏障。 1、快照数据存储，...
- image.png JobManager： 类似于经理 JobManager是Flink系统的协调者，它负责接收Flink Job，调度组成Job的多个Task的执行。同时，JobManager还负责收集Job的状态信息，并管理Flink集群中从节点TaskManager。 TaskManager：类似于泳教 TaskManager也是一个Actor，它是实际负责... image.png JobManager： 类似于经理 JobManager是Flink系统的协调者，它负责接收Flink Job，调度组成Job的多个Task的执行。同时，JobManager还负责收集Job的状态信息，并管理Flink集群中从节点TaskManager。 TaskManager：类似于泳教 TaskManager也是一个Actor，它是实际负责...
- Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。 一、Flink 的下载安装启动 设置：下载并启动Flink Flink可在Linux，Mac OS X和Windows上运行。为了能够运行Flink... Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。 一、Flink 的下载安装启动 设置：下载并启动Flink Flink可在Linux，Mac OS X和Windows上运行。为了能够运行Flink...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签