- 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-... 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-...
- 目录 案例五 FlinkSQL整合Hive 介绍 集成Hive的基本方式 准备工作 1.添加hadoop_classpath 2.下载jar并上传至flink/lib目录 3.修改hive配置 4.启动hive元数据服务 SQL CLI 1.修改flinksql配置 2.启... 目录 案例五 FlinkSQL整合Hive 介绍 集成Hive的基本方式 准备工作 1.添加hadoop_classpath 2.下载jar并上传至flink/lib目录 3.修改hive配置 4.启动hive元数据服务 SQL CLI 1.修改flinksql配置 2.启...
- 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan... 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan...
- 目录 Watermaker案例演示 需求 API 代码实现-1-开发版-掌握 代码实现-2-验证版-了解 Watermaker案例演示 需求 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程... 目录 Watermaker案例演示 需求 API 代码实现-1-开发版-掌握 代码实现-2-验证版-了解 Watermaker案例演示 需求 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程...
- 目录 Redis API 使用RedisCommand设置数据结构类型时和redis结构对应关系 需求 代码实现 Redis API 通过flink 操作redis 其实我们可以通过传统的redis 连接池Jpoools 进行redis 的相关操作，但是flink 提供了专门操作redis 的RedisSink，使用起... 目录 Redis API 使用RedisCommand设置数据结构类型时和redis结构对应关系 需求 代码实现 Redis API 通过flink 操作redis 其实我们可以通过传统的redis 连接池Jpoools 进行redis 的相关操作，但是flink 提供了专门操作redis 的RedisSink，使用起...
- 目录 总结 Flink-SQL常用算子 SELECT WHERE DISTINCT GROUP BY UNION 和 UNION ALL JOIN Group Window Tumble Window ... 目录 总结 Flink-SQL常用算子 SELECT WHERE DISTINCT GROUP BY UNION 和 UNION ALL JOIN Group Window Tumble Window ...
- 目录 Sink 预定义Sink 基于控制台和文件的Sink 自定义Sink MySQL Sink 预定义Sink 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds.... 目录 Sink 预定义Sink 基于控制台和文件的Sink 自定义Sink MySQL Sink 预定义Sink 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds....
- 目录 案例一 需求 代码实现 案例一 需求 将DataStream注册为Table和View并进行SQL统计 代码实现 package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp... 目录 案例一 需求 代码实现 案例一 需求 将DataStream注册为Table和View并进行SQL统计 代码实现 package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp...
- 目录 扩展阅读 关于并行度 详细讲解 关联总结 总结 在Flink中可以如何设置分区数/并行度? 什么时候调整并行度? 扩展阅读 关于并行度 一个Flink程序由多个Operator组成(source、transformation和 sink)。 &... 目录 扩展阅读 关于并行度 详细讲解 关联总结 总结 在Flink中可以如何设置分区数/并行度? 什么时候调整并行度? 扩展阅读 关于并行度 一个Flink程序由多个Operator组成(source、transformation和 sink)。 &...
- 目录 扩展阅读 File Sink 介绍 案例演示 扩展阅读 File Sink 介绍 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/file_sink.html &n... 目录 扩展阅读 File Sink 介绍 案例演示 扩展阅读 File Sink 介绍 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/file_sink.html &n...
- 目录 案例二 需求 代码实现-SQL 代码实现-Table 案例二 需求 使用SQL和Table两种方式对DataStream中的单词进行统计 代码实现-SQL package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp... 目录 案例二 需求 代码实现-SQL 代码实现-Table 案例二 需求 使用SQL和Table两种方式对DataStream中的单词进行统计 代码实现-SQL package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp...
- 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然... 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然...
- 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &... 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &...
- Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。... Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。...
- 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh... 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签