- 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB... 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB...
- 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink... 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink...
- 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作，也是必须要掌握的。 定义 可以把flatMap，理解为先map，然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f... 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作，也是必须要掌握的。 定义 可以把flatMap，理解为先map，然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f...
- 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb... 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb...
- 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan... 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan...
- 前段时间做过一个大数据离线数仓的项目，前后花了有好几周的时间。一共是6个阶段，想关注阶段细节的朋友可以查看?... 前段时间做过一个大数据离线数仓的项目，前后花了有好几周的时间。一共是6个阶段，想关注阶段细节的朋友可以查看?...
- 目录 Operations 操作 官网示例代码： Operations 操作 获得到Source之后的基本数据处理方式和之前学习的DataFrame、DataSet一致，不再赘述 官网示例代码： case class DeviceData... 目录 Operations 操作 官网示例代码： Operations 操作 获得到Source之后的基本数据处理方式和之前学习的DataFrame、DataSet一致，不再赘述 官网示例代码： case class DeviceData...
- 目录 提取器(Extractor) 定义提取器 提取器(Extractor) 我们之前已经使用过scala中非常强大的模式匹配功能了，通过模式匹配，我们可以快速匹配样例类中的成员变量。例如： // 定义样例类case class SubmitTask(id: String... 目录 提取器(Extractor) 定义提取器 提取器(Extractor) 我们之前已经使用过scala中非常强大的模式匹配功能了，通过模式匹配，我们可以快速匹配样例类中的成员变量。例如： // 定义样例类case class SubmitTask(id: String...
- 全网最详细的大数据ELK文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 安装Elasticsearch-head插件 一、安装nodejs 1、下载安装包 2、创建软连接 3、修改环境变量 二、在线安装（网速慢，不推荐） 1、在线... 全网最详细的大数据ELK文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 安装Elasticsearch-head插件 一、安装nodejs 1、下载安装包 2、创建软连接 3、修改环境变量 二、在线安装（网速慢，不推荐） 1、在线...
- 目录 Watermaker案例演示 需求 API 代码实现-1-开发版-掌握 代码实现-2-验证版-了解 Watermaker案例演示 需求 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程... 目录 Watermaker案例演示 需求 API 代码实现-1-开发版-掌握 代码实现-2-验证版-了解 Watermaker案例演示 需求 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程...
- 目录 方法调用方式 后缀调用法 中缀调用法 操作符即方法 花括号调用法 无括号调用法 方法调用方式 在scala中，有以下几种方法调用方式， 后缀调用法中缀调用法花括号调用法无括号调用法 在后续编写spark、flink程序时，我们会使用到这些方法调用方式。 后缀调用法 这种方法与Java没有区别... 目录 方法调用方式 后缀调用法 中缀调用法 操作符即方法 花括号调用法 无括号调用法 方法调用方式 在scala中，有以下几种方法调用方式， 后缀调用法中缀调用法花括号调用法无括号调用法 在后续编写spark、flink程序时，我们会使用到这些方法调用方式。 后缀调用法 这种方法与Java没有区别...
- 目录 样例类 定义样例类 样例类方法 样例对象 样例类 样例类是一种特殊类，它可以用来快速定义一个用于保存数据的类（类似于Java POJO类），而且它会自动生成apply方法，允许我们快速地创建样例类实例对象。后面，在并发编程和spark、flink这些框架也都会经常使用它。 定义样例类 语法结构： ... 目录 样例类 定义样例类 样例类方法 样例对象 样例类 样例类是一种特殊类，它可以用来快速定义一个用于保存数据的类（类似于Java POJO类），而且它会自动生成apply方法，允许我们快速地创建样例类实例对象。后面，在并发编程和spark、flink这些框架也都会经常使用它。 定义样例类 语法结构： ...
- 目录 总结 Flink-SQL常用算子 SELECT WHERE DISTINCT GROUP BY UNION 和 UNION ALL JOIN Group Window Tumble Window ... 目录 总结 Flink-SQL常用算子 SELECT WHERE DISTINCT GROUP BY UNION 和 UNION ALL JOIN Group Window Tumble Window ...
- 目录 Sink 预定义Sink 基于控制台和文件的Sink 自定义Sink MySQL Sink 预定义Sink 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds.... 目录 Sink 预定义Sink 基于控制台和文件的Sink 自定义Sink MySQL Sink 预定义Sink 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds....
- 条件表达式 条件表达式就是if表达式，if表达式可以根据给定的条件是否满足，根据条件的结果（真或假）决定执行对应的操作。scala条件表达式的语法和Java一样。 有返回值的if 与Java不一样的是， [!NOTE] 在scala中，条件表达式也是有返回值的在scala中，没有三元表达式，可以使用if表达式替... 条件表达式 条件表达式就是if表达式，if表达式可以根据给定的条件是否满足，根据条件的结果（真或假）决定执行对应的操作。scala条件表达式的语法和Java一样。 有返回值的if 与Java不一样的是， [!NOTE] 在scala中，条件表达式也是有返回值的在scala中，没有三元表达式，可以使用if表达式替...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签