- 目录 RDD Checkpoint 引入 API 代码演示 总结：持久化和Checkpoint的区别 问题: 答案: 区别: RDD Checkpoint 引入 RDD 数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘... 目录 RDD Checkpoint 引入 API 代码演示 总结：持久化和Checkpoint的区别 问题: 答案: 区别: RDD Checkpoint 引入 RDD 数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘...
- 目录 SparkSQL数据抽象 DataFrame 引入 DataFrame是什么 Schema 信息 Row Dataset 引入 Dataset 是什么 面试题：如何理解RDD、DataFrame和Dataset SparkSQL数据抽象 DataFrame 引入 就易用性而言，对比传统的MapRedu... 目录 SparkSQL数据抽象 DataFrame 引入 DataFrame是什么 Schema 信息 Row Dataset 引入 Dataset 是什么 面试题：如何理解RDD、DataFrame和Dataset SparkSQL数据抽象 DataFrame 引入 就易用性而言，对比传统的MapRedu...
- 目录 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 Catalyst 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 RDD 的运行流程 大致运行步骤 先将 RDD 解析为由 ... 目录 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 Catalyst 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 RDD 的运行流程 大致运行步骤 先将 RDD 解析为由 ...
- 目录 Flink-Time与Watermaker Time分类 EventTime的重要性 示例1 示例2 示例3 示例4 总结 Watermaker水印机制/水位线机制 什么是Watermaker？ 如何计算Watermaker？ Water... 目录 Flink-Time与Watermaker Time分类 EventTime的重要性 示例1 示例2 示例3 示例4 总结 Watermaker水印机制/水位线机制 什么是Watermaker？ 如何计算Watermaker？ Water...
- 目录 案例三：电影评分数据分析 代码实现 Shuffle分区数 案例三：电影评分数据分析 使用电影评分数据进行数据分析，分别使用DSL编程和SQL编程，熟悉数据处理函数及SQL使用，业务需求说明： 对电影评分数据进行统计分析，获取Top10电影（电影评分平均值最高... 目录 案例三：电影评分数据分析 代码实现 Shuffle分区数 案例三：电影评分数据分析 使用电影评分数据进行数据分析，分别使用DSL编程和SQL编程，熟悉数据处理函数及SQL使用，业务需求说明： 对电影评分数据进行统计分析，获取Top10电影（电影评分平均值最高...
- 目录 SparkStreaming实战案例三 状态恢复-扩展 需求 代码实现 SparkStreaming实战案例三 状态恢复-扩展 需求 在上面的基础之上 实现SparkStreaming程序停止之后再启动时还能够接着上次的结果进行累加 如: 先发送spark,得到spark,1 再发送spa... 目录 SparkStreaming实战案例三 状态恢复-扩展 需求 代码实现 SparkStreaming实战案例三 状态恢复-扩展 需求 在上面的基础之上 实现SparkStreaming程序停止之后再启动时还能够接着上次的结果进行累加 如: 先发送spark,得到spark,1 再发送spa...
- 目录 ZooKeeper集群搭建 第一步：下载zookeeeper的压缩包，下载网址如下 第二步：解压 第三步：修改配置文件 第四步：添加myid配置 第五步：安装包分发并修改myid的值 第六步：三台机器启动zookeeper服务 ZooKeeper集群搭建 Zookeeper... 目录 ZooKeeper集群搭建 第一步：下载zookeeeper的压缩包，下载网址如下 第二步：解压 第三步：修改配置文件 第四步：添加myid配置 第五步：安装包分发并修改myid的值 第六步：三台机器启动zookeeper服务 ZooKeeper集群搭建 Zookeeper...
- 目录 案例一 基于时间的滚动和滑动窗口 需求 代码实现 案例一 基于时间的滚动和滑动窗口 需求 nc -lk 9999 有如下数据表示: 信号灯编号和通过该信号灯的车的数量 9,3 9,2 9,7 4,9 2,6 1,5 2,3 5,7 5,4 需求1:每5秒钟统计一次，最近5秒钟内，各个路口通过红... 目录 案例一 基于时间的滚动和滑动窗口 需求 代码实现 案例一 基于时间的滚动和滑动窗口 需求 nc -lk 9999 有如下数据表示: 信号灯编号和通过该信号灯的车的数量 9,3 9,2 9,7 4,9 2,6 1,5 2,3 5,7 5,4 需求1:每5秒钟统计一次，最近5秒钟内，各个路口通过红...
- 目录 高阶函数用法 作为值的函数 匿名函数 柯里化（多参数列表） 闭包 高阶函数用法 Scala 混合了面向对象和函数式的特性，在函数式编程语言中，函数是“头等公民”，它和Int、String、Class等其他类型处于同等的地位，可以像其他任何数据类型一样被传递和操作。 高阶函数包含：作为值的函数、匿名函数、闭包、柯里... 目录 高阶函数用法 作为值的函数 匿名函数 柯里化（多参数列表） 闭包 高阶函数用法 Scala 混合了面向对象和函数式的特性，在函数式编程语言中，函数是“头等公民”，它和Int、String、Class等其他类型处于同等的地位，可以像其他任何数据类型一样被传递和操作。 高阶函数包含：作为值的函数、匿名函数、闭包、柯里...
- 目录 方法参数 默认参数 带名参数 变长参数 方法参数 scala中的方法参数，使用比较灵活。它支持以下几种类型的参数： 默认参数带名参数变长参数 默认参数 在定义方法时可以给参数定义一个默认值。 示例 定义一个计算两个值相加的方法，这两个值默认为0 调用该方法，不传任何参数 参考代码 // ... 目录 方法参数 默认参数 带名参数 变长参数 方法参数 scala中的方法参数，使用比较灵活。它支持以下几种类型的参数： 默认参数带名参数变长参数 默认参数 在定义方法时可以给参数定义一个默认值。 示例 定义一个计算两个值相加的方法，这两个值默认为0 调用该方法，不传任何参数 参考代码 // ...
- Allowed Lateness案例演示 需求 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。 并使用OutputTag+allowedLateness解决数据丢失问题 ... Allowed Lateness案例演示 需求 有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额 并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。 并使用OutputTag+allowedLateness解决数据丢失问题 ...
- 目录 声明变量 语法格式 在解释器中定义一个变量 val和var变量 使用类型推断来定义变量 惰性赋值 声明变量 我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？ 语法格式 Java变量定义 int a = 0; 在scala中，可以使用val或者v... 目录 声明变量 语法格式 在解释器中定义一个变量 val和var变量 使用类型推断来定义变量 惰性赋值 声明变量 我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？ 语法格式 Java变量定义 int a = 0; 在scala中，可以使用val或者v...
- 目录 聚合操作 聚合 reduce 定义 案例 折叠 fold 定义 案例 聚合操作 聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中 聚合 reduce reduce表示将列表，传入一个函数进行聚合计算 定义 方法签名... 目录 聚合操作 聚合 reduce 定义 案例 折叠 fold 定义 案例 聚合操作 聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中 聚合 reduce reduce表示将列表，传入一个函数进行聚合计算 定义 方法签名...
- 目录 继承(extends) 简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符 调用父类的constructor 抽象类 抽象方法 抽象字段 匿名内部类 继承(extends) 简单... 目录 继承(extends) 简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符 调用父类的constructor 抽象类 抽象方法 抽象字段 匿名内部类 继承(extends) 简单...
- 目录 数组 重点掌握 定长数组 变长数组 遍历数组 数组常用算法 数组 重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组 定长数组 定长数组指的是数组的长度是不允许改变的数... 目录 数组 重点掌握 定长数组 变长数组 遍历数组 数组常用算法 数组 重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组 定长数组 定长数组指的是数组的长度是不允许改变的数...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中
热门标签