- 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-... 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-...
- 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ... 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...
- 大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部... 大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部...
- 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin... 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin...
- 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室... 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室...
- 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态... 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态...
- 目录 函数式编程 介绍 函数式编程的意义在哪？ 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/... 目录 函数式编程 介绍 函数式编程的意义在哪？ 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/...
- 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方... 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...
- 字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。 参考代码 scala> p... 字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。 参考代码 scala> p...
- 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制，可以应用在很多场景： switch语句类型查询以及快速获取数据 简单... 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制，可以应用在很多场景： switch语句类型查询以及快速获取数据 简单...
- 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB... 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB...
- 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink... 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink...
- 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作，也是必须要掌握的。 定义 可以把flatMap，理解为先map，然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f... 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作，也是必须要掌握的。 定义 可以把flatMap，理解为先map，然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f...
- 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb... 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb...
- 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan... 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中
热门标签