- 目录 RDD算子练习 map 算子 filter 算子 flatMap 算子 交集、并集、差集、笛卡尔积 distinct 算子 first、take、top 算子 keys、values 算子 mapValues 算子 ... 目录 RDD算子练习 map 算子 filter 算子 flatMap 算子 交集、并集、差集、笛卡尔积 distinct 算子 first、take、top 算子 keys、values 算子 mapValues 算子 ...
- 目录 案例三 需求 编码步骤 代码实现-方式1 代码实现-方式2 案例三 需求 使用Flink SQL来统计5秒内 每个用户的 订单总数、订单的最大金额、订单的最小金额 也就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额 上面的需求... 目录 案例三 需求 编码步骤 代码实现-方式1 代码实现-方式2 案例三 需求 使用Flink SQL来统计5秒内 每个用户的 订单总数、订单的最大金额、订单的最小金额 也就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额 上面的需求...
- 目录 函数 重点掌握 定义函数 方法和函数的区别 方法转换为函数 完全体函数 函数 重点掌握 scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数 函数和我们的对象一样, 在Scala中都是属于一等公民 定义函数 简便语法 val 函数变量... 目录 函数 重点掌握 定义函数 方法和函数的区别 方法转换为函数 完全体函数 函数 重点掌握 scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数 函数和我们的对象一样, 在Scala中都是属于一等公民 定义函数 简便语法 val 函数变量...
- 目录 BroadcastState BroadcastState介绍 需求-实现配置动态更新 编码步骤 1.env 2.source 3.transformation 4.sink 5.execute 参考实现 实现代码 BroadcastState BroadcastState介... 目录 BroadcastState BroadcastState介绍 需求-实现配置动态更新 编码步骤 1.env 2.source 3.transformation 4.sink 5.execute 参考实现 实现代码 BroadcastState BroadcastState介...
- 目录 泛型 定义一个泛型方法 定义一个泛型类 上下界 协变、逆变、非变 非变 协变 逆变 泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs... 目录 泛型 定义一个泛型方法 定义一个泛型类 上下界 协变、逆变、非变 非变 协变 逆变 泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs...
- 目录 一、Scala简介 为什么使用scala Scala对比Java 案例 一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程 多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进... 目录 一、Scala简介 为什么使用scala Scala对比Java 案例 一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程 多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进...
- 1.试述分布式文件系统设计的需求。 设计需求含义HDFS的实现情况透明性具备访问透明性、位置透明性、性能、和伸缩透明性只能提供一定程度的访问透明性，完全支持位置透明性、性能和伸缩透明性并发控制客户端对于... 1.试述分布式文件系统设计的需求。 设计需求含义HDFS的实现情况透明性具备访问透明性、位置透明性、性能、和伸缩透明性只能提供一定程度的访问透明性，完全支持位置透明性、性能和伸缩透明性并发控制客户端对于...
- 目录 分组 groupBy 定义 示例 分组 groupBy 我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法 等同于SQL中的 group by的概念， 就是给数据按照指定的列进行分组用。 定义 groupBy表示按照函数将列表分成不同的组 方法签名 def&n... 目录 分组 groupBy 定义 示例 分组 groupBy 我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法 等同于SQL中的 group by的概念， 就是给数据按照指定的列进行分组用。 定义 groupBy表示按照函数将列表分成不同的组 方法签名 def&n...
- 目录 自定义UDF函数 第一种：UDF（User-Defined-Function） 函数 第二种：UDAF（User-Defined Aggregation Function） 聚合函数 第三种：UDTF（User-Defined Table-Generating Functions） 函数 SQL方式 DSL方式 代码... 目录 自定义UDF函数 第一种：UDF（User-Defined-Function） 函数 第二种：UDAF（User-Defined Aggregation Function） 聚合函数 第三种：UDTF（User-Defined Table-Generating Functions） 函数 SQL方式 DSL方式 代码...
- 目录 案例四 需求 代码实现 案例四 需求 从Kafka中消费数据并过滤出状态为success的数据再写入到Kafka {"user_id": "1", "page_id":"1", "status": "success"} {"user_id": "1", "page_id":"1", "... 目录 案例四 需求 代码实现 案例四 需求 从Kafka中消费数据并过滤出状态为success的数据再写入到Kafka {"user_id": "1", "page_id":"1", "status": "success"} {"user_id": "1", "page_id":"1", "...
- 目录 Zookeeper基本知识 ZooKeeper概述 ZooKeeper特性 ZooKeeper集群角色 Leader: Follower: Observer: Zookeeper基本知识 ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一... 目录 Zookeeper基本知识 ZooKeeper概述 ZooKeeper特性 ZooKeeper集群角色 Leader: Follower: Observer: Zookeeper基本知识 ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一...
- 目录 Standalone独立集群模式 原理 操作 1.集群规划: 2.修改flink-conf.yaml 3.修改masters 4.修改slaves 5.添加HADOOP_CONF_DIR环境变量 6.分发 7.source 测试 1.启动集群，在node1上执行如下命令 2.启动历史服务器 ... 目录 Standalone独立集群模式 原理 操作 1.集群规划: 2.修改flink-conf.yaml 3.修改masters 4.修改slaves 5.添加HADOOP_CONF_DIR环境变量 6.分发 7.source 测试 1.启动集群，在node1上执行如下命令 2.启动历史服务器 ...
- 目录 案例一：花式查询 案例二：WordCount 基于DSL编程 基于SQL编程 具体演示代码如下： 案例一：花式查询 package cn.itcast.sql import org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimp... 目录 案例一：花式查询 案例二：WordCount 基于DSL编程 基于SQL编程 具体演示代码如下： 案例一：花式查询 package cn.itcast.sql import org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimp...
- 目录 SparkStreaming实战案例五 TopN-transform 需求 注意： 代码实现 SparkStreaming实战案例五 TopN-transform 需求 使用窗口计算模拟热搜排行榜: 每隔10s计算最近20s的热搜排行榜! 注意： DStream没有直接排序的... 目录 SparkStreaming实战案例五 TopN-transform 需求 注意： 代码实现 SparkStreaming实战案例五 TopN-transform 需求 使用窗口计算模拟热搜排行榜: 每隔10s计算最近20s的热搜排行榜! 注意： DStream没有直接排序的...
- 目录 SparkSQL数据处理分析 基于DSL分析 基于SQL分析 第一步、注册为临时视图 第二步、编写SQL，执行分析 SparkSQL数据处理分析 在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种... 目录 SparkSQL数据处理分析 基于DSL分析 基于SQL分析 第一步、注册为临时视图 第二步、编写SQL，执行分析 SparkSQL数据处理分析 在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签