- 目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执... 目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执...
- 目录 Source 预定义Source 基于集合的Source 基于文件的Source 基于Socket的Source 自定义Source 随机生成数据 MySQL Source 预定义Source 基于集合的Source API 一般用于学习测试... 目录 Source 预定义Source 基于集合的Source 基于文件的Source 基于Socket的Source 自定义Source 随机生成数据 MySQL Source 预定义Source 基于集合的Source API 一般用于学习测试...
- 目录 break和continue 实现break 实现continue break和continue 在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。 ... 目录 break和continue 实现break 实现continue break和continue 在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。 ...
- 目录 隐式转换和隐式参数 隐式转换 自动导入隐式转换方法 隐式转换的时机 隐式参数 隐式转换和隐式参数 隐式转换和隐式参数是scala非常有特色的功能，也是Java等其他编程语言没有的功能。我们可以很方便地利用隐式转换来丰富现有类的功能。 隐式转换 来看一个案例， object Super... 目录 隐式转换和隐式参数 隐式转换 自动导入隐式转换方法 隐式转换的时机 隐式参数 隐式转换和隐式参数 隐式转换和隐式参数是scala非常有特色的功能，也是Java等其他编程语言没有的功能。我们可以很方便地利用隐式转换来丰富现有类的功能。 隐式转换 来看一个案例， object Super...
- 目录 iterator迭代器 使用迭代器遍历集合 iterator迭代器 scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合 使用迭代器遍历集合 使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作 hasNext——查询容器中是否有下一个元素next——返... 目录 iterator迭代器 使用迭代器遍历集合 iterator迭代器 scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合 使用迭代器遍历集合 使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作 hasNext——查询容器中是否有下一个元素next——返...
- 本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R... 本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R...
- 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,... 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,...
- 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No... 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No...
- 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok... 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok...
- 目录 Spark 框架模块-了解 Spark Core Spark SQL Spark Streaming Spark MLlib Spark GraphX Structured Streaming Spark 框架模块-了解 ... 目录 Spark 框架模块-了解 Spark Core Spark SQL Spark Streaming Spark MLlib Spark GraphX Structured Streaming Spark 框架模块-了解 ...
- 本篇博客，为大家带来的是关于大数据实战【千亿级数仓】阶段五的内容。  ... 本篇博客，为大家带来的是关于大数据实战【千亿级数仓】阶段五的内容。  ...
- 目录 环境搭建-Standalone 前言 Standalone 架构 集群规划 修改配置并分发 修改slaves 分发到其他机器 修改spark-env.sh 集群启动和停止 测试 环境搭建-Standalone Standalone模式是Spar... 目录 环境搭建-Standalone 前言 Standalone 架构 集群规划 修改配置并分发 修改slaves 分发到其他机器 修改spark-env.sh 集群启动和停止 测试 环境搭建-Standalone Standalone模式是Spar...
- 目录 环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置 修改spark-env.sh 整合历史服务器并关闭资源检查 整合Yarn历史服务器并关闭资源检查 配置spark历史服务器 修改spark-env.sh 设置日志级别 ... 目录 环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置 修改spark-env.sh 整合历史服务器并关闭资源检查 整合Yarn历史服务器并关闭资源检查 配置spark历史服务器 修改spark-env.sh 设置日志级别 ...
- 目录 单例对象 定义object - 掌握 伴生对象 - 掌握 apply方法 - 掌握 main方法 单例对象 Scala中没有static关键字，但是它支持静态 如果要定义静态的东西，统统定义到object中 语法： object xxx{ // 内容 } 反向理解，clas... 目录 单例对象 定义object - 掌握 伴生对象 - 掌握 apply方法 - 掌握 main方法 单例对象 Scala中没有static关键字，但是它支持静态 如果要定义静态的东西，统统定义到object中 语法： object xxx{ // 内容 } 反向理解，clas...
- 目录 映射 | map 用法 案例一 案例二 映射 map 集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。 map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表 和foreach... 目录 映射 | map 用法 案例一 案例二 映射 map 集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。 map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表 和foreach...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签