- 1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。 答：Spark具有如下4个主要特点： ①运行速度快；②容易使用；③通用性；④运行模式多样。  ... 1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。 答：Spark具有如下4个主要特点： ①运行速度快；②容易使用；③通用性；④运行模式多样。  ...
- 目录 Spark内核原理 RDD 依赖 窄依赖（Narrow Dependency） Shuffle 依赖（宽依赖 Wide Dependency） 如何区分宽窄依赖 DAG和Stage 词汇表 Spark内存迭代 所以，我们说Spark比MR效率高主要就是2个原... 目录 Spark内核原理 RDD 依赖 窄依赖（Narrow Dependency） Shuffle 依赖（宽依赖 Wide Dependency） 如何区分宽窄依赖 DAG和Stage 词汇表 Spark内存迭代 所以，我们说Spark比MR效率高主要就是2个原...
- 目录 SparkStreaming实战案例二 UpdateStateByKey 需求 1.updateStateByKey 2.mapWithState 代码实现 SparkStreaming实战案例二 UpdateStateByKey 需求 对从Socket接收的数据做WordCount并要求能够和历史数据进行累加!... 目录 SparkStreaming实战案例二 UpdateStateByKey 需求 1.updateStateByKey 2.mapWithState 代码实现 SparkStreaming实战案例二 UpdateStateByKey 需求 对从Socket接收的数据做WordCount并要求能够和历史数据进行累加!...
- 本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。 &... 本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。 &...
- 目录 Flink安装部署 Local本地模式 原理 操作 测试 Flink安装部署 Flink支持多种安装模式 - Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用-... 目录 Flink安装部署 Local本地模式 原理 操作 测试 Flink安装部署 Flink支持多种安装模式 - Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用-...
- 目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执... 目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执...
- 目录 Source 预定义Source 基于集合的Source 基于文件的Source 基于Socket的Source 自定义Source 随机生成数据 MySQL Source 预定义Source 基于集合的Source API 一般用于学习测试... 目录 Source 预定义Source 基于集合的Source 基于文件的Source 基于Socket的Source 自定义Source 随机生成数据 MySQL Source 预定义Source 基于集合的Source API 一般用于学习测试...
- 目录 break和continue 实现break 实现continue break和continue 在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。 ... 目录 break和continue 实现break 实现continue break和continue 在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。 ...
- 目录 隐式转换和隐式参数 隐式转换 自动导入隐式转换方法 隐式转换的时机 隐式参数 隐式转换和隐式参数 隐式转换和隐式参数是scala非常有特色的功能，也是Java等其他编程语言没有的功能。我们可以很方便地利用隐式转换来丰富现有类的功能。 隐式转换 来看一个案例， object Super... 目录 隐式转换和隐式参数 隐式转换 自动导入隐式转换方法 隐式转换的时机 隐式参数 隐式转换和隐式参数 隐式转换和隐式参数是scala非常有特色的功能，也是Java等其他编程语言没有的功能。我们可以很方便地利用隐式转换来丰富现有类的功能。 隐式转换 来看一个案例， object Super...
- 目录 iterator迭代器 使用迭代器遍历集合 iterator迭代器 scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合 使用迭代器遍历集合 使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作 hasNext——查询容器中是否有下一个元素next——返... 目录 iterator迭代器 使用迭代器遍历集合 iterator迭代器 scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合 使用迭代器遍历集合 使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作 hasNext——查询容器中是否有下一个元素next——返...
- 本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R... 本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R...
- 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,... 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,...
- 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No... 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No...
- 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok... 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok...
- 目录 Spark 框架模块-了解 Spark Core Spark SQL Spark Streaming Spark MLlib Spark GraphX Structured Streaming Spark 框架模块-了解 ... 目录 Spark 框架模块-了解 Spark Core Spark SQL Spark Streaming Spark MLlib Spark GraphX Structured Streaming Spark 框架模块-了解 ...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签