- 共享变量 广播变量（Broadcast Variables）：广播变量用来把变量在所有节点的内存之间进行共享，在每个机器上缓存一个只读的变量，而不是为机器上的每个任务都生成一个副本，简单理解：减少内存，减小计算压力; 累加器（Accumulators）：累加器支持在所有不同节点之间进行累加计算(比如计数或者求和); ... 共享变量 广播变量（Broadcast Variables）：广播变量用来把变量在所有节点的内存之间进行共享，在每个机器上缓存一个只读的变量，而不是为机器上的每个任务都生成一个副本，简单理解：减少内存，减小计算压力; 累加器（Accumulators）：累加器支持在所有不同节点之间进行累加计算(比如计数或者求和); ...
- 文章目录 一、pyspark.sql部分1.窗口函数2.更换列名：3.sql将一个字段根据某个字符拆分成多个字段显示4.pd和spark的dataframe进行转换：5.报错ValueError:... 文章目录 一、pyspark.sql部分1.窗口函数2.更换列名：3.sql将一个字段根据某个字符拆分成多个字段显示4.pd和spark的dataframe进行转换：5.报错ValueError:...
- 文章目录 零、本讲学习目标一、基本数据源（一）文件流1、读取文件流概述2、读取文件流演示 零、本讲学习目标 掌握Spark Streaming基本数据源掌握Spark Strea... 文章目录 零、本讲学习目标一、基本数据源（一）文件流1、读取文件流概述2、读取文件流演示 零、本讲学习目标 掌握Spark Streaming基本数据源掌握Spark Strea...
- 文章目录 零、本讲学习目标一、Spark Streaming概述（一）什么是Spark Streaming（二）Sparing Streaming的主要优点1、易于使用2、易于与Spark体系整合... 文章目录 零、本讲学习目标一、Spark Streaming概述（一）什么是Spark Streaming（二）Sparing Streaming的主要优点1、易于使用2、易于与Spark体系整合...
- 文章目录 零、本讲学习目标一、使用Spark SQL实现词频统计（一）数据源 - words.txt（二）创建Maven项目（三）添加依赖和构建插件（四）修改源目录名称（五）创建日志属性文件（六）... 文章目录 零、本讲学习目标一、使用Spark SQL实现词频统计（一）数据源 - words.txt（二）创建Maven项目（三）添加依赖和构建插件（四）修改源目录名称（五）创建日志属性文件（六）...
- 文章目录 零、本讲学习目标一、Spark SQL内置函数（一）内置函数概述1、10类内置函数2、两种使用方式 （二）内置函数演示1、通过编程方式使用内置函数upper()2、通过SQL语句的... 文章目录 零、本讲学习目标一、Spark SQL内置函数（一）内置函数概述1、10类内置函数2、两种使用方式 （二）内置函数演示1、通过编程方式使用内置函数upper()2、通过SQL语句的...
- 文章目录 零、本讲学习目标一、Spark SQL读取关系数据库二、Spark SQL JDBC连接属性三、创建数据库与表（一）创建数据库（二）创建学生表（二）创建成绩表 四、读取和写入数据库表... 文章目录 零、本讲学习目标一、Spark SQL读取关系数据库二、Spark SQL JDBC连接属性三、创建数据库与表（一）创建数据库（二）创建学生表（二）创建成绩表 四、读取和写入数据库表...
- 文章目录 零、本讲学习目标一、Spark SQL支持读写Hive二、Spark配置hive-site.xml三、准备工作（一）启动Hive的metastore（二）启动Spark Shell ... 文章目录 零、本讲学习目标一、Spark SQL支持读写Hive二、Spark配置hive-site.xml三、准备工作（一）启动Hive的metastore（二）启动Spark Shell ...
- 文章目录 零、本讲学习目标一、读取JSON文件概述二、读取JSON文件案例演示（一）创建JSON文件并上传到HDFS（二）读取JSON文件，创建临时表，进行关联查询1、读取user.json文件，... 文章目录 零、本讲学习目标一、读取JSON文件概述二、读取JSON文件案例演示（一）创建JSON文件并上传到HDFS（二）读取JSON文件，创建临时表，进行关联查询1、读取user.json文件，...
- 文章目录 一、任务描述 二、实现步骤 （一）引入包并构建训练数据集 （二）定义工作流阶段 （三）创建工作流，训练出模型 （四）构建测试... 文章目录 一、任务描述 二、实现步骤 （一）引入包并构建训练数据集 （二）定义工作流阶段 （三）创建工作流，训练出模型 （四）构建测试...
- 文章目录 零、本讲学习目标一、基本操作（一）默认数据源1、默认数据源Parquet2、案例演示读取Parquet文件（1）在Spark Shell中演示（2）通过Scala程序演示 ... 文章目录 零、本讲学习目标一、基本操作（一）默认数据源1、默认数据源Parquet2、案例演示读取Parquet文件（1）在Spark Shell中演示（2）通过Scala程序演示 ...
- 文章目录 一、索引分区映射概述 二、索引分区映射案例 （一）每个元素翻10倍，不显示分区索引 （二）每个元素翻10倍，要显示分区索引 ... 文章目录 一、索引分区映射概述 二、索引分区映射案例 （一）每个元素翻10倍，不显示分区索引 （二）每个元素翻10倍，要显示分区索引 ...
- 文章目录 零、回顾一、使用Spark SQL完成任务1里面的数据筛选二、使用Spark SQL完成任务2里面的统计（列可以不统计）三、使用Spark SQL完成任务3的分组统计 零、回顾 ... 文章目录 零、回顾一、使用Spark SQL完成任务1里面的数据筛选二、使用Spark SQL完成任务2里面的统计（列可以不统计）三、使用Spark SQL完成任务3的分组统计 零、回顾 ...
- 学习总结 文章目录 学习总结一、数据统计1.1 读取文件1.2 保存读取的信息1.3 分析每列的类型，取值个数1.4 分析每列是否包含缺失值 二、分组聚合2.1 学习groupby分组聚合的... 学习总结 文章目录 学习总结一、数据统计1.1 读取文件1.2 保存读取的信息1.3 分析每列的类型，取值个数1.4 分析每列是否包含缺失值 二、分组聚合2.1 学习groupby分组聚合的...
- 学习总结 文章目录 学习总结一、Spark介绍1.1 Scala和PySpark1.2 Spark原理1.3 一个具体栗子 二、安装方式三、测试是否安装成功四、Spark程序的模块分类五、数... 学习总结 文章目录 学习总结一、Spark介绍1.1 Scala和PySpark1.2 Spark原理1.3 一个具体栗子 二、安装方式三、测试是否安装成功四、Spark程序的模块分类五、数...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签