- MRS集群默认会带上Python2.7.5和Python3.8.0两个版本的Python。默认使用的是Python2.7.5。但是有时候我们希望使用的是我们指定的Python版本来运行pyspark任务，因此需要自行上传对应的Python版本包。由于Python较依赖环境，不同环境编译出来的Python版本可能并不通用。 MRS集群默认会带上Python2.7.5和Python3.8.0两个版本的Python。默认使用的是Python2.7.5。但是有时候我们希望使用的是我们指定的Python版本来运行pyspark任务，因此需要自行上传对应的Python版本包。由于Python较依赖环境，不同环境编译出来的Python版本可能并不通用。
- 随着互联网行业的逐渐扩张，线上业务量大幅增加，对数据处理能力的要求也逐步提高。如何选择合适的数据处理框架以及任务调度框架，成为每个对数据处理有要求的公司需严谨思考的问题。本文从Spark这一数据处理引擎入手，浅析spark on yarn的优势及缺点，作为选择数据处理框架的参考。一、 Spark/Yarn简述Spark：Apache Spark是处理大规模数据的统一分析引擎，用于构建大型、低... 随着互联网行业的逐渐扩张，线上业务量大幅增加，对数据处理能力的要求也逐步提高。如何选择合适的数据处理框架以及任务调度框架，成为每个对数据处理有要求的公司需严谨思考的问题。本文从Spark这一数据处理引擎入手，浅析spark on yarn的优势及缺点，作为选择数据处理框架的参考。一、 Spark/Yarn简述Spark：Apache Spark是处理大规模数据的统一分析引擎，用于构建大型、低...
- Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l... Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l...
- 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h... 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h...
- 安装一个简单的伪分布式Spark集群及RDD简单操作@[toc] 实验环境前提是已经配置好Java、Hadoop了环境：Linux安装包版本：scala-2.11.8.tgzspark-2.1.0jdk1.8.0_171hadoop-2.6.0spark: http://spark.apache.org/downloads.htmlscala: https://www.scala-lan... 安装一个简单的伪分布式Spark集群及RDD简单操作@[toc] 实验环境前提是已经配置好Java、Hadoop了环境：Linux安装包版本：scala-2.11.8.tgzspark-2.1.0jdk1.8.0_171hadoop-2.6.0spark: http://spark.apache.org/downloads.htmlscala: https://www.scala-lan...
- Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比 Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比
- 使用Sprak的scala接口往GaussDB(DWS)导入数据时，当数据源表和目标表数据不一致时，可能会触发导入作业异常 使用Sprak的scala接口往GaussDB(DWS)导入数据时，当数据源表和目标表数据不一致时，可能会触发导入作业异常
- Spark 学习中的案例实操，包括Top10 热门品类统计、Top10 热门品类中每个品类的 Top10 活跃 Session 统计、页面单跳转换率统计 Spark 学习中的案例实操，包括Top10 热门品类统计、Top10 热门品类中每个品类的 Top10 活跃 Session 统计、页面单跳转换率统计
- RDD算子分为转换算子和行动算子，转换算子根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，转换算子不会提交作业，而行动算子会提交作业。 RDD算子分为转换算子和行动算子，转换算子根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，转换算子不会提交作业，而行动算子会提交作业。
- 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。
- Ray 简介Ray是UC Berkeley大学 RISE lab（前AMP lab） 2017年12月 开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决复杂场景问题，通过动态计算及状态共享提高效率，实现研发、运行时、容灾一体化 Ray的历史Google的三驾马车（2003年，GFS,BigTable,MapReduce... Ray 简介Ray是UC Berkeley大学 RISE lab（前AMP lab） 2017年12月 开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决复杂场景问题，通过动态计算及状态共享提高效率，实现研发、运行时、容灾一体化 Ray的历史Google的三驾马车（2003年，GFS,BigTable,MapReduce...
- MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ... MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ...
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.cn/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.cn/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。 DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。
- 本文主要是通过Spark代码走读来了解spark-submit的流程 本文主要是通过Spark代码走读来了解spark-submit的流程
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签