- MRS集群默认会带上Python2.7.5和Python3.8.0两个版本的Python。默认使用的是Python2.7.5。但是有时候我们希望使用的是我们指定的Python版本来运行pyspark任务，因此需要自行上传对应的Python版本包。由于Python较依赖环境，不同环境编译出来的Python版本可能并不通用。 MRS集群默认会带上Python2.7.5和Python3.8.0两个版本的Python。默认使用的是Python2.7.5。但是有时候我们希望使用的是我们指定的Python版本来运行pyspark任务，因此需要自行上传对应的Python版本包。由于Python较依赖环境，不同环境编译出来的Python版本可能并不通用。
- 随着互联网行业的逐渐扩张，线上业务量大幅增加，对数据处理能力的要求也逐步提高。如何选择合适的数据处理框架以及任务调度框架，成为每个对数据处理有要求的公司需严谨思考的问题。本文从Spark这一数据处理引擎入手，浅析spark on yarn的优势及缺点，作为选择数据处理框架的参考。一、 Spark/Yarn简述Spark：Apache Spark是处理大规模数据的统一分析引擎，用于构建大型、低... 随着互联网行业的逐渐扩张，线上业务量大幅增加，对数据处理能力的要求也逐步提高。如何选择合适的数据处理框架以及任务调度框架，成为每个对数据处理有要求的公司需严谨思考的问题。本文从Spark这一数据处理引擎入手，浅析spark on yarn的优势及缺点，作为选择数据处理框架的参考。一、 Spark/Yarn简述Spark：Apache Spark是处理大规模数据的统一分析引擎，用于构建大型、低...
- Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l... Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l...
- 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h... 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h...
- 安装一个简单的伪分布式Spark集群及RDD简单操作@[toc] 实验环境前提是已经配置好Java、Hadoop了环境：Linux安装包版本：scala-2.11.8.tgzspark-2.1.0jdk1.8.0_171hadoop-2.6.0spark: http://spark.apache.org/downloads.htmlscala: https://www.scala-lan... 安装一个简单的伪分布式Spark集群及RDD简单操作@[toc] 实验环境前提是已经配置好Java、Hadoop了环境：Linux安装包版本：scala-2.11.8.tgzspark-2.1.0jdk1.8.0_171hadoop-2.6.0spark: http://spark.apache.org/downloads.htmlscala: https://www.scala-lan...
- Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比 Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比
- 使用Sprak的scala接口往GaussDB(DWS)导入数据时，当数据源表和目标表数据不一致时，可能会触发导入作业异常 使用Sprak的scala接口往GaussDB(DWS)导入数据时，当数据源表和目标表数据不一致时，可能会触发导入作业异常
- Spark 学习中的案例实操，包括Top10 热门品类统计、Top10 热门品类中每个品类的 Top10 活跃 Session 统计、页面单跳转换率统计 Spark 学习中的案例实操，包括Top10 热门品类统计、Top10 热门品类中每个品类的 Top10 活跃 Session 统计、页面单跳转换率统计
- RDD算子分为转换算子和行动算子，转换算子根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，转换算子不会提交作业，而行动算子会提交作业。 RDD算子分为转换算子和行动算子，转换算子根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，转换算子不会提交作业，而行动算子会提交作业。
- 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。 在自建Spark集群安装完并完成Yarn Log日志配置后，Task在Yarn上的日志的stderr与stdout显示有异常，并且如与OBS相关log4j的日志打印不显示。
- Ray 简介Ray是UC Berkeley大学 RISE lab（前AMP lab） 2017年12月 开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决复杂场景问题，通过动态计算及状态共享提高效率，实现研发、运行时、容灾一体化 Ray的历史Google的三驾马车（2003年，GFS,BigTable,MapReduce... Ray 简介Ray是UC Berkeley大学 RISE lab（前AMP lab） 2017年12月 开源的新一代分布式应用框架（刚发布的时候定位是高性能分布式计算框架，20年中修改定位为分布式应用框架），通过一套引擎解决复杂场景问题，通过动态计算及状态共享提高效率，实现研发、运行时、容灾一体化 Ray的历史Google的三驾马车（2003年，GFS,BigTable,MapReduce...
- MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ... MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ...
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.cn/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.cn/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。 DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。
- 本文主要是通过Spark代码走读来了解spark-submit的流程 本文主要是通过Spark代码走读来了解spark-submit的流程
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
即将直播
热门标签