- 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。
- 如果能配合jupyter notebook使用pyspark，无论是机器学习，数据探索，还是ETL应用的开发，开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。 如果能配合jupyter notebook使用pyspark，无论是机器学习，数据探索，还是ETL应用的开发，开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。
- 使用python3运行pyspark，需要做两步：1. 在mrs集群的所有core节点，以及提交任务的节点（通常为mrs的master节点），均安装python3；2. 指定pyspark使用的python路径。 使用python3运行pyspark，需要做两步：1. 在mrs集群的所有core节点，以及提交任务的节点（通常为mrs的master节点），均安装python3；2. 指定pyspark使用的python路径。
- 对数据湖探索（DLI）服务，用户日常大部分时间会使用SQL对数据进行分析处理，但是在某些时候处理的逻辑特别复杂，无法通过SQL处理，可以写Spark作业进行分析处理。本文描述通过一个例子演示如何在服务湖工厂（DLF）上提交一个Spark作业。 对数据湖探索（DLI）服务，用户日常大部分时间会使用SQL对数据进行分析处理，但是在某些时候处理的逻辑特别复杂，无法通过SQL处理，可以写Spark作业进行分析处理。本文描述通过一个例子演示如何在服务湖工厂（DLF）上提交一个Spark作业。
- 本书摘自《Spark机器学习进阶实战》——书中的第3章，第3.2.5节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第3章，第3.2.5节，作者是马海平、于俊、吕昕、向海。
- 本书摘自《Spark机器学习进阶实战》——书中的第3章，第3.2.4节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第3章，第3.2.4节，作者是马海平、于俊、吕昕、向海。
- 在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。 在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签