- 第一个Spark程序 第一个Spark程序
- Apache Spark™ is a fast and general engine for large-scale data processing. Apache Spark™ is a fast and general engine for large-scale data processing.
- 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前，华为云OBS可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势，且无扩容问题，使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件，更好的使用华为云对象存... 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前，华为云OBS可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势，且无扩容问题，使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件，更好的使用华为云对象存...
- 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.2.6节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.2.6节，作者是马海平、于俊、吕昕、向海。
- 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.2.4节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.2.4节，作者是马海平、于俊、吕昕、向海。
- 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.2.2节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.2.2节，作者是马海平、于俊、吕昕、向海。
- 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.1节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第2章，第2.1节，作者是马海平、于俊、吕昕、向海。
- 本书摘自《Spark机器学习进阶实战》——书中的第1章，第1.3.1节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第1章，第1.3.1节，作者是马海平、于俊、吕昕、向海。
- 在Docker容器中安装jdk和spark1、下载jdk和spark可以使用迅雷等专业下载软件下载jdk和spark软件包，注意是linux版，这里直接给出下载地址：JDK下载地址JDK进入后，需要选择同意之后，才能下载。https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlSp... 在Docker容器中安装jdk和spark1、下载jdk和spark可以使用迅雷等专业下载软件下载jdk和spark软件包，注意是linux版，这里直接给出下载地址：JDK下载地址JDK进入后，需要选择同意之后，才能下载。https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlSp...
- 针对搜狗实验室的语料数据-用户查询日志（网页搜索用户查询及点击记录）进行Spark数据分析。Data 简介搜索引擎查询日志库设计为包括约1个月(2008年6月)Sogou搜索引擎部分网页查询需求及用户点击情况的网页查询日志数据集合。为进行中文搜索引擎用户行为分析的研究者提供基准研究语料。格式说明：数据格式为访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\... 针对搜狗实验室的语料数据-用户查询日志（网页搜索用户查询及点击记录）进行Spark数据分析。Data 简介搜索引擎查询日志库设计为包括约1个月(2008年6月)Sogou搜索引擎部分网页查询需求及用户点击情况的网页查询日志数据集合。为进行中文搜索引擎用户行为分析的研究者提供基准研究语料。格式说明：数据格式为访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\...
- 之前介绍的有关数据入库的经验都是基于实时数据流，数据存储在kafka中，使用Java或者Golang将数据从kafka中读取、解析、清洗之后写入ClickHouse中，实现数据的快速接入。在很多的使用场景中，数据都不是实时的，可能需要将HDFS或者是hive的数据导入ClickHouse，可以通过编写Spark程序实现数据的导入。HDFS to ClickHouse假设日志存储在HDFS中，... 之前介绍的有关数据入库的经验都是基于实时数据流，数据存储在kafka中，使用Java或者Golang将数据从kafka中读取、解析、清洗之后写入ClickHouse中，实现数据的快速接入。在很多的使用场景中，数据都不是实时的，可能需要将HDFS或者是hive的数据导入ClickHouse，可以通过编写Spark程序实现数据的导入。HDFS to ClickHouse假设日志存储在HDFS中，...
- 基于Spark内核，Spark构建起了一体化多元化的大数据处理流水线，在一个技术堆栈中即可以同时完成批处理、实时流处理、交互式查询、机器学习、图计算以及这些子框架之间数据和RDD算子的无缝共享与互操作。 基于Spark内核，Spark构建起了一体化多元化的大数据处理流水线，在一个技术堆栈中即可以同时完成批处理、实时流处理、交互式查询、机器学习、图计算以及这些子框架之间数据和RDD算子的无缝共享与互操作。
- Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架
- Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式和函数式的编程风格。 Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式和函数式的编程风格。
- 一、前述Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。自愿申请的话，本文分粗粒度和细粒度模式分别介绍。二、具体Spark资源调度流程图：Spark资源调度和任务调度的流程：1、启动集群后，Worker节点会向Master节点汇报资源情况，Master掌握了集群资源情况。2、当Spark提交一个Application后，根据RDD之间的依... 一、前述Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。自愿申请的话，本文分粗粒度和细粒度模式分别介绍。二、具体Spark资源调度流程图：Spark资源调度和任务调度的流程：1、启动集群后，Worker节点会向Master节点汇报资源情况，Master掌握了集群资源情况。2、当Spark提交一个Application后，根据RDD之间的依...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签