- Apache Spark 是一个开源的分布式数据处理引擎，专为大规模数据处理而设计。它由加州大学伯克利分校的AMPLab开发，并于2010年首次发布。Spark 提供了一个统一的编程模型，可以跨集群处理海量数据，支持多种数据处理任务，包括批处理、实时流处理、机器学习和图计算。由于其高效的内存管理和广泛的功能集，Spark 已成为大数据处理的主流工具之一。 1. Apache Spark 的核... Apache Spark 是一个开源的分布式数据处理引擎，专为大规模数据处理而设计。它由加州大学伯克利分校的AMPLab开发，并于2010年首次发布。Spark 提供了一个统一的编程模型，可以跨集群处理海量数据，支持多种数据处理任务，包括批处理、实时流处理、机器学习和图计算。由于其高效的内存管理和广泛的功能集，Spark 已成为大数据处理的主流工具之一。 1. Apache Spark 的核...
- 大数据发展至今，已经有近10年时间，在这10年的时间里面，大数据架构发生了很多变化。而这些变化，不断冲击当前企业大数据架构，给业务部分和信息部门都带来很大的挑战。 大数据发展至今，已经有近10年时间，在这10年的时间里面，大数据架构发生了很多变化。而这些变化，不断冲击当前企业大数据架构，给业务部分和信息部门都带来很大的挑战。
- 查看在运行的Spark任务在大数据处理中，Apache Spark是一个流行的分布式计算框架，它提供了丰富的API和功能，用于处理大规模数据集。在Spark应用程序运行时，我们经常需要实时监视和跟踪正在执行的Spark任务，以便及时发现问题并进行调优。本文将介绍如何查看正在运行的Spark任务的方法。通过Spark Web界面查看任务信息Spark提供了一个Web界面，可以方便地查看正在运行... 查看在运行的Spark任务在大数据处理中，Apache Spark是一个流行的分布式计算框架，它提供了丰富的API和功能，用于处理大规模数据集。在Spark应用程序运行时，我们经常需要实时监视和跟踪正在执行的Spark任务，以便及时发现问题并进行调优。本文将介绍如何查看正在运行的Spark任务的方法。通过Spark Web界面查看任务信息Spark提供了一个Web界面，可以方便地查看正在运行...
- Spark增加一列在Spark中，我们经常需要对DataFrame进行操作，其中一项常见的需求是往DataFrame中增加一列。本篇技术博客将介绍如何在Spark中给DataFrame增加一列的方法。1. 使用withColumn方法在Spark中，可以使用withColumn方法来为DataFrame添加新列。该方法需要两个参数：新列的名称和要添加的列的内容。下面是一个示例代码：scala... Spark增加一列在Spark中，我们经常需要对DataFrame进行操作，其中一项常见的需求是往DataFrame中增加一列。本篇技术博客将介绍如何在Spark中给DataFrame增加一列的方法。1. 使用withColumn方法在Spark中，可以使用withColumn方法来为DataFrame添加新列。该方法需要两个参数：新列的名称和要添加的列的内容。下面是一个示例代码：scala...
- 1. why?什么学习这门课？原因5G时代，随着PC、手机终端、物联网端万物互联时代的到来，迎来了海量数据时代，即大数据时代。之前在关系型库时代，以行列二维表格形式，用来存储结构化数据，关系型数据库时代即将落下帷幕，或者确切点是即将为云计算时代的大数据库做铺垫。前端时间在中国闹的很厉害的Oracle裁员事件，因为随着云计算时代，云计算从Iass逐渐向PaaS和SaaS发展时，云计算技术体系对... 1. why?什么学习这门课？原因5G时代，随着PC、手机终端、物联网端万物互联时代的到来，迎来了海量数据时代，即大数据时代。之前在关系型库时代，以行列二维表格形式，用来存储结构化数据，关系型数据库时代即将落下帷幕，或者确切点是即将为云计算时代的大数据库做铺垫。前端时间在中国闹的很厉害的Oracle裁员事件，因为随着云计算时代，云计算从Iass逐渐向PaaS和SaaS发展时，云计算技术体系对...
- Spark 集群是基于Apache Spark的分布式计算环境，用于处理大规模数据集的计算任务。Apache Spark是一个开源的、快速而通用的集群计算系统，提供了高级的数据处理接口，包括Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图计算库）。Spark的一个主要特点是能够在内存中进行数据处理，从而大大加速计算速度。Scala 编程语言是Sp... Spark 集群是基于Apache Spark的分布式计算环境，用于处理大规模数据集的计算任务。Apache Spark是一个开源的、快速而通用的集群计算系统，提供了高级的数据处理接口，包括Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图计算库）。Spark的一个主要特点是能够在内存中进行数据处理，从而大大加速计算速度。Scala 编程语言是Sp...
- 一、术语与宽窄依赖1、术语解释1、Master(standalone):资源管理的主节点（进程）2、Cluster Manager:在集群上获取资源的外部服务(例如：standalone,Mesos,Yarn)3、Worker Node(standalone):资源管理的从节点(进程)或者说管理本机资源的进程4、Driver Program:用于连接工作进程(Worker)的程序5、Ex... 一、术语与宽窄依赖1、术语解释1、Master(standalone):资源管理的主节点（进程）2、Cluster Manager:在集群上获取资源的外部服务(例如：standalone,Mesos,Yarn)3、Worker Node(standalone):资源管理的从节点(进程)或者说管理本机资源的进程4、Driver Program:用于连接工作进程(Worker)的程序5、Ex...
- 本实验主要介绍了如何安装Spark集群，并使Spark能够读取OBS数据，实现存算分离，提高计算性能。同时，通过编写pyspark脚本，完成了数据清洗和处理，实现了相关任务。整个实验过程详细地描述了每一步的操作，并给出了实验结论。通过本实验，我们能够更好地了解Spark集群的搭建和数据处理的流程，为我们今后的工作打下了良好的基础。 本实验主要介绍了如何安装Spark集群，并使Spark能够读取OBS数据，实现存算分离，提高计算性能。同时，通过编写pyspark脚本，完成了数据清洗和处理，实现了相关任务。整个实验过程详细地描述了每一步的操作，并给出了实验结论。通过本实验，我们能够更好地了解Spark集群的搭建和数据处理的流程，为我们今后的工作打下了良好的基础。
- 求1：统计一堆文件中单词出现的个数（WordCount案例）0）需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数1）数据准备：Hello.txthello worlddog fishhadoop sparkhello worlddog fishhadoop sparkhello worlddog fishhadoop spark2）分析按照mapreduce编程规范，分别编写Map... 求1：统计一堆文件中单词出现的个数（WordCount案例）0）需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数1）数据准备：Hello.txthello worlddog fishhadoop sparkhello worlddog fishhadoop sparkhello worlddog fishhadoop spark2）分析按照mapreduce编程规范，分别编写Map...
- Python中的PySpark入门PySpark是Python和Apache Spark的结合，是一种用于大数据处理的强大工具。它提供了使用Python编写大规模数据处理和分析代码的便利性和高效性。本篇博客将向您介绍PySpark的基本概念以及如何入门使用它。安装PySpark要使用PySpark，您需要先安装Apache Spark并配置PySpark。以下是安装PySpark的步骤：安装... Python中的PySpark入门PySpark是Python和Apache Spark的结合，是一种用于大数据处理的强大工具。它提供了使用Python编写大规模数据处理和分析代码的便利性和高效性。本篇博客将向您介绍PySpark的基本概念以及如何入门使用它。安装PySpark要使用PySpark，您需要先安装Apache Spark并配置PySpark。以下是安装PySpark的步骤：安装...
- Spark是一个快速、可扩展的大数据处理引擎，它提供了一个统一的编程模型，可以处理各种数据源，包括Hadoop HDFS、Hive、Cassandra、HBase等。本文将介绍Spark的基本概念和使用方法，帮助初学者快速入门。一、Spark的基本概念Spark应用程序Spark应用程序是由Spark API编写的程序，它们运行在Spark集群上，可以对大数据进行处理和分析。Spark应用程... Spark是一个快速、可扩展的大数据处理引擎，它提供了一个统一的编程模型，可以处理各种数据源，包括Hadoop HDFS、Hive、Cassandra、HBase等。本文将介绍Spark的基本概念和使用方法，帮助初学者快速入门。一、Spark的基本概念Spark应用程序Spark应用程序是由Spark API编写的程序，它们运行在Spark集群上，可以对大数据进行处理和分析。Spark应用程...
- Spark是基于内存的分布式计算框架。 Spark是基于内存的分布式计算框架。
- Doris集成Spark读写的简单示例 Doris集成Spark读写的简单示例
- Structured Streaming报错记录：Overloaded method foreachBatch with alternatives Structured Streaming报错记录：Overloaded method foreachBatch with alternatives
- JDBCServer资源类参数：JDBCServer动态规划：（生效是以JDBCServer服务端为准）开启动态规划参数：spark.dynamicAllocation.enabled，为true时候开启开启动态规划参数后，spark.executor.instances将不再生效，但是spark.executor.instances参数的值不能大于spark.dynamicAllocati... JDBCServer资源类参数：JDBCServer动态规划：（生效是以JDBCServer服务端为准）开启动态规划参数：spark.dynamicAllocation.enabled，为true时候开启开启动态规划参数后，spark.executor.instances将不再生效，但是spark.executor.instances参数的值不能大于spark.dynamicAllocati...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签