- Spark 机器学习库 MLlib 编程实践 介绍Spark MLlib 是 Apache Spark 的一个机器学习库，提供了常用的机器学习算法和工具。MLlib 在分布式环境下运行，可以处理大规模数据集，是构建可扩展机器学习应用程序的理想选择。 应用使用场景大数据分析：在大规模数据集上训练机器学习模型，如推荐系统、分类、聚类。实时流处理：结合 Spark Streaming 实现实时数... Spark 机器学习库 MLlib 编程实践 介绍Spark MLlib 是 Apache Spark 的一个机器学习库，提供了常用的机器学习算法和工具。MLlib 在分布式环境下运行，可以处理大规模数据集，是构建可扩展机器学习应用程序的理想选择。 应用使用场景大数据分析：在大规模数据集上训练机器学习模型，如推荐系统、分类、聚类。实时流处理：结合 Spark Streaming 实现实时数...
- 连接mysql查询数据: 初始化mysql的连接信息def init_mysql():url = “jdbc:mysql://ip:port/databasename?&useSSL=false&serverTimezone=GMT%2B8”properties = {“user”: “user”, “password”: “password”, “driver”: “com.mysql.... 连接mysql查询数据: 初始化mysql的连接信息def init_mysql():url = “jdbc:mysql://ip:port/databasename?&useSSL=false&serverTimezone=GMT%2B8”properties = {“user”: “user”, “password”: “password”, “driver”: “com.mysql....
- spark初始化:class SpsrkConfigInit:@classmethoddef init_spark(cls):“”"初始化spark配置:return: SparkSession“”"# 设置 JAVA_HOME 环境变量os.environ[‘JAVA_HOME’] = ‘C:/Program Files/Huawei/jdk1.8.0_222’os.environ[‘PY... spark初始化:class SpsrkConfigInit:@classmethoddef init_spark(cls):“”"初始化spark配置:return: SparkSession“”"# 设置 JAVA_HOME 环境变量os.environ[‘JAVA_HOME’] = ‘C:/Program Files/Huawei/jdk1.8.0_222’os.environ[‘PY...
- Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应... Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应...
- Java在大数据处理中的应用：从MapReduce到Spark大数据时代的到来让数据的存储、处理和分析变得前所未有的重要。随着数据量的剧增，传统的单机计算方式已经无法满足处理需求。为了解决这个问题，许多分布式计算框架应运而生，其中MapReduce和Apache Spark是两种主流的解决方案。在大数据处理过程中，Java作为一种高效、平台无关的编程语言，扮演了至关重要的角色。本文将带你深... Java在大数据处理中的应用：从MapReduce到Spark大数据时代的到来让数据的存储、处理和分析变得前所未有的重要。随着数据量的剧增，传统的单机计算方式已经无法满足处理需求。为了解决这个问题，许多分布式计算框架应运而生，其中MapReduce和Apache Spark是两种主流的解决方案。在大数据处理过程中，Java作为一种高效、平台无关的编程语言，扮演了至关重要的角色。本文将带你深...
- 问题描述：编译spark时出现如下错误configure: error:--with-readline=yes (default) and headers/libs are not available解决办法：yum install readline-devel 问题描述：编译spark时出现如下错误configure: error:--with-readline=yes (default) and headers/libs are not available解决办法：yum install readline-devel
- 问题描述：编译spark时出现如下错误> [error] Required file not found: sbt-interface.jar> [error] See zinc -help for information about locating necessary files解决办法：执行如下命令找到进程号，然后kill掉进程：ps -ef|grep sbt-interface.ja... 问题描述：编译spark时出现如下错误> [error] Required file not found: sbt-interface.jar> [error] See zinc -help for information about locating necessary files解决办法：执行如下命令找到进程号，然后kill掉进程：ps -ef|grep sbt-interface.ja...
- SparkStreaming编程模型 SparkStreaming编程模型
- Spark Streaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于storm，也可以无缝集成多重日志收集工具或队列中转器，比如常见的 kakfa，flume，redis，logstash等，计算完后的数据结果，也可以 存储到各种存储系统中，如HDFS，数 Spark Streaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于storm，也可以无缝集成多重日志收集工具或队列中转器，比如常见的 kakfa，flume，redis，logstash等，计算完后的数据结果，也可以 存储到各种存储系统中，如HDFS，数
- Spark Streaming概述 Spark Streaming概述
- Spark SQL性能调优 Spark SQL性能调优
- Spark SQL编程 Spark SQL编程
- Spark SQL基本原理 Spark SQL基本原理
- Spark SQL结构化数据处理 Spark SQL结构化数据处理
- Spark 同时支持Scala、Python、Java 三种应用程序API编程接口和编程方式， 考虑到大数据处理的特性，一般会优先使用Scala进行编程，其次是Python，最后才是Java。 Spark 同时支持Scala、Python、Java 三种应用程序API编程接口和编程方式， 考虑到大数据处理的特性，一般会优先使用Scala进行编程，其次是Python，最后才是Java。
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签