- 0 相关源码 1 k-平均算法(k-means clustering)概述 1.1 回顾无监督学习 ◆ 分类、回归都属于监督学习 ◆ 无监督学习是不需要用户去指定标签的 ◆ 而我们看到的分类、回归算法都需要用户输入的训练数据集中给定一个个明确的y值 1.2 k-平均算法与无监督学习 ◆ k-平均算法是无监督学习的一种 ◆ 它不需要人为指定一个因变量,即标... 0 相关源码 1 k-平均算法(k-means clustering)概述 1.1 回顾无监督学习 ◆ 分类、回归都属于监督学习 ◆ 无监督学习是不需要用户去指定标签的 ◆ 而我们看到的分类、回归算法都需要用户输入的训练数据集中给定一个个明确的y值 1.2 k-平均算法与无监督学习 ◆ k-平均算法是无监督学习的一种 ◆ 它不需要人为指定一个因变量,即标...
- 通过讲解PCA算法的原理，使大家明白降维算法的大致原理，以及能够实现怎么样的功能。结合应用降维算法在分类算法使用之前进行预处理的实践，帮助大家体会算法的作用。 0 相关源码 1 PCA算法及原理概述 1.1 何为降维? ◆ 从高维度变为低维度的过程就是降维 ◆ 例如拍照就是把处在三维空间中的人或物从转换到作为二 维平面的 照片中 ◆ 降维有线性的、也有非线性... 通过讲解PCA算法的原理，使大家明白降维算法的大致原理，以及能够实现怎么样的功能。结合应用降维算法在分类算法使用之前进行预处理的实践，帮助大家体会算法的作用。 0 相关源码 1 PCA算法及原理概述 1.1 何为降维? ◆ 从高维度变为低维度的过程就是降维 ◆ 例如拍照就是把处在三维空间中的人或物从转换到作为二 维平面的 照片中 ◆ 降维有线性的、也有非线性...
- 作者:王道远 编辑:平凡的世界-zkx 前言:因为大佬的视频和ppt对外开放，需要走很多的流程，所以是不会公开的，此博客内容编辑整理纯属于本人，如转载请注明出处。 image.png image.png 1.简单介绍一下spark sql的背景，介绍一下sparksql能做的事情。 2.介绍一下sparksql扩展开发的相关的api 3.怎么样把开... 作者:王道远 编辑:平凡的世界-zkx 前言:因为大佬的视频和ppt对外开放，需要走很多的流程，所以是不会公开的，此博客内容编辑整理纯属于本人，如转载请注明出处。 image.png image.png 1.简单介绍一下spark sql的背景，介绍一下sparksql能做的事情。 2.介绍一下sparksql扩展开发的相关的api 3.怎么样把开...
- Python之pyspark：pyspark的简介、安装、使用方法之详细攻略 目录 pyspark的简介 pyspark的安装 pyspark的使用方法 pyspark的简介 Spark是一个用于... Python之pyspark：pyspark的简介、安装、使用方法之详细攻略 目录 pyspark的简介 pyspark的安装 pyspark的使用方法 pyspark的简介 Spark是一个用于...
- reduceByKey：按照key进行聚合，在shuffle之前有combine（预聚合）操作，返回结果是RDD[k,v]。 groupByKey：按照key进行分组，直接进行shuffle。 开发指导：reduceByKey比groupByKey，建议使用。但是需要注意是否会影响业务逻 reduceByKey：按照key进行聚合，在shuffle之前有combine（预聚合）操作，返回结果是RDD[k,v]。 groupByKey：按照key进行分组，直接进行shuffle。 开发指导：reduceByKey比groupByKey，建议使用。但是需要注意是否会影响业务逻
- Spark Streming的特性 易用、容错、易整合 Spark Streaming 对比 Storm & SparkStreaming Storm 开发语言 Scala Clojure 编程模型3 DStream Spout/Bolt 实时性 准实时，批处理 实时流处理 Spark Streming编程实战 开发流程： 1、构建sparkCon... Spark Streming的特性 易用、容错、易整合 Spark Streaming 对比 Storm & SparkStreaming Storm 开发语言 Scala Clojure 编程模型3 DStream Spout/Bolt 实时性 准实时，批处理 实时流处理 Spark Streming编程实战 开发流程： 1、构建sparkCon...
- 可以从数据结构的哪几个方面优化Spark？举例说明 1、优先使用数组以及字符串，而不是集合类。也就是说，优先使用array，而不是ArrayList、LinkedList、HashMap等集合。 比如：企业应用中的做法是，对于对于HashMap、List这种数据结构，统一用String拼接成特殊格式的字符串，比如Map<Integer，Person> persons = new... 可以从数据结构的哪几个方面优化Spark？举例说明 1、优先使用数组以及字符串，而不是集合类。也就是说，优先使用array，而不是ArrayList、LinkedList、HashMap等集合。 比如：企业应用中的做法是，对于对于HashMap、List这种数据结构，统一用String拼接成特殊格式的字符串，比如Map<Integer，Person> persons = new...
- 任何内容RDD都可以保存到Elasticsearch，在实践中，这意味着RDD类型是Map（Scala或Java的）类型，JavaBeanScala的案例类。如果不是这种情况，则可以轻松地在Spark中转换数据或使用自己的自定义插件ValueWriter。 import org.apache.spark.SparkContext //Spark Scala进口 import ... 任何内容RDD都可以保存到Elasticsearch，在实践中，这意味着RDD类型是Map（Scala或Java的）类型，JavaBeanScala的案例类。如果不是这种情况，则可以轻松地在Spark中转换数据或使用自己的自定义插件ValueWriter。 import org.apache.spark.SparkContext //Spark Scala进口 import ...
- 调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家... 调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家...
- package cn.itzkx.spark_udf import org.apache.spark.sql.SparkSession case class Stu(name: String, like: String) object FunctionApp { def main(args: Array[String]): Unit = { val spark = Spark... package cn.itzkx.spark_udf import org.apache.spark.sql.SparkSession case class Stu(name: String, like: String) object FunctionApp { def main(args: Array[String]): Unit = { val spark = Spark...
- Spark sql 的属性 ① 易整合: 可以通过sql开发对应的应用程序, 也可以使用java/scala/phython/R编写的API来开发 ② 统一的数据源访问: 可以使用相同的方式来连接到不同的数据源 // 即: sparkSession.read.文件格式(文件路径) ③ 兼容hive: 可以使用spark sql来操作hive sql ④ 标准的数据连接: sp... Spark sql 的属性 ① 易整合: 可以通过sql开发对应的应用程序, 也可以使用java/scala/phython/R编写的API来开发 ② 统一的数据源访问: 可以使用相同的方式来连接到不同的数据源 // 即: sparkSession.read.文件格式(文件路径) ③ 兼容hive: 可以使用spark sql来操作hive sql ④ 标准的数据连接: sp...
- 关于sparksql Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型）的一个模块； 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象； 是一个分布式的 SQL 引擎。 关于hive 数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集； 结构可以映射到已经存储... 关于sparksql Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型）的一个模块； 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象； 是一个分布式的 SQL 引擎。 关于hive 数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集； 结构可以映射到已经存储...
- 算子调优一：mapPartitions 普通的 map 算子对 RDD 中的每一个元素进行操作，而 mapPartitions 算子对 RDD 中每一个分区进行操作。如果是普通的 map 算子，假设一个 partition 有 1 万条数据， 那么 map 算子中的 function 要执行 1 万次， 也就是对每个元素进行操作。 图 2-3 map 算子 imag... 算子调优一：mapPartitions 普通的 map 算子对 RDD 中的每一个元素进行操作，而 mapPartitions 算子对 RDD 中每一个分区进行操作。如果是普通的 map 算子，假设一个 partition 有 1 万条数据， 那么 map 算子中的 function 要执行 1 万次， 也就是对每个元素进行操作。 图 2-3 map 算子 imag...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签