- hadoop 和 spark 的相同点和不同点？Hadoop 底层使用 MapReduce 计算架构，只有 map 和 reduce 两种操作，表达能力比较欠缺，而且在 MR 过程中会重复的读写 hdfs，造成大量的磁盘 io 读写操作，所以适合高时延环境下批处理计算的应用；Spark 是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括 map、re... hadoop 和 spark 的相同点和不同点？Hadoop 底层使用 MapReduce 计算架构，只有 map 和 reduce 两种操作，表达能力比较欠缺，而且在 MR 过程中会重复的读写 hdfs，造成大量的磁盘 io 读写操作，所以适合高时延环境下批处理计算的应用；Spark 是基于内存的分布式计算架构，提供更加丰富的数据集操作类型，主要分成转化操作和行动操作，包括 map、re...
- RDD有哪些特点顾名思义，从字面理解RDD就是 Resillient Distributed Dataset，即弹性分布式数据集。它是Spark提供的核心抽象。RDD在抽象上来讲是一种抽象的分布式的数据集。它是被分区的，每个分区分布在集群中的不同的节点上。从而可以让数据进行并行的计算rdd 分布式弹性数据集，简单的理解成一种数据结构，是 spark 框架上的通用货币。所有算子都是基于 rd... RDD有哪些特点顾名思义，从字面理解RDD就是 Resillient Distributed Dataset，即弹性分布式数据集。它是Spark提供的核心抽象。RDD在抽象上来讲是一种抽象的分布式的数据集。它是被分区的，每个分区分布在集群中的不同的节点上。从而可以让数据进行并行的计算rdd 分布式弹性数据集，简单的理解成一种数据结构，是 spark 框架上的通用货币。所有算子都是基于 rd...
- Spark中的算子都有哪些总的来说,spark分为三大类算子:Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理； Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算Action 行动算子：这类算子会触发 SparkContex... Spark中的算子都有哪些总的来说,spark分为三大类算子:Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理； Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算Action 行动算子：这类算子会触发 SparkContex...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala 字... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala 字...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala 闭包... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala 闭包...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala 循... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala 循...
- JavaPairRDD的context方法讲解 官方文档/** * Approximate version of count() that returns a potentially incomplete result * within a timeout, even if not all tasks have finished. * * The confidence is... JavaPairRDD的context方法讲解 官方文档/** * Approximate version of count() that returns a potentially incomplete result * within a timeout, even if not all tasks have finished. * * The confidence is...
- JavaPairRDD的flatMap方法讲解 官方文档/** * Return a new RDD by first applying a function to all elements of this * RDD, and then flattening the results. */ 说明首先将一个函数应用于该函数的所有元素，从而返回一个新的RDD然后将结果展平。 ... JavaPairRDD的flatMap方法讲解 官方文档/** * Return a new RDD by first applying a function to all elements of this * RDD, and then flattening the results. */ 说明首先将一个函数应用于该函数的所有元素，从而返回一个新的RDD然后将结果展平。 ...
- Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。通过Spark连接Hive Metastore，需要准备如下文件：hive-site.xmlapache-hive-3.1.2-binspark-3.0.3-bin-hadoop3.... Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。通过Spark连接Hive Metastore，需要准备如下文件：hive-site.xmlapache-hive-3.1.2-binspark-3.0.3-bin-hadoop3....
- · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c... · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c...
- 大数据（BigData）的特点数据量大，数据类型复杂，数据处理快，数据真实性高。大数据的生态软件工具包含：Hadoop，Spark，MapReduce，HDFS，Hive，HBase，Zookeeper，Flume，Kafka，Yarn，Storm，Oozie，Pig，Mahout等。 大数据（BigData）的特点数据量大，数据类型复杂，数据处理快，数据真实性高。大数据的生态软件工具包含：Hadoop，Spark，MapReduce，HDFS，Hive，HBase，Zookeeper，Flume，Kafka，Yarn，Storm，Oozie，Pig，Mahout等。
- 一个基于pySpark的简单nlp样例 一个基于pySpark的简单nlp样例
- 首先我们可以查到，Hive从0.12.0版本就支持varchar类型作为列的类型了，但是sparkSQL可以指定分区字段为varchar类型吗？我们可以先实验一下。首先我们尝试创建一个分区字段为varchar类型的表，执行语句如下：CREATE TABLE test0901222(LIST_RES_ID STRING, age Int) PARTITIONED BY (DATA_DA... 首先我们可以查到，Hive从0.12.0版本就支持varchar类型作为列的类型了，但是sparkSQL可以指定分区字段为varchar类型吗？我们可以先实验一下。首先我们尝试创建一个分区字段为varchar类型的表，执行语句如下：CREATE TABLE test0901222(LIST_RES_ID STRING, age Int) PARTITIONED BY (DATA_DA...
- 由于第二阶段的松懈，对于Hadoop的知识掌握的不是很好，所以在第三阶段一边学习Spark一边学习Hadoop，但是效果不是很好。Spark重要的内置模块：Spark Core：包括了内存计算、任务调度、部署模式、故障恢复、存储管理等；Spark SQL：统一处理关系和RDD，使用SQL命令进行数据分析；Spark Streaming：将流式计算分解为一系列的短小的批处理作业，支持多种数据源... 由于第二阶段的松懈，对于Hadoop的知识掌握的不是很好，所以在第三阶段一边学习Spark一边学习Hadoop，但是效果不是很好。Spark重要的内置模块：Spark Core：包括了内存计算、任务调度、部署模式、故障恢复、存储管理等；Spark SQL：统一处理关系和RDD，使用SQL命令进行数据分析；Spark Streaming：将流式计算分解为一系列的短小的批处理作业，支持多种数据源...
- Spark 学习中遇到的一些问题 1. SparkSQL 相关 2. SparkCore 相关 Spark 学习中遇到的一些问题 1. SparkSQL 相关 2. SparkCore 相关
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签