- Standalone集群搭建与Spark on Yarn配置1、StandaloneStandalone集群是Spark自带的资源调度框架，支持分布式搭建，这里建议搭建Standalone节点数为3台，1台master节点，2台worker节点，这虚拟机中每台节点的内存至少给2G和2个core，这样才能保证后期Spark基于Standalone的正常运行。搭建Standalone集群的步... Standalone集群搭建与Spark on Yarn配置1、StandaloneStandalone集群是Spark自带的资源调度框架，支持分布式搭建，这里建议搭建Standalone节点数为3台，1台master节点，2台worker节点，这虚拟机中每台节点的内存至少给2G和2个core，这样才能保证后期Spark基于Standalone的正常运行。搭建Standalone集群的步...
- 一、Spark核心 1、RDD 1）、概念：RDD（Resilient Distributed Datest），弹性分布式数据集。 2）、RDD的五大特性：1、RDD是由一系列的partition组成的2、函数是作用在每一个partition(split)上的3、RDD之间有一系列的依赖关系4、分区器是作用在K、V格式的RDD上5、RDD提供一系列最佳的计算位置 3）、RDD理解图： 4）... 一、Spark核心 1、RDD 1）、概念：RDD（Resilient Distributed Datest），弹性分布式数据集。 2）、RDD的五大特性：1、RDD是由一系列的partition组成的2、函数是作用在每一个partition(split)上的3、RDD之间有一系列的依赖关系4、分区器是作用在K、V格式的RDD上5、RDD提供一系列最佳的计算位置 3）、RDD理解图： 4）...
- 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不... 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不...
- 如果在生产中，我们经常在后台见到spark-submit提交任务在排队等待。可能是因为你的spark-submit提交任务配置参数设置有误原来的spark-submit --class xxx--master xxxxxx --queue xxxx --name xxxxx --driver-memory xx --num-executors xx --executor-cores xx -... 如果在生产中，我们经常在后台见到spark-submit提交任务在排队等待。可能是因为你的spark-submit提交任务配置参数设置有误原来的spark-submit --class xxx--master xxxxxx --queue xxxx --name xxxxx --driver-memory xx --num-executors xx --executor-cores xx -...
- 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系... 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系...
- 以下 TsFile 结构为例： TsFile 架构中有三个度量：状态、温度和硬件。 以下 TsFile 结构为例： TsFile 架构中有三个度量：状态、温度和硬件。
- TsFile-Spark-Connector 可以在 SparkSQL By SparkSQL 中将一个或多个 TsFiles 显示为表。它还允许用户指定单个目录或使用通配符来匹配多个目录。如果有多个 TsFiles，则所有 TsFiles 中测量值的并集将保留在表中，并且默认情况下，具有相同名称的度量将具有相同的数据类型。 TsFile-Spark-Connector 可以在 SparkSQL By SparkSQL 中将一个或多个 TsFiles 显示为表。它还允许用户指定单个目录或使用通配符来匹配多个目录。如果有多个 TsFiles，则所有 TsFiles 中测量值的并集将保留在表中，并且默认情况下，具有相同名称的度量将具有相同的数据类型。
- 在当今的数据驱动世界中，大数据分析平台扮演着至关重要的角色。它们帮助组织处理和分析大规模数据，从中获得有价值的见解和决策支持。本文将对三个主要的大数据分析平台进行比较：Hadoop、Spark和Flink，以帮助开发人员和数据工程师选择最适合他们需求的平台。Hadoop:Hadoop是大数据处理领域的先驱，它基于分布式文件系统（HDFS）和分布式计算框架（MapReduce）。Hadoop的... 在当今的数据驱动世界中，大数据分析平台扮演着至关重要的角色。它们帮助组织处理和分析大规模数据，从中获得有价值的见解和决策支持。本文将对三个主要的大数据分析平台进行比较：Hadoop、Spark和Flink，以帮助开发人员和数据工程师选择最适合他们需求的平台。Hadoop:Hadoop是大数据处理领域的先驱，它基于分布式文件系统（HDFS）和分布式计算框架（MapReduce）。Hadoop的...
- 大规模数据分析已经成为现代软件开发中不可或缺的一部分。在处理海量数据时，选择适当的工具和框架可以对性能产生巨大的影响。本文将重点比较两个最受欢迎的大数据处理框架：Hadoop和Spark。我们将探讨它们的优势、劣势和适用场景，帮助您在大规模数据分析中做出明智的选择。Hadoop:Hadoop是一个开源的分布式数据处理框架，主要由Hadoop分布式文件系统(HDFS)和MapReduce编程模... 大规模数据分析已经成为现代软件开发中不可或缺的一部分。在处理海量数据时，选择适当的工具和框架可以对性能产生巨大的影响。本文将重点比较两个最受欢迎的大数据处理框架：Hadoop和Spark。我们将探讨它们的优势、劣势和适用场景，帮助您在大规模数据分析中做出明智的选择。Hadoop:Hadoop是一个开源的分布式数据处理框架，主要由Hadoop分布式文件系统(HDFS)和MapReduce编程模...
- 大数据时代的到来带来了对大规模数据处理的需求，而Apache Spark和Hadoop是两个备受关注的开源工具，它们在大规模数据处理领域扮演着重要的角色。在本文中，我们将比较Apache Spark和Hadoop，并探讨它们在大规模数据处理中的优势和选择。概述Apache Spark和Hadoop都是用于大规模数据处理的工具，但它们的设计理念和架构有所不同。Hadoop生态系统的核心是Had... 大数据时代的到来带来了对大规模数据处理的需求，而Apache Spark和Hadoop是两个备受关注的开源工具，它们在大规模数据处理领域扮演着重要的角色。在本文中，我们将比较Apache Spark和Hadoop，并探讨它们在大规模数据处理中的优势和选择。概述Apache Spark和Hadoop都是用于大规模数据处理的工具，但它们的设计理念和架构有所不同。Hadoop生态系统的核心是Had...
- 本文介绍了如何利用IBCS虚拟专线提高Apache Spark集群性能，确保数据处理任务的高效运行。通过IBCS虚拟专线，企业可以实现高速、低延迟的网络连接，从而提高Spark集群的数据传输速度和稳定性。 本文介绍了如何利用IBCS虚拟专线提高Apache Spark集群性能，确保数据处理任务的高效运行。通过IBCS虚拟专线，企业可以实现高速、低延迟的网络连接，从而提高Spark集群的数据传输速度和稳定性。
- 一篇文章读懂：Spark运行模式 一篇文章读懂：Spark运行模式
- Windows10安装netcat，用于Spark学习监听端口 Windows10安装netcat，用于Spark学习监听端口
- spark-sql或spark-beeline查询报错：File does not exist产生原因是：spark-sql或spark-beeline会缓存查询的元数据，此时当前session未关闭时候，有其他任务修改了表文件，当前session再进行查询类操作，就会出现表文件不存在的报错解决方法：在表前加上refresh table + 表名或者添加spark.sql.relationC... spark-sql或spark-beeline查询报错：File does not exist产生原因是：spark-sql或spark-beeline会缓存查询的元数据，此时当前session未关闭时候，有其他任务修改了表文件，当前session再进行查询类操作，就会出现表文件不存在的报错解决方法：在表前加上refresh table + 表名或者添加spark.sql.relationC...
- 操作步骤在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。... 操作步骤在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签