- spark-sql或spark-beeline查询报错：File does not exist产生原因是：spark-sql或spark-beeline会缓存查询的元数据，此时当前session未关闭时候，有其他任务修改了表文件，当前session再进行查询类操作，就会出现表文件不存在的报错解决方法：在表前加上refresh table + 表名或者添加spark.sql.relationC... spark-sql或spark-beeline查询报错：File does not exist产生原因是：spark-sql或spark-beeline会缓存查询的元数据，此时当前session未关闭时候，有其他任务修改了表文件，当前session再进行查询类操作，就会出现表文件不存在的报错解决方法：在表前加上refresh table + 表名或者添加spark.sql.relationC...
- 操作步骤在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。... 操作步骤在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。...
- 操作步骤把Python环境打包上传到hdfs。打包自定义python包：zip –r test_python.zip test_python/上传到hdfs：hadoop fs -put /opt/test_python.zip /test_python提交Spark应用spark-submit --master yarn --archiveshdfs:///test_python/test... 操作步骤把Python环境打包上传到hdfs。打包自定义python包：zip –r test_python.zip test_python/上传到hdfs：hadoop fs -put /opt/test_python.zip /test_python提交Spark应用spark-submit --master yarn --archiveshdfs:///test_python/test...
- 场景一、driver端的日志级别 修改客户端下：/opt/hadoopclient/Spark2x/spark/conf/log4j.propertieslog4j.rootCategory=WARN, console =>log4j.rootCategory=INFO, console场景二、executor端的日志级别,默认INFO修改客户端下：/opt/hadoopclient/S... 场景一、driver端的日志级别 修改客户端下：/opt/hadoopclient/Spark2x/spark/conf/log4j.propertieslog4j.rootCategory=WARN, console =>log4j.rootCategory=INFO, console场景二、executor端的日志级别,默认INFO修改客户端下：/opt/hadoopclient/S...
- 场景一：driver日志中有executor丢失情况，或者在原生页面看到很多executor的状态是deaddriver日志中搜索Lost executor，如果有打印:Executor heartbeat timed out after xxxms查看executor日志在同一时间点是否有长时间gc，搜索“real=”解决方法：调整executor.cores与spark.executor... 场景一：driver日志中有executor丢失情况，或者在原生页面看到很多executor的状态是deaddriver日志中搜索Lost executor，如果有打印:Executor heartbeat timed out after xxxms查看executor日志在同一时间点是否有长时间gc，搜索“real=”解决方法：调整executor.cores与spark.executor...
- 一、大数据概述1.大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.Hadoop安装与使用3.Hadoop集群的部署与使用4.Hadoop 代表性组件1.Hadoop Single Node Cluster2. Hadoop Multi Node Cluster三、分布式文件系统HDFS1.HDFS体系结构2.HD... 一、大数据概述1.大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.Hadoop安装与使用3.Hadoop集群的部署与使用4.Hadoop 代表性组件1.Hadoop Single Node Cluster2. Hadoop Multi Node Cluster三、分布式文件系统HDFS1.HDFS体系结构2.HD...
- 编辑Spark高效数据分析01、idea开发环境搭建📋前言📋💝博客：【红目香薰的博客_CSDN博客-计算机理论,2022年蓝桥杯,MySQL领域博主】💝✍本文由在下【红目香薰】原创，首发于CSDN✍🤗2022年最大愿望：【服务百万技术人次】🤗💝Spark初始环境地址：【Spark高效数据分析01、idea开发环境搭建】💝环境需求环境：win10开发工具：IntelliJ... 编辑Spark高效数据分析01、idea开发环境搭建📋前言📋💝博客：【红目香薰的博客_CSDN博客-计算机理论,2022年蓝桥杯,MySQL领域博主】💝✍本文由在下【红目香薰】原创，首发于CSDN✍🤗2022年最大愿望：【服务百万技术人次】🤗💝Spark初始环境地址：【Spark高效数据分析01、idea开发环境搭建】💝环境需求环境：win10开发工具：IntelliJ...
- 转换操作对于RDD而言，每一次转换操作都会产生不同的RDD，供给下一个“转换”使用转换得到的RDD是惰性求值的，也就是说，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作时，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作 filter(func)scala> val lines =sc.textFile(file:///usr/local/spa... 转换操作对于RDD而言，每一次转换操作都会产生不同的RDD，供给下一个“转换”使用转换得到的RDD是惰性求值的，也就是说，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作时，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作 filter(func)scala> val lines =sc.textFile(file:///usr/local/spa...
- Spark 主备切换机制原理知道吗？Master 实际上可以配置两个，Spark 原生的 standalone 模式是支持 Master 主备切换的。当 Active Master 节点挂掉以后，我们可以将 Standby Master 切换为 Active Master。Spark Master 主备切换可以基于两种机制，一种是基于文件系统的，一种是基于 ZooKeeper 的。基于文件... Spark 主备切换机制原理知道吗？Master 实际上可以配置两个，Spark 原生的 standalone 模式是支持 Master 主备切换的。当 Active Master 节点挂掉以后，我们可以将 Standby Master 切换为 Active Master。Spark Master 主备切换可以基于两种机制，一种是基于文件系统的，一种是基于 ZooKeeper 的。基于文件...
- 添加#include <HWVideoWnd.cpp>头文件 添加#include <HWVideoWnd.cpp>头文件
- spark有哪几种joinSpark 中和 join 相关的算子有这几个：join、fullOuterJoin、leftOuterJoin、rightOuterJoinjoinjoin函数会输出两个RDD中key相同的所有项，并将它们的value联结起来，它联结的key要求在两个表中都存在，类似于SQL中的INNER JOIN。但它不满足交换律，a.join(b)与b.join(a)的结果... spark有哪几种joinSpark 中和 join 相关的算子有这几个：join、fullOuterJoin、leftOuterJoin、rightOuterJoinjoinjoin函数会输出两个RDD中key相同的所有项，并将它们的value联结起来，它联结的key要求在两个表中都存在，类似于SQL中的INNER JOIN。但它不满足交换律，a.join(b)与b.join(a)的结果...
- spark 解决了 hadoop 的哪些问题(spark VS MR)？MR：抽象层次低，需要使用手工代码来完成程序编写，使用上难以上手；Spark：Spark 采用 RDD 计算模型，简单容易上手。MR：只提供 map 和 reduce 两个操作，表达能力欠缺；Spark：Spark 采用更加丰富的算子模型，包括 map、flatmap、groupbykey、reducebykey 等；... spark 解决了 hadoop 的哪些问题(spark VS MR)？MR：抽象层次低，需要使用手工代码来完成程序编写，使用上难以上手；Spark：Spark 采用 RDD 计算模型，简单容易上手。MR：只提供 map 和 reduce 两个操作，表达能力欠缺；Spark：Spark 采用更加丰富的算子模型，包括 map、flatmap、groupbykey、reducebykey 等；...
- Spark运行模式(资源调度框架的使用，了解)Local模式:启动多线程或者多进程对程序进行单机调试的。分布式部署模式:👉Standalone模式:独立模式，自带完整的模式。在架构上和 MapReduce1比较，具有一致性，都是由Master、worker组成(只是名称不一样)，资源抽象为粗粒式的slot，多少slot多少task。👉Spark on YARN：因为现在企业用到 had... Spark运行模式(资源调度框架的使用，了解)Local模式:启动多线程或者多进程对程序进行单机调试的。分布式部署模式:👉Standalone模式:独立模式，自带完整的模式。在架构上和 MapReduce1比较，具有一致性，都是由Master、worker组成(只是名称不一样)，资源抽象为粗粒式的slot，多少slot多少task。👉Spark on YARN：因为现在企业用到 had...
- Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而... Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而...
- spark的stage是如何划分的stage的划分依据就是看是否产生了shuflle(即宽依赖),遇到一个shuffle操作就划分为前后两个stage. Spark的 RDD容错机制。两个方法:利用“血缘（Lineage）容错”和检查点（checkpoint）机制。“血缘”容错：利用依赖关系进行数据恢复，在容错机制中，如果一个节点死机了,而且运算窄依赖，则只要把丢失的父RDD分区重算即可，... spark的stage是如何划分的stage的划分依据就是看是否产生了shuflle(即宽依赖),遇到一个shuffle操作就划分为前后两个stage. Spark的 RDD容错机制。两个方法:利用“血缘（Lineage）容错”和检查点（checkpoint）机制。“血缘”容错：利用依赖关系进行数据恢复，在容错机制中，如果一个节点死机了,而且运算窄依赖，则只要把丢失的父RDD分区重算即可，...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签