- 1.Hive 表关联查询，如何解决数据倾斜的问题？1.倾斜原因：map 输出数据按 key Hash 的分配到 reduce 中，由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。1）key 分布不均匀;2）业务数据本身的特性;3）建表时考虑不周;4）某些 SQL 语句本身就有数据倾斜;如何避免：对于 key 为空产生的数据倾斜，可... 1.Hive 表关联查询，如何解决数据倾斜的问题？1.倾斜原因：map 输出数据按 key Hash 的分配到 reduce 中，由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。1）key 分布不均匀;2）业务数据本身的特性;3）建表时考虑不周;4）某些 SQL 语句本身就有数据倾斜;如何避免：对于 key 为空产生的数据倾斜，可...
- 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码
- 文本主要解析Hive添加UDF的源码流程 文本主要解析Hive添加UDF的源码流程
- 三、过渡1 Driver.compile()2 SemanticAnalyzerFactory是Hive做语义解析的工厂类，用于根据SQL的类型，构建对应的语义解析器。比如：explain走ExplainSemanticAnalyzer，DDL走DDLSemanticAnalyzer，load走LoadSemanticAnalyzer等等，工厂模式可以使这些不同的功能隔离开，在一定程度上解耦... 三、过渡1 Driver.compile()2 SemanticAnalyzerFactory是Hive做语义解析的工厂类，用于根据SQL的类型，构建对应的语义解析器。比如：explain走ExplainSemanticAnalyzer，DDL走DDLSemanticAnalyzer，load走LoadSemanticAnalyzer等等，工厂模式可以使这些不同的功能隔离开，在一定程度上解耦...
- 一、编译模块整体介绍1 Hive执行过程回顾client:用户通过客户端提交查询操作Driver:提供执行接口，负责接收查询请求并建立session，创建一系列环境参数等Compiler:Hive的编译器，负责将sql转化为平台可执行的执行计划MetaStore:Hive的元数据服务器Execution Engine:执行引擎，负责提交Compiler 编译好的执行计划到不同的平台上用户通过... 一、编译模块整体介绍1 Hive执行过程回顾client:用户通过客户端提交查询操作Driver:提供执行接口，负责接收查询请求并建立session，创建一系列环境参数等Compiler:Hive的编译器，负责将sql转化为平台可执行的执行计划MetaStore:Hive的元数据服务器Execution Engine:执行引擎，负责提交Compiler 编译好的执行计划到不同的平台上用户通过...
- Hadoop 入门教程 Hadoop 入门教程
- hive数据迁移到clickhouse—使用Waterdrop工具参考链接基于荣耀客户的需求，测试Waterdrop从云EI的hive-spark集群上迁移数据到clickhouse集群 hive数据迁移到clickhouse—使用Waterdrop工具 Waterdrop hive-spark集群 clickhouse集群 batch.conf 数据迁移 迁移结果 waterdrop性能... hive数据迁移到clickhouse—使用Waterdrop工具参考链接基于荣耀客户的需求，测试Waterdrop从云EI的hive-spark集群上迁移数据到clickhouse集群 hive数据迁移到clickhouse—使用Waterdrop工具 Waterdrop hive-spark集群 clickhouse集群 batch.conf 数据迁移 迁移结果 waterdrop性能...
- 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们... 背景前面的文章，基本实现了从0搭建Hive的运行环境。包括Hadoop、Hive，也包括HiveServer2、Tez。距离在Hive上调试开发，还欠缺一套开发环境，待后续补充。而环境有了后，测试什么、用什么表示这个系统可用？大多时候，我们想额外学习一个软件或者开源项目时候，就容易陷入"安装-部署-安装-部署"的循环中。没有实际使用的场景，或者自己构造的场景不足以触发特性（考虑不周），我们...
- 安装HIVE编辑hive-env.sh 在HDFS创建数据存储仓库[root@master conf]# hadoop fs -mkdir -p /user/hive/warehouse 启动hive报错如下： 原因：jar包冲突，删除低版本jar包即可解决方法：删除/usr/local/src/hadoop/soft/hadoop-2.6.0/share/hadoop/yarn/lib中的... 安装HIVE编辑hive-env.sh 在HDFS创建数据存储仓库[root@master conf]# hadoop fs -mkdir -p /user/hive/warehouse 启动hive报错如下： 原因：jar包冲突，删除低版本jar包即可解决方法：删除/usr/local/src/hadoop/soft/hadoop-2.6.0/share/hadoop/yarn/lib中的...
- 假设有两个集群A，B，均开启了Kerberos，本文将说明如何配置使用集群B上的Presto查询集群A1. 配置集群互信，参见 配置跨集群互信2. 将集群A上的/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/core-site.xml和/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/hdfs-site.xml拷贝... 假设有两个集群A，B，均开启了Kerberos，本文将说明如何配置使用集群B上的Presto查询集群A1. 配置集群互信，参见 配置跨集群互信2. 将集群A上的/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/core-site.xml和/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/hdfs-site.xml拷贝...
- Hive On Spark大体与Spark SQL结构类似，只是SQL引擎不同，但是计算引擎都是Spark。将Spark作为计算引擎，性能会比传统的MapReduce快很多。华为云DLI服务全面兼容Spark能力，DLI SQL在封装Spark SQL的同时，集成了carbon和carbondata的全部功能，同时兼容传统的DataSource和hive语法建表，支持跨源访问多个服务的数据，增强了 Hive On Spark大体与Spark SQL结构类似，只是SQL引擎不同，但是计算引擎都是Spark。将Spark作为计算引擎，性能会比传统的MapReduce快很多。华为云DLI服务全面兼容Spark能力，DLI SQL在封装Spark SQL的同时，集成了carbon和carbondata的全部功能，同时兼容传统的DataSource和hive语法建表，支持跨源访问多个服务的数据，增强了
- Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，Hbase是一种NoSQL数据库，非常适用于海量明细数据的随机实时查询, 在大数据架构中，Hive和HBase是协作关系如果两者结合，可以利用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析。 Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，Hbase是一种NoSQL数据库，非常适用于海量明细数据的随机实时查询, 在大数据架构中，Hive和HBase是协作关系如果两者结合，可以利用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析。
- 文章目录 配置测试 配置 kettle版本：kettle-6.1.0.1_07270 修改kettle-6.1.0.1_07270\plugins\pentaho-big-data-... 文章目录 配置测试 配置 kettle版本：kettle-6.1.0.1_07270 修改kettle-6.1.0.1_07270\plugins\pentaho-big-data-...
- 本文Pandas版本必须为0.25以上才能使用explode，可以通过以下命令看Pandas版本： pip show pandas 可以通过以下命令升级Pandas到最新版： pip install pandas --upgrade 也可以通过以下命令安装指定版本的Pandas： pip install ... 本文Pandas版本必须为0.25以上才能使用explode，可以通过以下命令看Pandas版本： pip show pandas 可以通过以下命令升级Pandas到最新版： pip install pandas --upgrade 也可以通过以下命令安装指定版本的Pandas： pip install ...
- 磨刀不误砍柴工，学完函数再sql 目录 一、关系运算 1. 等值比较: = 2. 不等值比较: <> 3.小于比较: < 4. 小于等于比较: <= 5. 大于比较: > 6. 大于等于比较: >= 7. 空值判断: IS NULL 8. 非空判断: IS NOTNULL 9. LIKE比较: LIKE ... 磨刀不误砍柴工，学完函数再sql 目录 一、关系运算 1. 等值比较: = 2. 不等值比较: <> 3.小于比较: < 4. 小于等于比较: <= 5. 大于比较: > 6. 大于等于比较: >= 7. 空值判断: IS NULL 8. 非空判断: IS NOTNULL 9. LIKE比较: LIKE ...
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签