- 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio... 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio...
- 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区
- 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having
- 12.视图存在全表扫或者大量分区查询 13.大量使用with as 并在sql中多处调用 12.视图存在全表扫或者大量分区查询 13.大量使用with as 并在sql中多处调用
- 7.join on中加判断现象：mr任务慢原因：on条件中存在if或case when判断，在mapjoin时，会拿大表数据一条一条与小表比对同时一条一条做判断导致慢例如：Select * From tba t1Join tbb t2On t1.id=Case where t1.type=’qwr’ THEN t2.type ELSE null END;解决方法：将sql拆分8.join o... 7.join on中加判断现象：mr任务慢原因：on条件中存在if或case when判断，在mapjoin时，会拿大表数据一条一条与小表比对同时一条一条做判断导致慢例如：Select * From tba t1Join tbb t2On t1.id=Case where t1.type=’qwr’ THEN t2.type ELSE null END;解决方法：将sql拆分8.join o...
- Pyhive连接hive时出错：thrift.transport.TTransport.TTransportException: Could not start SASL Pyhive连接hive时出错：thrift.transport.TTransport.TTransportException: Could not start SASL
- 创建外部表employeecreate table employee(user_id int,username string,dept_id int)row format delimited fields terminated by ',' stored as textfile ;装载数据load data inpath '/ict01/department.txt' into table... 创建外部表employeecreate table employee(user_id int,username string,dept_id int)row format delimited fields terminated by ',' stored as textfile ;装载数据load data inpath '/ict01/department.txt' into table...
- 操作命令数据预处理：剔除数据中任意字段为空值INSERT OVERWRITE TABLE result01 select * from salary where userid is not null and dept_id is not null and salarys is not null剔除identity字段数值在0-100以外的值INSERT OVERWRITE TAB... 操作命令数据预处理：剔除数据中任意字段为空值INSERT OVERWRITE TABLE result01 select * from salary where userid is not null and dept_id is not null and salarys is not null剔除identity字段数值在0-100以外的值INSERT OVERWRITE TAB...
- 任务1:相似度检测 查询result表中，碱基对(aliLen)长度介于29800-29900之间的个数，截图并保存为3-1-alilen。查询result表中，按照匹配程度（identity)进行降序排序，显示sav，identity，bitScore这三个字段的前十行数据，截图并保存为3-2-bitscore。 任务2:分组统计 分组统计result表中 gapOpens 的次数并进行降... 任务1:相似度检测 查询result表中，碱基对(aliLen)长度介于29800-29900之间的个数，截图并保存为3-1-alilen。查询result表中，按照匹配程度（identity)进行降序排序，显示sav，identity，bitScore这三个字段的前十行数据，截图并保存为3-2-bitscore。 任务2:分组统计 分组统计result表中 gapOpens 的次数并进行降...
- 在Hive查询期间，将前面的查询结果保存为结果表，在结果表中查询数据create table result as select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(nu... 在Hive查询期间，将前面的查询结果保存为结果表，在结果表中查询数据create table result as select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(nu...
- 收集有关出售产品数量的统计数据，并对产品进行分类。分类规则如下select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(num) total from(select item0... 收集有关出售产品数量的统计数据，并对产品进行分类。分类规则如下select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(num) total from(select item0...
- 查询牛奶在每一行出现的概率select b.num/a.num as rate from(select count(*) num from item) a,(select count(*) num from itemwhere item01=='Milk' or item02=='Milk' or item02=='Milk'or item03=='Milk'or item04=='Milk... 查询牛奶在每一行出现的概率select b.num/a.num as rate from(select count(*) num from item) a,(select count(*) num from itemwhere item01=='Milk' or item02=='Milk' or item02=='Milk'or item03=='Milk'or item04=='Milk...
- Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而... Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而...
- 华为云MRS Python3使用pyhive连接安全集群Hive 华为云MRS Python3使用pyhive连接安全集群Hive
- Hive on Tez常用调优参数 Hive on Tez常用调优参数
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签