- Hive相关学习指南 Hive官网：http://hive.apache.org Hive入门指南：http://wiki.apache.org/hadoop/Hive/GettingStarted HQL查询语言指南：http://wiki.apache.org/hadoop/Hive/HiveQL 演示文稿：http://wiki.apache.org/ha... Hive相关学习指南 Hive官网：http://hive.apache.org Hive入门指南：http://wiki.apache.org/hadoop/Hive/GettingStarted HQL查询语言指南：http://wiki.apache.org/hadoop/Hive/HiveQL 演示文稿：http://wiki.apache.org/ha...
- image.png 工作中常用的 hive 参数调优，整理如下。 原则： • 最少数据 • 最少字段 • 最少Job数 • 最少读取次数 • 避免数据倾斜 • 整体最优而不是局部最优 • JVM 内存 文件大小合理切分 这里需要结合集群的资源来合理的设置切片大小。 # 文件分割大小 set mapreduce.input.fileinputformat.split... image.png 工作中常用的 hive 参数调优，整理如下。 原则： • 最少数据 • 最少字段 • 最少Job数 • 最少读取次数 • 避免数据倾斜 • 整体最优而不是局部最优 • JVM 内存 文件大小合理切分 这里需要结合集群的资源来合理的设置切片大小。 # 文件分割大小 set mapreduce.input.fileinputformat.split...
- 一、第一题 1、建表语句 create table mian61( hobby varchar(20), name varchar(20), age int )charset=utf8; 12345 2、表中插入数据 insert into mian61 values ('a','huangxiaoming',45), ('c','huangxiaoming',... 一、第一题 1、建表语句 create table mian61( hobby varchar(20), name varchar(20), age int )charset=utf8; 12345 2、表中插入数据 insert into mian61 values ('a','huangxiaoming',45), ('c','huangxiaoming',...
- 1、数据源如下 id,name,age,favors(爱好) 1,huangxiaoming,45,a-c-d-f 2,huangzitao,36,b-c-d-e 3,huanglei,41,c-d-e 4,liushishi,22,a-d-e 5,liudehua,39,e-f-d 6,liuyifei,35,a-d-e 1234567 2、建表语句 creat... 1、数据源如下 id,name,age,favors(爱好) 1,huangxiaoming,45,a-c-d-f 2,huangzitao,36,b-c-d-e 3,huanglei,41,c-d-e 4,liushishi,22,a-d-e 5,liudehua,39,e-f-d 6,liuyifei,35,a-d-e 1234567 2、建表语句 creat...
- 1.使用HiveServer2 WebUI排除非大数据组件的问题 http://192.168.10.11:1002/hiveserver2.jsp http://192.168.10.11:10002/query_page?operationId=4e64ae44-5ec3-4cbe-b635-ed6e29f8e885#perfLogging image.png ... 1.使用HiveServer2 WebUI排除非大数据组件的问题 http://192.168.10.11:1002/hiveserver2.jsp http://192.168.10.11:10002/query_page?operationId=4e64ae44-5ec3-4cbe-b635-ed6e29f8e885#perfLogging image.png ...
- 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H... 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H...
- Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入Hive表。批写既支持追加现有表，也支持重写现有表。 # ------ INSERT INTO将追加到表或分区上，保持现有数据不变------ Flink SQL> INSERT INTO mytable SELECT 'Tom', 25; # -... Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入Hive表。批写既支持追加现有表，也支持重写现有表。 # ------ INSERT INTO将追加到表或分区上，保持现有数据不变------ Flink SQL> INSERT INTO mytable SELECT 'Tom', 25; # -...
- Hive分析窗口函数(二) NTILE,ROW_NUMBER,RANK,DENSE_RANK 数据准备 cookie1,2018-04-10,1 cookie1,2018-04-11,5 cookie1,2018-04-12,7 cookie1,2018-04-13,3 cookie1,2018-04-14,2 cookie1,2018-04-15,4 cookie1,20... Hive分析窗口函数(二) NTILE,ROW_NUMBER,RANK,DENSE_RANK 数据准备 cookie1,2018-04-10,1 cookie1,2018-04-11,5 cookie1,2018-04-12,7 cookie1,2018-04-13,3 cookie1,2018-04-14,2 cookie1,2018-04-15,4 cookie1,20...
- hive中 reflect函数的使用 使用java.lang.Math当中的Max求两列中最大值 --创建hive表 create table test_udf(col1 int,col2 int) row format delimited fields terminated by ','; --准备数据 test_udf.txt 1,2 4,3 6,4 7,5 5,6 -... hive中 reflect函数的使用 使用java.lang.Math当中的Max求两列中最大值 --创建hive表 create table test_udf(col1 int,col2 int) row format delimited fields terminated by ','; --准备数据 test_udf.txt 1,2 4,3 6,4 7,5 5,6 -...
- 1）hive 的使用，内外部表的区别，分区作用， UDF 和 Hive 优化 (1)hive 使用：仓库、工具 (2)hive 内部表：加载数据到 hive 所在的 hdfs 目录，删除时，元数据和数据文件都删除 外部表：不加载数据到 hive 所在的 hdfs 目录，删除时，只删除表结构。 (3)分区作用：防止数据倾斜 (4)UDF 函数：用户自定义的函数 (主要解决格式，计... 1）hive 的使用，内外部表的区别，分区作用， UDF 和 Hive 优化 (1)hive 使用：仓库、工具 (2)hive 内部表：加载数据到 hive 所在的 hdfs 目录，删除时，元数据和数据文件都删除 外部表：不加载数据到 hive 所在的 hdfs 目录，删除时，只删除表结构。 (3)分区作用：防止数据倾斜 (4)UDF 函数：用户自定义的函数 (主要解决格式，计...
- 在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，比如： 环境准备： create table ori(id bigint, time bigint, uid string, keyword string, url_rank int, clic... 在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，比如： 环境准备： create table ori(id bigint, time bigint, uid string, keyword string, url_rank int, clic...
- 1你们数据库怎么导入 hive 的,有没有出现问题 使用 sqoop 导入，我们公司的数据库中设计了 text 字段，导致导入的时候出现了缓存 不够的情况（见云笔记），开始解决起来感觉很棘手，后来查看了 sqoop 的文档，加上 了 limit 属性，解决了 2Redis,传统数据库,hbase,hive 每个之间的区别(问的非常细) Redis 是缓存，围绕着内存和缓存说 H... 1你们数据库怎么导入 hive 的,有没有出现问题 使用 sqoop 导入，我们公司的数据库中设计了 text 字段，导致导入的时候出现了缓存 不够的情况（见云笔记），开始解决起来感觉很棘手，后来查看了 sqoop 的文档，加上 了 limit 属性，解决了 2Redis,传统数据库,hbase,hive 每个之间的区别(问的非常细) Redis 是缓存，围绕着内存和缓存说 H...
- 主要报错信息如下： Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec... 主要报错信息如下： Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec...
- 问题描述: 前些时间，运维的同事反应小文件过多问题，需要我们去处理，所以想到是以何种手段去合并现有的小文件。我们知道Hadoop需要在namenode维护文件索引相关的metadata，所以小文件过多意味着消耗更大的内存空间。 过程 经过网上的调研发现通过hive表使用orc格式进行存储能够通过concatenate命令对分区进行小文件合并，并且能够节省80%以上的存储空间，... 问题描述: 前些时间，运维的同事反应小文件过多问题，需要我们去处理，所以想到是以何种手段去合并现有的小文件。我们知道Hadoop需要在namenode维护文件索引相关的metadata，所以小文件过多意味着消耗更大的内存空间。 过程 经过网上的调研发现通过hive表使用orc格式进行存储能够通过concatenate命令对分区进行小文件合并，并且能够节省80%以上的存储空间，...
- 1.开启Fetch抓取 Hive优化(十四)- Fetch抓取（Hive可以避免进行MapReduce） 2.使用本地模式 Hive优化(十五)-本地模式（小数据集缩短执行时间） 3.表的优化 Hive优化(九)-表优化 4.数据倾斜 Hive优化(五)-避免数据倾斜 某一个reduce处理数据量太大，产生处理效率降低。 1)map个数的设置 blocksize mi... 1.开启Fetch抓取 Hive优化(十四)- Fetch抓取（Hive可以避免进行MapReduce） 2.使用本地模式 Hive优化(十五)-本地模式（小数据集缩短执行时间） 3.表的优化 Hive优化(九)-表优化 4.数据倾斜 Hive优化(五)-避免数据倾斜 某一个reduce处理数据量太大，产生处理效率降低。 1)map个数的设置 blocksize mi...
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签