- 导读：hadoop是开源的分布式存储和分布式计算平台.由HDFS（分布式文件存储系统,存储海量数据）Mapreduce（并行处理框架,实现任务分配和调度.）组成。可以搭建大型数据仓库,分析海量日志,存储,统计等。Zookeeper 解决分布式环境下的数据管理，统一命名，状态同步，集群管理，配置同步分布式协作服务。HIVE 数据仓库（离线分析）HQL用于运行存储在Hado... 导读：hadoop是开源的分布式存储和分布式计算平台.由HDFS（分布式文件存储系统,存储海量数据）Mapreduce（并行处理框架,实现任务分配和调度.）组成。可以搭建大型数据仓库,分析海量日志,存储,统计等。Zookeeper 解决分布式环境下的数据管理，统一命名，状态同步，集群管理，配置同步分布式协作服务。HIVE 数据仓库（离线分析）HQL用于运行存储在Hado...
- BigData之Hive：Hive数据管理的简介、下载、案例应用之详细攻略 目录 Hive数据管理的简介 1、Hive的适用场景——不适合那些需要高实性的应用(不能够在大规模数据集上实现低延迟快速的查询)、不适合用联机(online)事务处理、不提供实时查询 2、Hive 的设计特点 3、Hive数据存... BigData之Hive：Hive数据管理的简介、下载、案例应用之详细攻略 目录 Hive数据管理的简介 1、Hive的适用场景——不适合那些需要高实性的应用(不能够在大规模数据集上实现低延迟快速的查询)、不适合用联机(online)事务处理、不提供实时查询 2、Hive 的设计特点 3、Hive数据存...
- BigData之Hive beeline：beeline的简介、使用方法之详细攻略 目录 beeline的简介 beeline的使用方法 1、命令行参数解释 2、beeline的输出格式 2.1、table BigData之Hive beeline：beeline的简介、使用方法之详细攻略 目录 beeline的简介 beeline的使用方法 1、命令行参数解释 2、beeline的输出格式 2.1、table
- 常用参数 // 输出合并小文件 SET hive.merge.mapfiles = true; -- 默认true，在map-only任务结束时合并小文件 SET hive.merge.mapredfiles = true; -- 默认false，在map-reduce任务结束时合并小文件 SET hive.merge.size.per.task = 268435456; ... 常用参数 // 输出合并小文件 SET hive.merge.mapfiles = true; -- 默认true，在map-only任务结束时合并小文件 SET hive.merge.mapredfiles = true; -- 默认false，在map-reduce任务结束时合并小文件 SET hive.merge.size.per.task = 268435456; ...
- 8.hive参数的调优 1.fetch抓取 2.本地模式开启 3.表的优化 1）小表join大表 对于我们来说，尽量把小表放前面；再进一步，可以使用group by将比较小的表放在map端进行数据加载和处理。 select count(distinct s_id) from score; select count(s_id... 8.hive参数的调优 1.fetch抓取 2.本地模式开启 3.表的优化 1）小表join大表 对于我们来说，尽量把小表放前面；再进一步，可以使用group by将比较小的表放在map端进行数据加载和处理。 select count(distinct s_id) from score; select count(s_id...
- Hive将表划分为分区(partition)表和分桶(bucket)表。 分区可以让数据的部分查询变得更快，也就是说，在加载数据的时候可以指定加载某一部分数据，并不是全量的数据。 分桶表通常是在原始数据中加入一些额外的结构，这些结构可以用于高效的查询，例如，基于ID的分桶可以使得用户的查询非常的块。 分区在HDFS上的表现形式是一个目录， 分桶是一个单独的文件 分区: 细化数... Hive将表划分为分区(partition)表和分桶(bucket)表。 分区可以让数据的部分查询变得更快，也就是说，在加载数据的时候可以指定加载某一部分数据，并不是全量的数据。 分桶表通常是在原始数据中加入一些额外的结构，这些结构可以用于高效的查询，例如，基于ID的分桶可以使得用户的查询非常的块。 分区在HDFS上的表现形式是一个目录， 分桶是一个单独的文件 分区: 细化数...
- 小文件进行合并 在Map执行前合并小文件，减少Map数： CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。 HiveInputFormat没有对小文件合并功能。 1） 参数设置 set mapred.max.split.size=112345600; set mapred.min.split.size.per.node=112345... 小文件进行合并 在Map执行前合并小文件，减少Map数： CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。 HiveInputFormat没有对小文件合并功能。 1） 参数设置 set mapred.max.split.size=112345600; set mapred.min.split.size.per.node=112345...
- 为什么创建类 DataWritable？ 【揭秘hive常见面试题(一)-13】 如何实现统计手机流量？ 【揭秘hive常见面试题(一)-13】 对比 hive 与 mapreduce 统计手机流量的区别？ 【揭秘hive常见面试题(一)-13】 如今有 10 个文件夹,每个文件夹都有 1000000 个 url.如今让你找出top1000000url 不思考歪斜，功能，运用 ... 为什么创建类 DataWritable？ 【揭秘hive常见面试题(一)-13】 如何实现统计手机流量？ 【揭秘hive常见面试题(一)-13】 对比 hive 与 mapreduce 统计手机流量的区别？ 【揭秘hive常见面试题(一)-13】 如今有 10 个文件夹,每个文件夹都有 1000000 个 url.如今让你找出top1000000url 不思考歪斜，功能，运用 ...
- 方法1: from_unixtime+ unix_timestamp --20171205转成2017-12-05 select from_unixtime(unix_timestamp('20171205','yyyymmdd'),'yyyy-mm-dd') from dual; --2017-12-05转成20171205 select from_unixtime(un... 方法1: from_unixtime+ unix_timestamp --20171205转成2017-12-05 select from_unixtime(unix_timestamp('20171205','yyyymmdd'),'yyyy-mm-dd') from dual; --2017-12-05转成20171205 select from_unixtime(un...
- Join原则： 1）小表Join大表， 2）大表Join大表 3)MapJoin 4)Group by 5)Count(Disthinct)去重统计 6)笛卡尔积 7)行列过滤 8)动态分区调整 9)分桶 10)分区 1）小表Join大表， 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度... Join原则： 1）小表Join大表， 2）大表Join大表 3)MapJoin 4)Group by 5)Count(Disthinct)去重统计 6)笛卡尔积 7)行列过滤 8)动态分区调整 9)分桶 10)分区 1）小表Join大表， 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度...
- 请问下sqoop是否能将oracle下某个用户的表一次性抽取迁移到hive？如果不行，使用什么样的工具或者方法可以实现？【表很多，如何导】 1、建个临时变，先把某个用户的数据抽出来 在倒出去。 2、这个要啥资料，要么select查出来存成文件，本地文件导到hive 3、 sqoop不是可以 --query指定sql吗 <meta charset="utf-8"> ... 请问下sqoop是否能将oracle下某个用户的表一次性抽取迁移到hive？如果不行，使用什么样的工具或者方法可以实现？【表很多，如何导】 1、建个临时变，先把某个用户的数据抽出来 在倒出去。 2、这个要啥资料，要么select查出来存成文件，本地文件导到hive 3、 sqoop不是可以 --query指定sql吗 <meta charset="utf-8"> ...
- 1. hive的数据类型 Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型 2. hive基本数据类型 基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。 image 3... 1. hive的数据类型 Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型 2. hive基本数据类型 基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。 image 3...
- 使用 Hive 进行手机流量统计 问题导读 1.hive 实现统计的查询语句是什么？ 2.生产环境中为什么建议使用外部表？ 3.hadoop mapreduce 创建类 DataWritable 的作用是什么？ 4. 为什么创建 类 类 DataWritable ？ 5.如何实现统计手机流量？ 对比 hive 与 与 mapreduce 统计手机流量的区别？ 很多公司在使用 ... 使用 Hive 进行手机流量统计 问题导读 1.hive 实现统计的查询语句是什么？ 2.生产环境中为什么建议使用外部表？ 3.hadoop mapreduce 创建类 DataWritable 的作用是什么？ 4. 为什么创建 类 类 DataWritable ？ 5.如何实现统计手机流量？ 对比 hive 与 与 mapreduce 统计手机流量的区别？ 很多公司在使用 ...
- 解释一下什么是数据倾斜，并说明在hive中如何避免数据倾斜。 参数调节： hive.map.aggr=true hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理... 解释一下什么是数据倾斜，并说明在hive中如何避免数据倾斜。 参数调节： hive.map.aggr=true hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理...
- 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该... 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签