- 编辑Hive基础02、安装Hive前置开启【hdfs】，六个服务都要在。start-all.shjps编辑安装Hive1、解压【Hive】tar -zxvf apache-hive-2.1.0-bin.tar.gz编辑由于命名不合适，所以更换一下：mv apache-hive-2.1.0-bin/ hive编辑2、修改配置在“/opt/hive/conf”目录下拷贝“hive-... 编辑Hive基础02、安装Hive前置开启【hdfs】，六个服务都要在。start-all.shjps编辑安装Hive1、解压【Hive】tar -zxvf apache-hive-2.1.0-bin.tar.gz编辑由于命名不合适，所以更换一下：mv apache-hive-2.1.0-bin/ hive编辑2、修改配置在“/opt/hive/conf”目录下拷贝“hive-...
- 编辑Hive基础01、安装MySQL目录1、安装需要的包2、卸载不需要的包3、安装MySQL服务端4、安装MySQL客户端5、登录MySQL6、修改密码7、分配master权限8、刷新权限登录测试 1、安装需要的包前置位置有【MySQL-server-5.1.73-1.glibc23.x86_64.rpm】和【MySQL-client-5.1.73-1.glibc23.x86_64.r... 编辑Hive基础01、安装MySQL目录1、安装需要的包2、卸载不需要的包3、安装MySQL服务端4、安装MySQL客户端5、登录MySQL6、修改密码7、分配master权限8、刷新权限登录测试 1、安装需要的包前置位置有【MySQL-server-5.1.73-1.glibc23.x86_64.rpm】和【MySQL-client-5.1.73-1.glibc23.x86_64.r...
- 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。
- Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。通过Spark连接Hive Metastore，需要准备如下文件：hive-site.xmlapache-hive-3.1.2-binspark-3.0.3-bin-hadoop3.... Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。通过Spark连接Hive Metastore，需要准备如下文件：hive-site.xmlapache-hive-3.1.2-binspark-3.0.3-bin-hadoop3....
- Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c... Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c...
- Hive on tez任务计算map任务是在AM中计算，而不是在hiveserver中计算，有别于hive on mr任务。hive on tez中计算map任务个数主要分为两个步骤：一是计算splits个数；二是将splits分组，分组数即为map数量1. 先通过HiveInputFormat.getSplits 初步计算split的个数，实际上是调用FileInputFormat.ge... Hive on tez任务计算map任务是在AM中计算，而不是在hiveserver中计算，有别于hive on mr任务。hive on tez中计算map任务个数主要分为两个步骤：一是计算splits个数；二是将splits分组，分组数即为map数量1. 先通过HiveInputFormat.getSplits 初步计算split的个数，实际上是调用FileInputFormat.ge...
- 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 初始化Hive仓库报错 初始化Hive仓库报错
- 请根据上传内容查阅。 请根据上传内容查阅。
- 2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？福哥答案2020-08-08：参考答案：A.通过shell 或python 等调用api，结果先暂存本地，最后将本地文件上传到 Hive 中。B.通过 datax 的 httpReader 和 ... 2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？福哥答案2020-08-08：参考答案：A.通过shell 或python 等调用api，结果先暂存本地，最后将本地文件上传到 Hive 中。B.通过 datax 的 httpReader 和 ...
- 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户1. 进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。1.2.2 Loader准备工作1. 获取关系型数据库对应的驱... 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户1. 进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。1.2.2 Loader准备工作1. 获取关系型数据库对应的驱...
- 前言Hive 作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率 。影响 Hive 效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce 分配不合理等等。 对Hive 的调优既包含 Hive 的建表设计方面，对 HiveHQL 语句本身的优化，也包含 Hive 配置参数 和 底层引擎 MapReduce 方面的调整 。为了不盲目地学习... 前言Hive 作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率 。影响 Hive 效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce 分配不合理等等。 对Hive 的调优既包含 Hive 的建表设计方面，对 HiveHQL 语句本身的优化，也包含 Hive 配置参数 和 底层引擎 MapReduce 方面的调整 。为了不盲目地学习...
- 关于hive中Map join 时大表left join小表的问题 在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表... 关于hive中Map join 时大表left join小表的问题 在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表...
- 文章目录 一、准备工作 1、启动Hadoop 2、启动Hive 二、数据库操作 1、创建数据库 2、查询数据库... 文章目录 一、准备工作 1、启动Hadoop 2、启动Hive 二、数据库操作 1、创建数据库 2、查询数据库...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签