- 由于工作原因，需要深入了解一下hive metastore相关源码，这几天尝试了在windows中运行hive metastore代码，这边记录一下踩坑的过程以及解决方法。 window中编译遇到的问题hive在3.0之后，独立提供hive metastore服务，我们可以直接下载hive standalone metastore相关源码即可，这边以3.1.2版本为例：源码下载：wget h... 由于工作原因，需要深入了解一下hive metastore相关源码，这几天尝试了在windows中运行hive metastore代码，这边记录一下踩坑的过程以及解决方法。 window中编译遇到的问题hive在3.0之后，独立提供hive metastore服务，我们可以直接下载hive standalone metastore相关源码即可，这边以3.1.2版本为例：源码下载：wget h...
- 测试环境组件版本mysql 5.7hive 3.1.2flink 1.12.2hudi 0.9.0hadoop 3.2.0首先请确保以下组件正常启动：mysqlhivemetastorehiveserver2hdfsyarn hudi适配hive 3.1.2源码编译0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件... 测试环境组件版本mysql 5.7hive 3.1.2flink 1.12.2hudi 0.9.0hadoop 3.2.0首先请确保以下组件正常启动：mysqlhivemetastorehiveserver2hdfsyarn hudi适配hive 3.1.2源码编译0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件...
- Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现，当时 Hadoop 是进行大数据分析的新颖且创新的方式。Hive 所做的是为 Hadoop 实现了一个 SQL 接口。 它的架构包括两个主要服务：查询引擎——负责 SQL 语句的执行。一个 Metastore——负责将 HDFS 中的数据集合虚拟化为表。Hadoop 背后的概念是革命性的。 庞大的数据... Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现，当时 Hadoop 是进行大数据分析的新颖且创新的方式。Hive 所做的是为 Hadoop 实现了一个 SQL 接口。 它的架构包括两个主要服务：查询引擎——负责 SQL 语句的执行。一个 Metastore——负责将 HDFS 中的数据集合虚拟化为表。Hadoop 背后的概念是革命性的。 庞大的数据...
- 1 简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的[SQL]查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是... 1 简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的[SQL]查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是...
- hive standalone metastore 3.1.2可作为独立服务，作为spark、flink、presto等服务的元数据管理中心，然而在现有的hive授权方案中只有针对hiveserver2的授权，所以本文针对hive standalone metastore独立服务使用ranger对连接到hive metastore的用户进行授权访问，以解决hive standalone me... hive standalone metastore 3.1.2可作为独立服务，作为spark、flink、presto等服务的元数据管理中心，然而在现有的hive授权方案中只有针对hiveserver2的授权，所以本文针对hive standalone metastore独立服务使用ranger对连接到hive metastore的用户进行授权访问，以解决hive standalone me...
- hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。如果您还不了解如何单独启用hive metastore服务，那么您可以参考下述文章。P... hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。如果您还不了解如何单独启用hive metastore服务，那么您可以参考下述文章。P...
- 1 说明在DGC服务创建MRS Hive数据连接，连接方式分为两种，一种是通过代理连接，另一种通过api方式连接。两种方式提交MRS Hive任务方式不同，查看日志的方式也有所不同，下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群，无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId... 1 说明在DGC服务创建MRS Hive数据连接，连接方式分为两种，一种是通过代理连接，另一种通过api方式连接。两种方式提交MRS Hive任务方式不同，查看日志的方式也有所不同，下面分别介绍两种方式查看报错日志的方法。2 不同连接方式查看日志步骤2.1 代理连接2.1.1 连接说明该方式直连MRS集群，无法直接通过job_id等信息去MRS作业管理页面找到对应的applicationId...
- 创建Hive所需的MySQL资源 Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理：# 在MySQL 所在服务器 ambari-01mysql -uroot -pPWD@123456# 执行如下指令set global validate_password_policy=0;set g... 创建Hive所需的MySQL资源 Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理：# 在MySQL 所在服务器 ambari-01mysql -uroot -pPWD@123456# 执行如下指令set global validate_password_policy=0;set g...
- Hive UDF是什么？有什么用？怎么用？什么原理？本文从UDF使用入手，简要介绍相关源码，UDF从零开始。 Hive UDF是什么？有什么用？怎么用？什么原理？本文从UDF使用入手，简要介绍相关源码，UDF从零开始。
- 【问题现象】：使用2.8.2版本的cdm场景迁移功能迁移线下Hive数据到MRS Hive，最终作业状态显示Failed 该篇文章对该问题进行了详细分析。 【问题现象】：使用2.8.2版本的cdm场景迁移功能迁移线下Hive数据到MRS Hive，最终作业状态显示Failed 该篇文章对该问题进行了详细分析。
- 一、何为数据倾斜 ? 二、数据倾斜发生时的现象 三、7个详细解决方案（附代码） 一、何为数据倾斜 ? 二、数据倾斜发生时的现象 三、7个详细解决方案（附代码）
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 本文介绍如何使用永洪bi对接FusionInsight MRS hive组件 本文介绍如何使用永洪bi对接FusionInsight MRS hive组件
- WebHcat样例代码Hive提供了WebHcat接口。该文档利用java把该接口进行了封装，可以使用java代码访问Hive。代码中只封装了一些常用接口，对于没有其他的接口，可以参考封装好的代码自行进行封装。1.1 主要难点：因hive的webHcat接口未提供认证接口，我们这边只能借助spnego的方式来进行kerberos认证。首先，先进行kerberos认证。认证完成后，获... WebHcat样例代码Hive提供了WebHcat接口。该文档利用java把该接口进行了封装，可以使用java代码访问Hive。代码中只封装了一些常用接口，对于没有其他的接口，可以参考封装好的代码自行进行封装。1.1 主要难点：因hive的webHcat接口未提供认证接口，我们这边只能借助spnego的方式来进行kerberos认证。首先，先进行kerberos认证。认证完成后，获...
- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性... Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签