- 此次博主为大家带来的是Hive的数据存储格式。 目录 1. 列式存储和行式存储2. TextFile格式3. Orc格式4. Parquet格式5. 主流文件存储格式对比实验5.1 存储文件的压缩比测试5.2 存储文件的查询速度测试 H i v e 支 持 的 存 储 数 据 的 格 式 主 要 有 ： T E X T F I L E 、 ... 此次博主为大家带来的是Hive的数据存储格式。 目录 1. 列式存储和行式存储2. TextFile格式3. Orc格式4. Parquet格式5. 主流文件存储格式对比实验5.1 存储文件的压缩比测试5.2 存储文件的查询速度测试 H i v e 支 持 的 存 储 数 据 的 格 式 主 要 有 ： T E X T F I L E 、 ...
- 我们光知道Hive，不会其语法怎么办呢？此篇博文专门为大家带来操作实例。 目录 一. SELECT二. 常用函数三. LIMIT语句四. WHERE语句五. 比较运算符（BETWEEN/IN/ IS NULL）5.1 表格显示5.2 举例操作 六. LIKE和RLIKE七. 分组7.1 GROUP BY语句7.2 HAVING语句 八. JOIN语... 我们光知道Hive，不会其语法怎么办呢？此篇博文专门为大家带来操作实例。 目录 一. SELECT二. 常用函数三. LIMIT语句四. WHERE语句五. 比较运算符（BETWEEN/IN/ IS NULL）5.1 表格显示5.2 举例操作 六. LIKE和RLIKE七. 分组7.1 GROUP BY语句7.2 HAVING语句 八. JOIN语...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 本次博主为大家带来的事Hive常见的属性配置。希望能够帮助大家。 目录 一. Hive数据仓库位置配置二. 查询后信息显示配置三. Hive运行日志信息配置四. 参数配置方式4.1 查看当前所有的配置信息4.2 参数的配置三种方式 一. Hive数据仓库位置配置 1. Default数据仓库的最原始位置是在hdfs上的：/user/hi... 本次博主为大家带来的事Hive常见的属性配置。希望能够帮助大家。 目录 一. Hive数据仓库位置配置二. 查询后信息显示配置三. Hive运行日志信息配置四. 参数配置方式4.1 查看当前所有的配置信息4.2 参数的配置三种方式 一. Hive数据仓库位置配置 1. Default数据仓库的最原始位置是在hdfs上的：/user/hi...
- 此篇博文博主为大家讲解的是如何访问HiveJDBC。 目录 1. 启动hiveserver2服务2. 启动beeline(hive自带的JDBC访问的客户端)3. 连接hiveserver24. hiveserver2和beeline的区别 首先，我们先来看下Hive的bin文件夹的目录： 此次用到的为hiveserver2和beeline... 此篇博文博主为大家讲解的是如何访问HiveJDBC。 目录 1. 启动hiveserver2服务2. 启动beeline(hive自带的JDBC访问的客户端)3. 连接hiveserver24. hiveserver2和beeline的区别 首先，我们先来看下Hive的bin文件夹的目录： 此次用到的为hiveserver2和beeline...
- 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情... 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <... 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <...
- 此篇博文博主为大家讲解的是Hive中常用的交互命令及其他的一些命令。 目录 一. Hive常用交互命令1.1 “-e”不进入hive的交互窗口执行sql语句1.2 “-f”执行sql脚本 二. Hive其他命令操作2.1 退出hive窗口：2.2 在hive client命令窗口中如何查看hdfs文件系统2.3 在hive client命令窗口中如何查... 此篇博文博主为大家讲解的是Hive中常用的交互命令及其他的一些命令。 目录 一. Hive常用交互命令1.1 “-e”不进入hive的交互窗口执行sql语句1.2 “-f”执行sql脚本 二. Hive其他命令操作2.1 退出hive窗口：2.2 在hive client命令窗口中如何查看hdfs文件系统2.3 在hive client命令窗口中如何查...
- 此次博主为大家带来的是Hive常见错误及解决方案。 目录 1.SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT 2.连接不上mysql数据库 （1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导入/opt/... 此次博主为大家带来的是Hive常见错误及解决方案。 目录 1.SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT 2.连接不上mysql数据库 （1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导入/opt/...
- 此次博主为大家带来的是Hive项目实战系列的第三部分，也是最终部分。 目录 1. 统计视频观看数Top102. 统计视频类别热度Top103. 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数4. 统计视频观看数Top50所关联视频的所属类别排序5. 统计每个类别中的视频热度Top10，以Music为例6. 统计每个类别中视频流量... 此次博主为大家带来的是Hive项目实战系列的第三部分，也是最终部分。 目录 1. 统计视频观看数Top102. 统计视频类别热度Top103. 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数4. 统计视频观看数Top50所关联视频的所属类别排序5. 统计每个类别中的视频热度Top10，以Music为例6. 统计每个类别中视频流量...
- 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j... 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j...
- 此次博主为大家带来的是Hive中的数据类型与转换。 目录 一. 基本数据类型二. 集合数据类型三. 类型转化3.1 隐式类型转换规则如下3.2 可以使用CAST操作显示进行数据类型转换 一. 基本数据类型 Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20IN... 此次博主为大家带来的是Hive中的数据类型与转换。 目录 一. 基本数据类型二. 集合数据类型三. 类型转化3.1 隐式类型转换规则如下3.2 可以使用CAST操作显示进行数据类型转换 一. 基本数据类型 Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20IN...
- 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种... 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种...
上滑加载中
推荐直播
-
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名 -
手把手教你在 CodeArts 上部署敏捷流水线2024/12/31 周二 16:30-18:00
Jerry 华为云生态技术讲师
CodeArts的适用场景以及如何从CodeArts Pipeline出发，一步步添加关联工具，最后让整个流水线流动起来，一起来动手试试吧。
即将直播
热门标签