- 背景 在hive中使用Roaring64Bitmap实现精确去重功能 主要目的： 提升 hive 中精确去重性能，代替hive 中的 count(distinct uuid)；节省 hive 存储 ，... 背景 在hive中使用Roaring64Bitmap实现精确去重功能 主要目的： 提升 hive 中精确去重性能，代替hive 中的 count(distinct uuid)；节省 hive 存储 ，...
- 注意：我们经常会使用split对字符串做切分，但要注意一点，当原来的值为空值时，容易产生大小为1的空字符串数组[“”]，在我们查询时，它和空数组[]输出来是很相似的，但它的大小却是1，如果我们再根据arr... 注意：我们经常会使用split对字符串做切分，但要注意一点，当原来的值为空值时，容易产生大小为1的空字符串数组[“”]，在我们查询时，它和空数组[]输出来是很相似的，但它的大小却是1，如果我们再根据arr...
- Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/Chenhonli/Compression_Format_Data log.txt... Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/Chenhonli/Compression_Format_Data log.txt...
- 读取本地文件上传至Hive数据仓库 pom.xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifact... 读取本地文件上传至Hive数据仓库 pom.xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifact...
- 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表... 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表...
- 我们在使用hive时难免会碰到hive的函数解决不了的操作，这时我们就可以开发UDF函数去解决复杂的问题。 首先我们老生长谈一下udf函数分类： UDF : User-Defined Function... 我们在使用hive时难免会碰到hive的函数解决不了的操作，这时我们就可以开发UDF函数去解决复杂的问题。 首先我们老生长谈一下udf函数分类： UDF : User-Defined Function...
- 例如： select periodical_code, sort_array(collect_set( concat( "{", concat( ... 例如： select periodical_code, sort_array(collect_set( concat( "{", concat( ...
- Hive可视化工具dbeaver 1、dbeaver基本介绍 dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作... Hive可视化工具dbeaver 1、dbeaver基本介绍 dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作...
- hive空字符串数组和空数组 空字符串数组 ：array(‘’) 空数组：array() 如果想查找表中的空字符串数组： 方法：可以使用查找数组中的第一个值是否为空字符串 select classi... hive空字符串数组和空数组 空字符串数组 ：array(‘’) 空数组：array() 如果想查找表中的空字符串数组： 方法：可以使用查找数组中的第一个值是否为空字符串 select classi...
- Hive数据仓库的操作： 数据库的创建与删除表的创建，修改，删除表中数据的导入与导出表分区与桶的创建、修改、删除 目录 Hive环境搭建 Hive数据仓库的操作 Hive数据表的操作 Hive中数据的导入与导出 Hive环境搭建 centos安装hive3.1.2（精讲篇）https://bl... Hive数据仓库的操作： 数据库的创建与删除表的创建，修改，删除表中数据的导入与导出表分区与桶的创建、修改、删除 目录 Hive环境搭建 Hive数据仓库的操作 Hive数据表的操作 Hive中数据的导入与导出 Hive环境搭建 centos安装hive3.1.2（精讲篇）https://bl...
- 报错信息： Error while compiling statement: FAILED: SemanticException [Error 10014]: line 1:55 Wrong ar... 报错信息： Error while compiling statement: FAILED: SemanticException [Error 10014]: line 1:55 Wrong ar...
- 文章目录 零、本讲学习目标一、Spark SQL支持读写Hive二、Spark配置hive-site.xml三、准备工作（一）启动Hive的metastore（二）启动Spark Shell ... 文章目录 零、本讲学习目标一、Spark SQL支持读写Hive二、Spark配置hive-site.xml三、准备工作（一）启动Hive的metastore（二）启动Spark Shell ...
- 用hiveconf hive> set CURRENT_DATE='2012-09-16'; hive> select * from foo where day >= ${hiveco... 用hiveconf hive> set CURRENT_DATE='2012-09-16'; hive> select * from foo where day >= ${hiveco...
- 第5章DML数据操作 5.1 数据导入—— 重要 5.1.1 向表中装载数据（Load）—— 关键 1．语法 hive> load data [local] inpath '/opt/mod... 第5章DML数据操作 5.1 数据导入—— 重要 5.1.1 向表中装载数据（Load）—— 关键 1．语法 hive> load data [local] inpath '/opt/mod...
- 常见开源OLAP技术架构对比 文章目录 常见开源OLAP技术架构对比1. 什么是OLAP2. OLAP引擎的常见操作3. OLAP分类4. OLAP引擎的对比5. OLAP引擎的主要特点6. 总... 常见开源OLAP技术架构对比 文章目录 常见开源OLAP技术架构对比1. 什么是OLAP2. OLAP引擎的常见操作3. OLAP分类4. OLAP引擎的对比5. OLAP引擎的主要特点6. 总...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签