- 1 从调度系统对 HIVE 作业的调度策略聊起 大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。 ... 1 从调度系统对 HIVE 作业的调度策略聊起 大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。 ...
- 来源：大数据老哥 全文共12336个字，建议收藏阅读 本文基本涵盖以下内容： Hive SQL 编译成MapReduce过程Hive 千亿级数据倾斜Hive执行计划Hive 底层执行架构 - Hive SQL 编译成MapReduce过程 - 编译 SQL ... 来源：大数据老哥 全文共12336个字，建议收藏阅读 本文基本涵盖以下内容： Hive SQL 编译成MapReduce过程Hive 千亿级数据倾斜Hive执行计划Hive 底层执行架构 - Hive SQL 编译成MapReduce过程 - 编译 SQL ...
- 全文共6100个字，建议阅读16分钟 本文目录 No1. 请谈一下 Hive 的特点No2. Hive 底层与数据库交互原理？No3. Hive 的 HSQL 转换为 MapReduce 的过程？No4. Hive 的两张表关联，使用 MapReduce 怎么实现？No5. 请说明 hive 中 Sort By，Order... 全文共6100个字，建议阅读16分钟 本文目录 No1. 请谈一下 Hive 的特点No2. Hive 底层与数据库交互原理？No3. Hive 的 HSQL 转换为 MapReduce 的过程？No4. Hive 的两张表关联，使用 MapReduce 怎么实现？No5. 请说明 hive 中 Sort By，Order...
- 火山引擎的数据质量平台是在多年服务字节跳动今日头条、抖音等业务的过程中打磨出来的。面对今日头条、抖音等不同产品线的复杂数据质量场景，数据质量平台如何满足多样的需求？ 本文将介绍火山引擎数据质量平台是如何弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突，并介绍数据质量平台是如何用一套架构框架来满足流批方面的数据质... 火山引擎的数据质量平台是在多年服务字节跳动今日头条、抖音等业务的过程中打磨出来的。面对今日头条、抖音等不同产品线的复杂数据质量场景，数据质量平台如何满足多样的需求？ 本文将介绍火山引擎数据质量平台是如何弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突，并介绍数据质量平台是如何用一套架构框架来满足流批方面的数据质...
- 一、Node2节点配置 二、Master节点配置 三、Node1节点配置 四、启动Hive并测试 下载Hive包:https://cloud.189.cn/t/zqaieevYNrau (访问... 一、Node2节点配置 二、Master节点配置 三、Node1节点配置 四、启动Hive并测试 下载Hive包:https://cloud.189.cn/t/zqaieevYNrau (访问...
- 文章目录 3 HIVE3.1 Hive概述Hive简介Hive应用场景Hive与传统数据仓库比较Hive优点 3.2 Hive功能及架构Hive运行流程Hive数据存储模型Hive数据存储模... 文章目录 3 HIVE3.1 Hive概述Hive简介Hive应用场景Hive与传统数据仓库比较Hive优点 3.2 Hive功能及架构Hive运行流程Hive数据存储模型Hive数据存储模...
- Presto (including PrestoDB and PrestoSQL later re-branded to Trino) is a distributed query engine... Presto (including PrestoDB and PrestoSQL later re-branded to Trino) is a distributed query engine...
- 背景 在hive中使用Roaring64Bitmap实现精确去重功能 主要目的： 提升 hive 中精确去重性能，代替hive 中的 count(distinct uuid)；节省 hive 存储 ，... 背景 在hive中使用Roaring64Bitmap实现精确去重功能 主要目的： 提升 hive 中精确去重性能，代替hive 中的 count(distinct uuid)；节省 hive 存储 ，...
- 注意：我们经常会使用split对字符串做切分，但要注意一点，当原来的值为空值时，容易产生大小为1的空字符串数组[“”]，在我们查询时，它和空数组[]输出来是很相似的，但它的大小却是1，如果我们再根据arr... 注意：我们经常会使用split对字符串做切分，但要注意一点，当原来的值为空值时，容易产生大小为1的空字符串数组[“”]，在我们查询时，它和空数组[]输出来是很相似的，但它的大小却是1，如果我们再根据arr...
- Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/Chenhonli/Compression_Format_Data log.txt... Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/Chenhonli/Compression_Format_Data log.txt...
- 读取本地文件上传至Hive数据仓库 pom.xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifact... 读取本地文件上传至Hive数据仓库 pom.xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifact...
- 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表... 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表...
- 我们在使用hive时难免会碰到hive的函数解决不了的操作，这时我们就可以开发UDF函数去解决复杂的问题。 首先我们老生长谈一下udf函数分类： UDF : User-Defined Function... 我们在使用hive时难免会碰到hive的函数解决不了的操作，这时我们就可以开发UDF函数去解决复杂的问题。 首先我们老生长谈一下udf函数分类： UDF : User-Defined Function...
- 例如： select periodical_code, sort_array(collect_set( concat( "{", concat( ... 例如： select periodical_code, sort_array(collect_set( concat( "{", concat( ...
- Hive可视化工具dbeaver 1、dbeaver基本介绍 dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作... Hive可视化工具dbeaver 1、dbeaver基本介绍 dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作...
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签