- 本篇博客,小菌为大家带来关于如何将本地的多个文件导入到Hive分区表中对应的分区上的方法。一共有四种方法,本... 本篇博客,小菌为大家带来关于如何将本地的多个文件导入到Hive分区表中对应的分区上的方法。一共有四种方法,本...
- JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或... JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或...
- 本篇博客，博主为大家介绍的是关于Kylin的增量构建的步骤过程，以及其与全量构建的差异对比！看完之后，相信你... 本篇博客，博主为大家介绍的是关于Kylin的增量构建的步骤过程，以及其与全量构建的差异对比！看完之后，相信你...
- 本篇博客小菌为大家带来的是关于Hive自定义函数的相关内容! &nbs... 本篇博客小菌为大家带来的是关于Hive自定义函数的相关内容! &nbs...
- 目录 案例五 FlinkSQL整合Hive 介绍 集成Hive的基本方式 准备工作 1.添加hadoop_classpath 2.下载jar并上传至flink/lib目录 3.修改hive配置 4.启动hive元数据服务 SQL CLI 1.修改flinksql配置 2.启... 目录 案例五 FlinkSQL整合Hive 介绍 集成Hive的基本方式 准备工作 1.添加hadoop_classpath 2.下载jar并上传至flink/lib目录 3.修改hive配置 4.启动hive元数据服务 SQL CLI 1.修改flinksql配置 2.启...
- Hive提供了一个严格模式，可以防止用户执行“高危”的查询。 &nbs... Hive提供了一个严格模式，可以防止用户执行“高危”的查询。 &nbs...
- 目录 Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark) -> Spark SQL（Sc... 目录 Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark) -> Spark SQL（Sc...
- 上一篇博客为大家介绍了Hue集成HDFS，本篇我们继续,为大家带来Hue如何集成Hive! &... 上一篇博客为大家介绍了Hue集成HDFS，本篇我们继续,为大家带来Hue如何集成Hive! &...
- CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_... CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_...
- @Author ： By Runsen @Date ： 2020/6/21 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客... @Author ： By Runsen @Date ： 2020/6/21 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客...
- Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。 基本数据类型 基本数据类型 tinyint/smallint/int/bigint: 整数类型 float/double: 浮点数类型 boolean：布尔类型 string：字符串类型 复杂数据类型 Array：数组类型，由一系... Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。 基本数据类型 基本数据类型 tinyint/smallint/int/bigint: 整数类型 float/double: 浮点数类型 boolean：布尔类型 string：字符串类型 复杂数据类型 Array：数组类型，由一系...
- 目录 1、日期维度表 2、生成语句 3、用例 在进行日期处理时，有时候会很麻烦，于是小编开发了一张日期维表，供大家参考。 1、日期维度表 num字段名字段中文名描述数据类型1date日期日期 yyyMMdd格式bigint2week星期，数字型星期，数字型 0-6bigint3week_cn星期中文名星期中文名 星期一……string4year_weeks一年中... 目录 1、日期维度表 2、生成语句 3、用例 在进行日期处理时，有时候会很麻烦，于是小编开发了一张日期维表，供大家参考。 1、日期维度表 num字段名字段中文名描述数据类型1date日期日期 yyyMMdd格式bigint2week星期，数字型星期，数字型 0-6bigint3week_cn星期中文名星期中文名 星期一……string4year_weeks一年中...
- 概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能 底层是将sql语句转换为MapReduce任务进行运行 Hive提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Load ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制 本质上是一种大... 概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能 底层是将sql语句转换为MapReduce任务进行运行 Hive提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Load ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制 本质上是一种大...
- 目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划： 数据流： 内存使用： 调度： 容错： 适用面： Impala相对于Hive所使用的优化技术 Impala的优缺点 Impala与Hive的异同 数据存储 使用相同的存储数据池都支持把数据储于HDFS, HBase。 元数据 两者使用相同的元数据。 SQL解释... 目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划： 数据流： 内存使用： 调度： 容错： 适用面： Impala相对于Hive所使用的优化技术 Impala的优缺点 Impala与Hive的异同 数据存储 使用相同的存储数据池都支持把数据储于HDFS, HBase。 元数据 两者使用相同的元数据。 SQL解释...
- 一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 二、小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响... 一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 二、小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响...
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签