- 目录 Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark) -> Spark SQL（Sc... 目录 Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark) -> Spark SQL（Sc...
- 上一篇博客为大家介绍了Hue集成HDFS，本篇我们继续,为大家带来Hue如何集成Hive! &... 上一篇博客为大家介绍了Hue集成HDFS，本篇我们继续,为大家带来Hue如何集成Hive! &...
- CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_... CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_...
- @Author ： By Runsen @Date ： 2020/6/21 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客... @Author ： By Runsen @Date ： 2020/6/21 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客...
- Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。 基本数据类型 基本数据类型 tinyint/smallint/int/bigint: 整数类型 float/double: 浮点数类型 boolean：布尔类型 string：字符串类型 复杂数据类型 Array：数组类型，由一系... Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。 基本数据类型 基本数据类型 tinyint/smallint/int/bigint: 整数类型 float/double: 浮点数类型 boolean：布尔类型 string：字符串类型 复杂数据类型 Array：数组类型，由一系...
- 目录 1、日期维度表 2、生成语句 3、用例 在进行日期处理时，有时候会很麻烦，于是小编开发了一张日期维表，供大家参考。 1、日期维度表 num字段名字段中文名描述数据类型1date日期日期 yyyMMdd格式bigint2week星期，数字型星期，数字型 0-6bigint3week_cn星期中文名星期中文名 星期一……string4year_weeks一年中... 目录 1、日期维度表 2、生成语句 3、用例 在进行日期处理时，有时候会很麻烦，于是小编开发了一张日期维表，供大家参考。 1、日期维度表 num字段名字段中文名描述数据类型1date日期日期 yyyMMdd格式bigint2week星期，数字型星期，数字型 0-6bigint3week_cn星期中文名星期中文名 星期一……string4year_weeks一年中...
- 概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能 底层是将sql语句转换为MapReduce任务进行运行 Hive提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Load ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制 本质上是一种大... 概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能 底层是将sql语句转换为MapReduce任务进行运行 Hive提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Load ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制 本质上是一种大...
- 目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划： 数据流： 内存使用： 调度： 容错： 适用面： Impala相对于Hive所使用的优化技术 Impala的优缺点 Impala与Hive的异同 数据存储 使用相同的存储数据池都支持把数据储于HDFS, HBase。 元数据 两者使用相同的元数据。 SQL解释... 目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划： 数据流： 内存使用： 调度： 容错： 适用面： Impala相对于Hive所使用的优化技术 Impala的优缺点 Impala与Hive的异同 数据存储 使用相同的存储数据池都支持把数据储于HDFS, HBase。 元数据 两者使用相同的元数据。 SQL解释...
- 一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 二、小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响... 一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 二、小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响...
- Hive相关学习指南 Hive官网：http://hive.apache.org Hive入门指南：http://wiki.apache.org/hadoop/Hive/GettingStarted HQL查询语言指南：http://wiki.apache.org/hadoop/Hive/HiveQL 演示文稿：http://wiki.apache.org/ha... Hive相关学习指南 Hive官网：http://hive.apache.org Hive入门指南：http://wiki.apache.org/hadoop/Hive/GettingStarted HQL查询语言指南：http://wiki.apache.org/hadoop/Hive/HiveQL 演示文稿：http://wiki.apache.org/ha...
- image.png 工作中常用的 hive 参数调优，整理如下。 原则： • 最少数据 • 最少字段 • 最少Job数 • 最少读取次数 • 避免数据倾斜 • 整体最优而不是局部最优 • JVM 内存 文件大小合理切分 这里需要结合集群的资源来合理的设置切片大小。 # 文件分割大小 set mapreduce.input.fileinputformat.split... image.png 工作中常用的 hive 参数调优，整理如下。 原则： • 最少数据 • 最少字段 • 最少Job数 • 最少读取次数 • 避免数据倾斜 • 整体最优而不是局部最优 • JVM 内存 文件大小合理切分 这里需要结合集群的资源来合理的设置切片大小。 # 文件分割大小 set mapreduce.input.fileinputformat.split...
- 一、第一题 1、建表语句 create table mian61( hobby varchar(20), name varchar(20), age int )charset=utf8; 12345 2、表中插入数据 insert into mian61 values ('a','huangxiaoming',45), ('c','huangxiaoming',... 一、第一题 1、建表语句 create table mian61( hobby varchar(20), name varchar(20), age int )charset=utf8; 12345 2、表中插入数据 insert into mian61 values ('a','huangxiaoming',45), ('c','huangxiaoming',...
- 1、数据源如下 id,name,age,favors(爱好) 1,huangxiaoming,45,a-c-d-f 2,huangzitao,36,b-c-d-e 3,huanglei,41,c-d-e 4,liushishi,22,a-d-e 5,liudehua,39,e-f-d 6,liuyifei,35,a-d-e 1234567 2、建表语句 creat... 1、数据源如下 id,name,age,favors(爱好) 1,huangxiaoming,45,a-c-d-f 2,huangzitao,36,b-c-d-e 3,huanglei,41,c-d-e 4,liushishi,22,a-d-e 5,liudehua,39,e-f-d 6,liuyifei,35,a-d-e 1234567 2、建表语句 creat...
- 1.使用HiveServer2 WebUI排除非大数据组件的问题 http://192.168.10.11:1002/hiveserver2.jsp http://192.168.10.11:10002/query_page?operationId=4e64ae44-5ec3-4cbe-b635-ed6e29f8e885#perfLogging image.png ... 1.使用HiveServer2 WebUI排除非大数据组件的问题 http://192.168.10.11:1002/hiveserver2.jsp http://192.168.10.11:10002/query_page?operationId=4e64ae44-5ec3-4cbe-b635-ed6e29f8e885#perfLogging image.png ...
- 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H... 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签