- 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。
- PySpark + PyFlink + Hive 地震预测系统 介绍地震预测系统是基于大数据技术和分析平台，用于处理和分析海量地震数据，提供实时可视化和预测功能。通过使用 PySpark 进行批处理、PyFlink 执行流处理，以及 Hive 作为数据仓库存储地震数据，可以构建一个强大的地震监测和预测平台。 应用使用场景地震监测：实时分析和可视化地震活动。灾害预警：提前检测潜在地震风险，发... PySpark + PyFlink + Hive 地震预测系统 介绍地震预测系统是基于大数据技术和分析平台，用于处理和分析海量地震数据，提供实时可视化和预测功能。通过使用 PySpark 进行批处理、PyFlink 执行流处理，以及 Hive 作为数据仓库存储地震数据，可以构建一个强大的地震监测和预测平台。 应用使用场景地震监测：实时分析和可视化地震活动。灾害预警：提前检测潜在地震风险，发...
- 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.... 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3....
- 注意：此文档只适用于MRS2.X版本，非MRS2.0.0版本文档中对应的路径需要以实际路径为准1 创建RDS实例 创建RDS实例时指定为Postgres数据库可以参考： https://static.huaweicloud.cn/upload/files/pdf/20171208/20171208101321_89598.pdf 注意：1）RDS实例的V... 注意：此文档只适用于MRS2.X版本，非MRS2.0.0版本文档中对应的路径需要以实际路径为准1 创建RDS实例 创建RDS实例时指定为Postgres数据库可以参考： https://static.huaweicloud.cn/upload/files/pdf/20171208/20171208101321_89598.pdf 注意：1）RDS实例的V...
- 好几年前，支付宝推出的“余额宝”赚尽无数人的眼球，同时也吸引的大量的小额资金进入。“余额宝”把用户的散钱利息提高到了年化收益率4.0%左右，比起银行活期存储存款0.3%左右高出太多了，也正在撼动着银行躺着赚钱的地位。 好几年前，支付宝推出的“余额宝”赚尽无数人的眼球，同时也吸引的大量的小额资金进入。“余额宝”把用户的散钱利息提高到了年化收益率4.0%左右，比起银行活期存储存款0.3%左右高出太多了，也正在撼动着银行躺着赚钱的地位。
- Spark SQL编程 Spark SQL编程
- Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对Hive的表操作进行深入讲解。 Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对Hive的表操作进行深入讲解。
- Hive在客户端上的安装部署 Hive在客户端上的安装部署
- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- 介绍三个朋友给大家。第一个（数据仓库）身材魁梧：他带来了历史和经验，而且能言会道，所说的大部分话都是真的。但是，在许多方面，它有些自我膨胀，在另一些方面又有些铺张浪费，而且人们厌烦了各种结果的代价。Apache Hadoop 进入了同一栋建筑，声称要接管整个市场。他大肆鼓吹大数据、速度、数据量、种类以及一堆 v 开头的词汇，这些词汇在市场营销计划之外没有多大意义。他漫不经心地说着分析、预测等... 介绍三个朋友给大家。第一个（数据仓库）身材魁梧：他带来了历史和经验，而且能言会道，所说的大部分话都是真的。但是，在许多方面，它有些自我膨胀，在另一些方面又有些铺张浪费，而且人们厌烦了各种结果的代价。Apache Hadoop 进入了同一栋建筑，声称要接管整个市场。他大肆鼓吹大数据、速度、数据量、种类以及一堆 v 开头的词汇，这些词汇在市场营销计划之外没有多大意义。他漫不经心地说着分析、预测等...
- Sqoop 是一个数据转储工具，它能够将 hadoop HDFS 中的数据转储到关系型数据库中，也能将关系型数据库中的数据转储到 HDFS 中。 Sqoop 是一个数据转储工具，它能够将 hadoop HDFS 中的数据转储到关系型数据库中，也能将关系型数据库中的数据转储到 HDFS 中。
- 一、设置参数--允许使用动态分区可通过set hive.exec.dynamic.partition;查看set hive.exec.dynamic.partition=true;--当需要设置所有列为dynamic时需要这样设置set hive.exec.dynamic.partition.mode=nonstrict;--如果分区总数超过这个数量会报错set hive.exec.max.... 一、设置参数--允许使用动态分区可通过set hive.exec.dynamic.partition;查看set hive.exec.dynamic.partition=true;--当需要设置所有列为dynamic时需要这样设置set hive.exec.dynamic.partition.mode=nonstrict;--如果分区总数超过这个数量会报错set hive.exec.max....
- 1. 概述Atlas允许用户为他们想要管理的元数据对象定义模型。该模型由称为type(类型)的定义组成。称为entities(实体)的type(类型)实例表示受管理的实际元数据对象。 Type System是一个允许用户定义和管理类型和实体的组件。开箱即用的Atlas管理的所有元数据对象（例如Hive表）都使用类型建模并表示为实体。要在Atlas中存储新类型的元数据，需要了解类型系统组件的概... 1. 概述Atlas允许用户为他们想要管理的元数据对象定义模型。该模型由称为type(类型)的定义组成。称为entities(实体)的type(类型)实例表示受管理的实际元数据对象。 Type System是一个允许用户定义和管理类型和实体的组件。开箱即用的Atlas管理的所有元数据对象（例如Hive表）都使用类型建模并表示为实体。要在Atlas中存储新类型的元数据，需要了解类型系统组件的概...
- 环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）hive官网地址：http://hive.apache.org/建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk... 环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）hive官网地址：http://hive.apache.org/建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk...
- 一、SparkSQL概述1、概念 官网：http://spark.apache.org/sql/ Spark SQK是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块 外部的结构化数据源包括 Json,parquet(默认),rmdbs,hive等2、Spark SQL的优点 mapreduce ... 一、SparkSQL概述1、概念 官网：http://spark.apache.org/sql/ Spark SQK是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块 外部的结构化数据源包括 Json,parquet(默认),rmdbs,hive等2、Spark SQL的优点 mapreduce ...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签