- 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr... 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr...
- Hive命令使用记录 Hive命令使用记录
- 关于Hadoop集群物理及虚拟内存的检测的设置说明 关于Hadoop集群物理及虚拟内存的检测的设置说明
- Hive on Tez 的安装配置 Hive on Tez 的安装配置
- MapReduce报错：「MKDirs failed to create file」 MapReduce报错：「MKDirs failed to create file」
- MapReduce关于类型转换报错记录 MapReduce关于类型转换报错记录
- 执行MapReduce报错：无法分配内存 (errno=12) 执行MapReduce报错：无法分配内存 (errno=12)
- 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ... 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ...
- 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应... 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应...
- 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P... 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P...
- 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav... 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav...
- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作
- 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签