- 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr... 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr...
- Hive命令使用记录 Hive命令使用记录
- 关于Hadoop集群物理及虚拟内存的检测的设置说明 关于Hadoop集群物理及虚拟内存的检测的设置说明
- Hive on Tez 的安装配置 Hive on Tez 的安装配置
- MapReduce报错：「MKDirs failed to create file」 MapReduce报错：「MKDirs failed to create file」
- MapReduce关于类型转换报错记录 MapReduce关于类型转换报错记录
- 执行MapReduce报错：无法分配内存 (errno=12) 执行MapReduce报错：无法分配内存 (errno=12)
- 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ... 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ...
- 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应... 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应...
- 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P... 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P...
- 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav... 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav...
- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作
- 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签