- 文件系统元数据的持久性HDFS命名空间存储在NameNode结点中。NameNode使用Editlog记录文件系统元数据的每一次变更。Editlog是一个事务型日志。例如，HDFS创建新文件时会在Editlog文件中插入一条记录。类似地，文件副本数的变更也会引起在Editlog文件中记录一条日志。NameNode结点使用本地文件系统存储Editlog文件。FsImage文件中存储了文件系统命... 文件系统元数据的持久性HDFS命名空间存储在NameNode结点中。NameNode使用Editlog记录文件系统元数据的每一次变更。Editlog是一个事务型日志。例如，HDFS创建新文件时会在Editlog文件中插入一条记录。类似地，文件副本数的变更也会引起在Editlog文件中记录一条日志。NameNode结点使用本地文件系统存储Editlog文件。FsImage文件中存储了文件系统命...
- 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------介绍HDFS，The Hadoop Distributed FIle System 是设计用... 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------介绍HDFS，The Hadoop Distributed FIle System 是设计用...
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
- 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一书中的第2章，第2.1节，作者是张利兵。 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一书中的第2章，第2.1节，作者是张利兵。
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.6节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.6节，作者是朱凯。
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.1节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.1节，作者是朱凯。
- 5分钟了解下HDFS 5分钟了解下HDFS
- HDFS常用命令总结 HDFS常用命令总结
- Hadoop即席查询引擎是构筑在Hive之上的，提供快速SQL查询接口的OLAP引擎。 Hadoop即席查询引擎是构筑在Hive之上的，提供快速SQL查询接口的OLAP引擎。
- 在已经把jdk1.8和hadoop2.8.2上传到虚拟机之后，是压缩包，不能直接使用；1． 安装jdk，安装的时候要解压2． 配置JAVA_HOME进入到profile文件，可以使用向下箭头到末尾，在unset之前插入下面两行代码，或者使用“shift+G”到最后。使用java -version查看jdk版本号3． 解压hadoop，并查看hadoop目录4. 配置hadoop下的JAVA_... 在已经把jdk1.8和hadoop2.8.2上传到虚拟机之后，是压缩包，不能直接使用；1． 安装jdk，安装的时候要解压2． 配置JAVA_HOME进入到profile文件，可以使用向下箭头到末尾，在unset之前插入下面两行代码，或者使用“shift+G”到最后。使用java -version查看jdk版本号3． 解压hadoop，并查看hadoop目录4. 配置hadoop下的JAVA_...
- hdfs dfs -ls和linux的命令差不多hdfs dfs -查看相关帮助命令hadoop dfs -ls /hadoop fs -ls /版本不同创建目录hdfs dfs -mkdir -p /aaa/01/02hdfs dfs -lsr /aaa会看到01 02二．使用dfs创建文件查看文件结果echo "hello,zhangChenguang">>localfilehdfs d... hdfs dfs -ls和linux的命令差不多hdfs dfs -查看相关帮助命令hadoop dfs -ls /hadoop fs -ls /版本不同创建目录hdfs dfs -mkdir -p /aaa/01/02hdfs dfs -lsr /aaa会看到01 02二．使用dfs创建文件查看文件结果echo "hello,zhangChenguang">>localfilehdfs d...
- 1． 配置每台节点的IP地址，测试其连通性。测试与外网是否连通2． 关闭节点的防火墙将”/etc/selinux/config”配置文件中的”SELINUX=enforcing”改为”SELINUX=disabled”3． 配置每台节点的hosts文件[root@localhost ~]# vi /etc/hosts4． 上传hadoop压缩包到你自己安装目录，然后解压tar -xzvf h... 1． 配置每台节点的IP地址，测试其连通性。测试与外网是否连通2． 关闭节点的防火墙将”/etc/selinux/config”配置文件中的”SELINUX=enforcing”改为”SELINUX=disabled”3． 配置每台节点的hosts文件[root@localhost ~]# vi /etc/hosts4． 上传hadoop压缩包到你自己安装目录，然后解压tar -xzvf h...
- 统计word统计，统计文件里面每一个文件出现的次数！一．先进入到hadoop-2.8.2目录2． 在当前目录下建立input目录3. 把etc/hadoop下的所有xml文件copy到input目录下. 这些xml就是我们要统计的文本。经过查看，发现input下文件已经过来了。使用ll或ls都可以查看一下。4. 执行hadoop下的MapReduce任务代码:hadoop jar share... 统计word统计，统计文件里面每一个文件出现的次数！一．先进入到hadoop-2.8.2目录2． 在当前目录下建立input目录3. 把etc/hadoop下的所有xml文件copy到input目录下. 这些xml就是我们要统计的文本。经过查看，发现input下文件已经过来了。使用ll或ls都可以查看一下。4. 执行hadoop下的MapReduce任务代码:hadoop jar share...
- 随着微服务的出现的，需要一个注册中心，注册微服务。hadoop黄色大象毛绒玩具叫做Hadoop• Zookeeper 可以被用作注册中心。• Zookeeper 是 Hadoop 生态系统的一员。• 构建 Zookeeper 集群的时候，使用的服务器最好是奇数台。这可能是把ZooKeeper概念讲的最清楚的一篇文章相信大家对 ZooKeeper 应该不算陌生，但是你真的了解 ZooKeepe... 随着微服务的出现的，需要一个注册中心，注册微服务。hadoop黄色大象毛绒玩具叫做Hadoop• Zookeeper 可以被用作注册中心。• Zookeeper 是 Hadoop 生态系统的一员。• 构建 Zookeeper 集群的时候，使用的服务器最好是奇数台。这可能是把ZooKeeper概念讲的最清楚的一篇文章相信大家对 ZooKeeper 应该不算陌生，但是你真的了解 ZooKeepe...
- DWS支持sql on hadoop（hdfs）能力，在8.0版本支持只读表，在8.1.1引入了只写外表（紧支持orc只写文件），同时也支持分区表的只写，本文测试验证只写外表的分区能力。 DWS支持sql on hadoop（hdfs）能力，在8.0版本支持只读表，在8.1.1引入了只写外表（紧支持orc只写文件），同时也支持分区表的只写，本文测试验证只写外表的分区能力。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签