- 本文介绍HDFS读写文件的相关原理和实验步骤。搭建HDFS开发环境,分别在master服务器上和Eclipse环境中编写了HDFS写、读代码,在master机上执行了该写、读程序。通过实验了解HDFS读写文件的调用流程,理解HDFS读写文件的原理。 本文介绍HDFS读写文件的相关原理和实验步骤。搭建HDFS开发环境,分别在master服务器上和Eclipse环境中编写了HDFS写、读代码,在master机上执行了该写、读程序。通过实验了解HDFS读写文件的调用流程,理解HDFS读写文件的原理。
- 本文介绍部署HDFS相关原理和实验步骤。理解HDFS体系架构和master/slave架构,学会逐一启动HDFS和统一启动HDFS,并完成在HDFS中新建目录和上传文件。 本文介绍部署HDFS相关原理和实验步骤。理解HDFS体系架构和master/slave架构,学会逐一启动HDFS和统一启动HDFS,并完成在HDFS中新建目录和上传文件。
- 在生产中,如果登录yarn页面,查看application任务日志,发现日志查看不了,该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志,发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576,所以yarn日志聚合不了,导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上,因此,随着时... 在生产中,如果登录yarn页面,查看application任务日志,发现日志查看不了,该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志,发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576,所以yarn日志聚合不了,导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上,因此,随着时...
- FastDFS 是淘宝余庆开发的开源分布式文件系统,采用 C 语言编写,专为互联网场景设计,主打小文件(如图片)存储,具备高可用、高性能、易扩容特性。其核心优势在于无文件分块开销,通过 Socket 通信提升速度,相比 NFS、GFS 等通用分布式文件系统,更聚焦专用存储场景,复杂度低且性能更优。 架构上,FastDFS 由 Tracker Server 和 Storage Server 组成:T FastDFS 是淘宝余庆开发的开源分布式文件系统,采用 C 语言编写,专为互联网场景设计,主打小文件(如图片)存储,具备高可用、高性能、易扩容特性。其核心优势在于无文件分块开销,通过 Socket 通信提升速度,相比 NFS、GFS 等通用分布式文件系统,更聚焦专用存储场景,复杂度低且性能更优。 架构上,FastDFS 由 Tracker Server 和 Storage Server 组成:T
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签