- 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架，核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，使用 mobaxterm 工具，连接创建的 4 个节点，进行环境配置，并执行 hdfs 命令查看 OBS 文件，实现 Hadoop 集群与OBS 互联，完成实验内容。 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架，核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，使用 mobaxterm 工具，连接创建的 4 个节点，进行环境配置，并执行 hdfs 命令查看 OBS 文件，实现 Hadoop 集群与OBS 互联，完成实验内容。
- 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务，搭建开源Hadoop集群。在实验中，购买并配置了ECS服务作为Hadoop集群的主机，然后购买了OBS服务并获取了AK、SK信息，用于连接集群和OBS服务。本次实验搭建了Hadoop集群，并配置了HDFS分布式文件系统。通过本实验，深入了解了Hadoop集群的搭建方法，以及如何将其与华为云服务互联。 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务，搭建开源Hadoop集群。在实验中，购买并配置了ECS服务作为Hadoop集群的主机，然后购买了OBS服务并获取了AK、SK信息，用于连接集群和OBS服务。本次实验搭建了Hadoop集群，并配置了HDFS分布式文件系统。通过本实验，深入了解了Hadoop集群的搭建方法，以及如何将其与华为云服务互联。
- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 Python 中的 GIL（全局解释器锁） 简介在Python中，GIL是一个广为人知的概念，它影响了Python解释器的多线程执行。GIL（Global Interpreter Lock）是一种机制，... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 Python 中的 GIL（全局解释器锁） 简介在Python中，GIL是一个广为人知的概念，它影响了Python解释器的多线程执行。GIL（Global Interpreter Lock）是一种机制，...
- Hive工作流程适用场景Hive适用于非结构化数据的离线分析统计。Hive的执行延迟比较高，适用于对实时性要求不高的场合。Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合。Hive常用的存储格式：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE默认存储格式为TEXTFILE，按行存储，内容为普通的文本格式。TEXTFILE支持使用Gzip压缩，但... Hive工作流程适用场景Hive适用于非结构化数据的离线分析统计。Hive的执行延迟比较高，适用于对实时性要求不高的场合。Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合。Hive常用的存储格式：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE默认存储格式为TEXTFILE，按行存储，内容为普通的文本格式。TEXTFILE支持使用Gzip压缩，但...
- 【Hadoop】【Yarn】NodeManager资源本地化实现 【Hadoop】【Yarn】NodeManager资源本地化实现
- 【Hadoop】【Yarn】NodeManager之Container是如何启动的 【Hadoop】【Yarn】NodeManager之Container是如何启动的
- 【Hadoop】【JHS】2-JHS服务之JobHistory源码解析 【Hadoop】【JHS】2-JHS服务之JobHistory源码解析
- 【Hadoop】【ResourceManager】中的作业Token刷新源码分析 【Hadoop】【ResourceManager】中的作业Token刷新源码分析
- Hadoop集群搭建配置教程 Hadoop集群搭建配置教程
- HDFS之Java客户端操作 HDFS之Java客户端操作
- HDFS常见的Shell操作 HDFS常见的Shell操作
- Azkaban初认识 Azkaban初认识
- Sqoop的简单使用案例之数据导出 Sqoop的简单使用案例之数据导出
- Sqoop的简单使用案例之数据导入 Sqoop的简单使用案例之数据导入
- Sqoop初认识及安装 Sqoop初认识及安装
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签