- 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架，核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，使用 mobaxterm 工具，连接创建的 4 个节点，进行环境配置，并执行 hdfs 命令查看 OBS 文件，实现 Hadoop 集群与OBS 互联，完成实验内容。 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架，核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务，提供后续集群的搭建基础，使用 mobaxterm 工具，连接创建的 4 个节点，进行环境配置，并执行 hdfs 命令查看 OBS 文件，实现 Hadoop 集群与OBS 互联，完成实验内容。
- 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务，搭建开源Hadoop集群。在实验中，购买并配置了ECS服务作为Hadoop集群的主机，然后购买了OBS服务并获取了AK、SK信息，用于连接集群和OBS服务。本次实验搭建了Hadoop集群，并配置了HDFS分布式文件系统。通过本实验，深入了解了Hadoop集群的搭建方法，以及如何将其与华为云服务互联。 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务，搭建开源Hadoop集群。在实验中，购买并配置了ECS服务作为Hadoop集群的主机，然后购买了OBS服务并获取了AK、SK信息，用于连接集群和OBS服务。本次实验搭建了Hadoop集群，并配置了HDFS分布式文件系统。通过本实验，深入了解了Hadoop集群的搭建方法，以及如何将其与华为云服务互联。
- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 Python 中的 GIL（全局解释器锁） 简介在Python中，GIL是一个广为人知的概念，它影响了Python解释器的多线程执行。GIL（Global Interpreter Lock）是一种机制，... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 Python 中的 GIL（全局解释器锁） 简介在Python中，GIL是一个广为人知的概念，它影响了Python解释器的多线程执行。GIL（Global Interpreter Lock）是一种机制，...
- Hive工作流程适用场景Hive适用于非结构化数据的离线分析统计。Hive的执行延迟比较高，适用于对实时性要求不高的场合。Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合。Hive常用的存储格式：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE默认存储格式为TEXTFILE，按行存储，内容为普通的文本格式。TEXTFILE支持使用Gzip压缩，但... Hive工作流程适用场景Hive适用于非结构化数据的离线分析统计。Hive的执行延迟比较高，适用于对实时性要求不高的场合。Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合。Hive常用的存储格式：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE默认存储格式为TEXTFILE，按行存储，内容为普通的文本格式。TEXTFILE支持使用Gzip压缩，但...
- 【Hadoop】【Yarn】NodeManager资源本地化实现 【Hadoop】【Yarn】NodeManager资源本地化实现
- 【Hadoop】【Yarn】NodeManager之Container是如何启动的 【Hadoop】【Yarn】NodeManager之Container是如何启动的
- 【Hadoop】【JHS】2-JHS服务之JobHistory源码解析 【Hadoop】【JHS】2-JHS服务之JobHistory源码解析
- 【Hadoop】【ResourceManager】中的作业Token刷新源码分析 【Hadoop】【ResourceManager】中的作业Token刷新源码分析
- Hadoop集群搭建配置教程 Hadoop集群搭建配置教程
- HDFS之Java客户端操作 HDFS之Java客户端操作
- HDFS常见的Shell操作 HDFS常见的Shell操作
- Azkaban初认识 Azkaban初认识
- Sqoop的简单使用案例之数据导出 Sqoop的简单使用案例之数据导出
- Sqoop的简单使用案例之数据导入 Sqoop的简单使用案例之数据导入
- Sqoop初认识及安装 Sqoop初认识及安装
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签