- 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架,核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务,提供后续集群的搭建基础,使用 mobaxterm 工具,连接创建的 4 个节点,进行环境配置,并执行 hdfs 命令查看 OBS 文件,实现 Hadoop 集群与OBS 互联,完成实验内容。 本实验的主要内容为搭建 Hadoop 集群。Hadoop 集群是大数据计算框架,核心关键点就是分布式集群的搭建。实验通过购买华为云 OBS 和华为云 ECS 服务,提供后续集群的搭建基础,使用 mobaxterm 工具,连接创建的 4 个节点,进行环境配置,并执行 hdfs 命令查看 OBS 文件,实现 Hadoop 集群与OBS 互联,完成实验内容。
- springboot连接高斯数据库部署–jdbc驱动版本问题本次开发使用的是mybatis-plus+高斯数据库,在本地开发时需要远程连接gauss数据库,由于安全性问题,gauss数据库本身不允许远程访问,需要更改progres.和 pha 配置文件,更改之后才能进行远程访问根据官方文档,配置本地开发使用驱动pom.xml文件<dependency> <groupId>com.hu... springboot连接高斯数据库部署–jdbc驱动版本问题本次开发使用的是mybatis-plus+高斯数据库,在本地开发时需要远程连接gauss数据库,由于安全性问题,gauss数据库本身不允许远程访问,需要更改progres.和 pha 配置文件,更改之后才能进行远程访问根据官方文档,配置本地开发使用驱动pom.xml文件<dependency> <groupId>com.hu...
- 本实验主要介绍了如何安装Spark集群,并使Spark能够读取OBS数据,实现存算分离,提高计算性能。同时,通过编写pyspark脚本,完成了数据清洗和处理,实现了相关任务。整个实验过程详细地描述了每一步的操作,并给出了实验结论。通过本实验,我们能够更好地了解Spark集群的搭建和数据处理的流程,为我们今后的工作打下了良好的基础。 本实验主要介绍了如何安装Spark集群,并使Spark能够读取OBS数据,实现存算分离,提高计算性能。同时,通过编写pyspark脚本,完成了数据清洗和处理,实现了相关任务。整个实验过程详细地描述了每一步的操作,并给出了实验结论。通过本实验,我们能够更好地了解Spark集群的搭建和数据处理的流程,为我们今后的工作打下了良好的基础。
- 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务,搭建开源Hadoop集群。在实验中,购买并配置了ECS服务作为Hadoop集群的主机,然后购买了OBS服务并获取了AK、SK信息,用于连接集群和OBS服务。本次实验搭建了Hadoop集群,并配置了HDFS分布式文件系统。通过本实验,深入了解了Hadoop集群的搭建方法,以及如何将其与华为云服务互联。 本篇实验报告主要介绍了如何通过购买华为云OBS和ECS服务,搭建开源Hadoop集群。在实验中,购买并配置了ECS服务作为Hadoop集群的主机,然后购买了OBS服务并获取了AK、SK信息,用于连接集群和OBS服务。本次实验搭建了Hadoop集群,并配置了HDFS分布式文件系统。通过本实验,深入了解了Hadoop集群的搭建方法,以及如何将其与华为云服务互联。
- 分布式系统是指在多台计算机上执行的程序并通过网络进行通信和协调的系统,它的主要目标是提高性能、可靠性以及扩展性。在云计算时代,分布式系统变得尤为重要,因为它允许资源在不同的物理位置进行分布。 并行计算是一种通过同时执行多个计算任务来提高计算速度的方法。它可以在单个计算机上实现(称为并行计算)或者在多台计算机上实现(称为分布式并行计算)。 分布式系统是指在多台计算机上执行的程序并通过网络进行通信和协调的系统,它的主要目标是提高性能、可靠性以及扩展性。在云计算时代,分布式系统变得尤为重要,因为它允许资源在不同的物理位置进行分布。 并行计算是一种通过同时执行多个计算任务来提高计算速度的方法。它可以在单个计算机上实现(称为并行计算)或者在多台计算机上实现(称为分布式并行计算)。
- 复旦大学2023年春《软件工程》课程大作业依托于华为CodeArt平台和华为云ECS,我们项目组使用CodeArt平台进行项目管理、代码托管、代码检查等,使用华为云ECS快速获取安全、弹性的云服务器实例以部署项目。 复旦大学2023年春《软件工程》课程大作业依托于华为CodeArt平台和华为云ECS,我们项目组使用CodeArt平台进行项目管理、代码托管、代码检查等,使用华为云ECS快速获取安全、弹性的云服务器实例以部署项目。
- 基于ECS,对于“多个数组排序”的任务不均衡案例进行MPI编程实现,并探索不同块划分、线程数对算法运行时间的影响。 基于ECS,对于“多个数组排序”的任务不均衡案例进行MPI编程实现,并探索不同块划分、线程数对算法运行时间的影响。
- 华为云之CodeArts IDE的使用体验【玩转华为云】 华为云之CodeArts IDE的使用体验【玩转华为云】
- 华为云 EVS(Elastic Volume Service)是华为云提供的一种弹性块存储服务,它可以为云服务器实例提供高性能、高可靠性的数据块存储,支持多种性能和容量选项。使用华为云 EVS,用户可以根据实际业务需要动态地增加或减少存储容量,而无需停机维护。同时,华为云EVS还支持数据快照和数据复制功能,可以有效保护用户数据安全,并满足灾备和容灾需求。华为云 EVS 还提供了丰富的 API 和控 华为云 EVS(Elastic Volume Service)是华为云提供的一种弹性块存储服务,它可以为云服务器实例提供高性能、高可靠性的数据块存储,支持多种性能和容量选项。使用华为云 EVS,用户可以根据实际业务需要动态地增加或减少存储容量,而无需停机维护。同时,华为云EVS还支持数据快照和数据复制功能,可以有效保护用户数据安全,并满足灾备和容灾需求。华为云 EVS 还提供了丰富的 API 和控
- 华为云之一键安装宝塔面板【玩转华为云】 华为云之一键安装宝塔面板【玩转华为云】
- 在数字化浪潮时代,华为云产品展现出了其卓越的解决方案和对客户业务的巨大价值。以下是一个具体的客户案例,展示了华为云产品在解决客户问题方面的成功经验。公司X,一家全球领先的电子商务平台,面临着巨大的业务增长和日益复杂的技术挑战。他们的旧有基础设施已经无法满足业务的高可用性、弹性扩展和安全性需求。为了应对这些挑战,公司X决定寻求华为云产品的帮助。首先,华为云产品团队与公司X进行了深入的需求分析和... 在数字化浪潮时代,华为云产品展现出了其卓越的解决方案和对客户业务的巨大价值。以下是一个具体的客户案例,展示了华为云产品在解决客户问题方面的成功经验。公司X,一家全球领先的电子商务平台,面临着巨大的业务增长和日益复杂的技术挑战。他们的旧有基础设施已经无法满足业务的高可用性、弹性扩展和安全性需求。为了应对这些挑战,公司X决定寻求华为云产品的帮助。首先,华为云产品团队与公司X进行了深入的需求分析和...
- 环境搭建是训练营实战的第一课,笔记记录了搭建过程,常用的软件,使用中出现的问题及解决方法 环境搭建是训练营实战的第一课,笔记记录了搭建过程,常用的软件,使用中出现的问题及解决方法
- 三分钟学会在EulerOS中安装Python3【玩转华为云】 三分钟学会在EulerOS中安装Python3【玩转华为云】
- 5分钟极速建站体验【玩转华为云】 5分钟极速建站体验【玩转华为云】
- 轻松搭建 Nginx 静态网站【玩转华为云】 轻松搭建 Nginx 静态网站【玩转华为云】
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例
2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制,把香橙派封装为AI推理黑盒服务,构建了分布式远程推理框架,并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架,解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题,真正做到开箱即用,并支持多种笔记本电脑环境、多种不同编程语言,10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发
2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例,介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法,端侧(HarmonyOS平台)一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法,为开发端云一体化应用打下坚实基础。
即将直播
热门标签