- 文章目录 一、配置基础环境 （一）三节点集群 （二）关闭与禁用防火墙 1、master节点 2、slave1... 文章目录 一、配置基础环境 （一）三节点集群 （二）关闭与禁用防火墙 1、master节点 2、slave1...
- Hadoop安装文件，可以到Hadoop官网下载，也可以点击这里从百度云盘下载（提取码：99bg），进入该百度云盘链接后，找到Hadoop安装文件hadoop-2.7.1.tar.gz（本教程也可以用于安装Hadoop 2.7.1版本）。 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12... Hadoop安装文件，可以到Hadoop官网下载，也可以点击这里从百度云盘下载（提取码：99bg），进入该百度云盘链接后，找到Hadoop安装文件hadoop-2.7.1.tar.gz（本教程也可以用于安装Hadoop 2.7.1版本）。 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12...
- 最近在整理资料的发现了一套以前讲Hadoop时录制的全套的视频，想着与其让它一直带在云盘里没啥用还不如分享出来给想这方面内容的小伙伴。 云盘链接地址如下: 链接：https://pan.baidu.... 最近在整理资料的发现了一套以前讲Hadoop时录制的全套的视频，想着与其让它一直带在云盘里没啥用还不如分享出来给想这方面内容的小伙伴。 云盘链接地址如下: 链接：https://pan.baidu....
- windows环境搭建 1.安装hadoop 将hadoop在Linux中的安装文件解压缩一份。并将此bin目录中的文件覆盖掉解压缩文件中的bin目录。 链接：https://pan.baidu... windows环境搭建 1.安装hadoop 将hadoop在Linux中的安装文件解压缩一份。并将此bin目录中的文件覆盖掉解压缩文件中的bin目录。 链接：https://pan.baidu...
- HDFS(Hadoop Distributed File System)分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上... HDFS(Hadoop Distributed File System)分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上...
- 什么是Hadoop 官网:http://hadoop.apache.org/ HADOOP是apache旗下的一套开源软件平台,HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数... 什么是Hadoop 官网:http://hadoop.apache.org/ HADOOP是apache旗下的一套开源软件平台,HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数...
- 前面项目中我们是创建的java项目来演示的，但是hadoop相关的依赖太多了，不方便，本文通过maven项目来演示HDFS的java API操作 创建maven项目 相关的依赖 <depe... 前面项目中我们是创建的java项目来演示的，但是hadoop相关的依赖太多了，不方便，本文通过maven项目来演示HDFS的java API操作 创建maven项目 相关的依赖 <depe...
- 上篇文件介绍了自定义wordcount案例的实现，本文来介绍下具体的执行流程 流程图 流程说明 1.当客户端提交submit的时候客户端程序会根据我们输入的/wordcount/input地... 上篇文件介绍了自定义wordcount案例的实现，本文来介绍下具体的执行流程 流程图 流程说明 1.当客户端提交submit的时候客户端程序会根据我们输入的/wordcount/input地...
- 创建MapperTask 创建一个java类继承Mapper父类 接口形参说明 参数说明K1默认是一行一行读取的偏移量的类型V1默认读取的一行的类型K2用户处理完成后返回的数据的key的类型V... 创建MapperTask 创建一个java类继承Mapper父类 接口形参说明 参数说明K1默认是一行一行读取的偏移量的类型V1默认读取的一行的类型K2用户处理完成后返回的数据的key的类型V...
- 一、环境准备 1.jdk hadoop安装前必须要安装好jdk环境，版本最好用jdk8。 2.节点准备 准备四个节点 节点描述hadoop-node1(192.168.88.61)N... 一、环境准备 1.jdk hadoop安装前必须要安装好jdk环境，版本最好用jdk8。 2.节点准备 准备四个节点 节点描述hadoop-node1(192.168.88.61)N...
- hadoop1.0 Hadoop1.0即第一代Hadoop，指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统... hadoop1.0 Hadoop1.0即第一代Hadoop，指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统...
- NameNode的职责 序号职责1负责客户端请求的响应2元数据的管理（查询，修改） 数据存储的形式 NameNode中的元数据信息以三种形式存储，如下 序号方式说明1内存元数据(NameSyst... NameNode的职责 序号职责1负责客户端请求的响应2元数据的管理（查询，修改） 数据存储的形式 NameNode中的元数据信息以三种形式存储，如下 序号方式说明1内存元数据(NameSyst...
- 本文是基于hadoop2.6.5的源码分析。 客户端源码分析 启动的客户端代码 public static void main(String[] args) throws Exception {... 本文是基于hadoop2.6.5的源码分析。 客户端源码分析 启动的客户端代码 public static void main(String[] args) throws Exception {...
- 文章目录 零、本讲学习目标一、RDD算子二、准备工作1、准备本地系统文件2、准备HDFS系统文件 （二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark... 文章目录 零、本讲学习目标一、RDD算子二、准备工作1、准备本地系统文件2、准备HDFS系统文件 （二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark...
- 文章目录 零、本讲学习目标一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征 二、做好准备工作（一）准备文件1、准备本地系统文件2、准备HDFS系统文件 （二）启动Sp... 文章目录 零、本讲学习目标一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征 二、做好准备工作（一）准备文件1、准备本地系统文件2、准备HDFS系统文件 （二）启动Sp...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签