- 最近在整理资料的发现了一套以前讲Hadoop时录制的全套的视频，想着与其让它一直带在云盘里没啥用还不如分享出来给想这方面内容的小伙伴。 云盘链接地址如下: 链接：https://pan.baidu.... 最近在整理资料的发现了一套以前讲Hadoop时录制的全套的视频，想着与其让它一直带在云盘里没啥用还不如分享出来给想这方面内容的小伙伴。 云盘链接地址如下: 链接：https://pan.baidu....
- windows环境搭建 1.安装hadoop 将hadoop在Linux中的安装文件解压缩一份。并将此bin目录中的文件覆盖掉解压缩文件中的bin目录。 链接：https://pan.baidu... windows环境搭建 1.安装hadoop 将hadoop在Linux中的安装文件解压缩一份。并将此bin目录中的文件覆盖掉解压缩文件中的bin目录。 链接：https://pan.baidu...
- HDFS(Hadoop Distributed File System)分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上... HDFS(Hadoop Distributed File System)分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上...
- 什么是Hadoop 官网:http://hadoop.apache.org/ HADOOP是apache旗下的一套开源软件平台,HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数... 什么是Hadoop 官网:http://hadoop.apache.org/ HADOOP是apache旗下的一套开源软件平台,HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数...
- 前面项目中我们是创建的java项目来演示的，但是hadoop相关的依赖太多了，不方便，本文通过maven项目来演示HDFS的java API操作 创建maven项目 相关的依赖 <depe... 前面项目中我们是创建的java项目来演示的，但是hadoop相关的依赖太多了，不方便，本文通过maven项目来演示HDFS的java API操作 创建maven项目 相关的依赖 <depe...
- 上篇文件介绍了自定义wordcount案例的实现，本文来介绍下具体的执行流程 流程图 流程说明 1.当客户端提交submit的时候客户端程序会根据我们输入的/wordcount/input地... 上篇文件介绍了自定义wordcount案例的实现，本文来介绍下具体的执行流程 流程图 流程说明 1.当客户端提交submit的时候客户端程序会根据我们输入的/wordcount/input地...
- 创建MapperTask 创建一个java类继承Mapper父类 接口形参说明 参数说明K1默认是一行一行读取的偏移量的类型V1默认读取的一行的类型K2用户处理完成后返回的数据的key的类型V... 创建MapperTask 创建一个java类继承Mapper父类 接口形参说明 参数说明K1默认是一行一行读取的偏移量的类型V1默认读取的一行的类型K2用户处理完成后返回的数据的key的类型V...
- 一、环境准备 1.jdk hadoop安装前必须要安装好jdk环境，版本最好用jdk8。 2.节点准备 准备四个节点 节点描述hadoop-node1(192.168.88.61)N... 一、环境准备 1.jdk hadoop安装前必须要安装好jdk环境，版本最好用jdk8。 2.节点准备 准备四个节点 节点描述hadoop-node1(192.168.88.61)N...
- hadoop1.0 Hadoop1.0即第一代Hadoop，指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统... hadoop1.0 Hadoop1.0即第一代Hadoop，指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统...
- NameNode的职责 序号职责1负责客户端请求的响应2元数据的管理（查询，修改） 数据存储的形式 NameNode中的元数据信息以三种形式存储，如下 序号方式说明1内存元数据(NameSyst... NameNode的职责 序号职责1负责客户端请求的响应2元数据的管理（查询，修改） 数据存储的形式 NameNode中的元数据信息以三种形式存储，如下 序号方式说明1内存元数据(NameSyst...
- 本文是基于hadoop2.6.5的源码分析。 客户端源码分析 启动的客户端代码 public static void main(String[] args) throws Exception {... 本文是基于hadoop2.6.5的源码分析。 客户端源码分析 启动的客户端代码 public static void main(String[] args) throws Exception {...
- 文章目录 零、本讲学习目标一、RDD算子二、准备工作1、准备本地系统文件2、准备HDFS系统文件 （二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark... 文章目录 零、本讲学习目标一、RDD算子二、准备工作1、准备本地系统文件2、准备HDFS系统文件 （二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark...
- 文章目录 零、本讲学习目标一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征 二、做好准备工作（一）准备文件1、准备本地系统文件2、准备HDFS系统文件 （二）启动Sp... 文章目录 零、本讲学习目标一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征 二、做好准备工作（一）准备文件1、准备本地系统文件2、准备HDFS系统文件 （二）启动Sp...
- 文章目录 零、本讲学习目标一、认识Spark（一）Spark简介（二）Spark官网（三）Spark发展历史（四）Spark的特点1、快速2、易用性3、通用性4、随处运行5、代码简洁（1）采用Ma... 文章目录 零、本讲学习目标一、认识Spark（一）Spark简介（二）Spark官网（三）Spark发展历史（四）Spark的特点1、快速2、易用性3、通用性4、随处运行5、代码简洁（1）采用Ma...
- 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析... 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签