- 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD... 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD...
- 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ... 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ...
- 经过前面的学习之后,我们总算是来到了Hive阶段。本篇博客博主将为大家带来Hadoop组件之——Hive的介绍! 首先在开始之前,再让我们通过一张熟悉的图片来回顾一下Hadoop生态系统的组成部分。 目录 基本概念1.1 什么是Hive1.2 为什么使用Hive1.3 Hive的优缺点1. 优点2. 缺点 1.4 Hive架构1.5 执行过程1.6 ... 经过前面的学习之后,我们总算是来到了Hive阶段。本篇博客博主将为大家带来Hadoop组件之——Hive的介绍! 首先在开始之前,再让我们通过一张熟悉的图片来回顾一下Hadoop生态系统的组成部分。 目录 基本概念1.1 什么是Hive1.2 为什么使用Hive1.3 Hive的优缺点1. 优点2. 缺点 1.4 Hive架构1.5 执行过程1.6 ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 本片博文，博主为大家带来的是HDFS文件读写流程 目录 1. HDFS的文件写入过程2. HDFS的文件读取过程 1. HDFS的文件写入过程 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请... 本片博文，博主为大家带来的是HDFS文件读写流程 目录 1. HDFS的文件写入过程2. HDFS的文件读取过程 1. HDFS的文件写入过程 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请...
- 经过上一篇的引导，相信小伙伴们已经可以进行下面的操作了 目录 一. 启动HDFS1. 配置集群2. 启动集群3. 查看集群 二. 启动YARN1. 配置集群2. 启动集群3. 在web上查看 三. 配置历史服务器1. 配置mapred-site.xml2. 启动历史服务器3. 查看历史服务器是否启动4. web查看历史服务器是否启动 四.... 经过上一篇的引导，相信小伙伴们已经可以进行下面的操作了 目录 一. 启动HDFS1. 配置集群2. 启动集群3. 查看集群 二. 启动YARN1. 配置集群2. 启动集群3. 在web上查看 三. 配置历史服务器1. 配置mapred-site.xml2. 启动历史服务器3. 查看历史服务器是否启动4. web查看历史服务器是否启动 四....
- 本次博主为大家带来的是Hive表中数据的加载与导出。希望能够帮助到大家。 目录 一. Hive表中加载数据1.1 直接向分区表中插入数据1.2 通过查询插入数据1.3 多插入模式1.4 查询语句中创建表并加载数据（as select）1.5 创建表时通过location指定加载数据路径 二. Hive表中的数据导出（了解就行）2.1 insert导出2... 本次博主为大家带来的是Hive表中数据的加载与导出。希望能够帮助到大家。 目录 一. Hive表中加载数据1.1 直接向分区表中插入数据1.2 通过查询插入数据1.3 多插入模式1.4 查询语句中创建表并加载数据（as select）1.5 创建表时通过location指定加载数据路径 二. Hive表中的数据导出（了解就行）2.1 insert导出2...
- 在之前的博客《HDFS系列(5) |进行API操作前的准备》 中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客，博主为大家展现HDFS的API操作。 目录 1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断 1. HDFS文件上传... 在之前的博客《HDFS系列(5) |进行API操作前的准备》 中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客，博主为大家展现HDFS的API操作。 目录 1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断 1. HDFS文件上传...
- 本篇博文给大家介绍的是进行JavaAPI操作前的准备工作 目录 一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功 二. maven1. 此步可省略，一般用自带的即可2. 创建一个Maven工程 三. 创建包和类1. 创建2. 输入测试代码 ... 本篇博文给大家介绍的是进行JavaAPI操作前的准备工作 目录 一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功 二. maven1. 此步可省略，一般用自带的即可2. 创建一个Maven工程 三. 创建包和类1. 创建2. 输入测试代码 ...
- 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy... 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy...
- Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ... Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 在Hadoop分布式环境搭建(简单高效~)这篇博客中,博主在最后为大家带来了HDFS的初体验。但是当时只是尝试测试一下集群是否有错误，因此，本篇博文为大家带来HDFS的文件系统介绍。 在介绍文件系统之前我们首先需要了解HDFS的作用。我们都知道HDFS是Hadoop的一个核心组件，那在Hadoop中HDFS扮演着怎样的一个角色呢？我们可以通过下图直观的了解。... 在Hadoop分布式环境搭建(简单高效~)这篇博客中,博主在最后为大家带来了HDFS的初体验。但是当时只是尝试测试一下集群是否有错误，因此，本篇博文为大家带来HDFS的文件系统介绍。 在介绍文件系统之前我们首先需要了解HDFS的作用。我们都知道HDFS是Hadoop的一个核心组件，那在Hadoop中HDFS扮演着怎样的一个角色呢？我们可以通过下图直观的了解。...
- 此次更新的的博文是关于HDFS的shell的常用命令，希望大家能够喜欢 目录 一. 基本语法二. 命令大全三. 常用命令实操1. 常用命令及其作用对比表2. 常用命令的实际操作 一. 基本语法 bin/hadoop fs 具体命令 or bin/hdfs dfs 具体命令 都是可以的。 二. 命令大全 在虚拟机内输入：bin/hd... 此次更新的的博文是关于HDFS的shell的常用命令，希望大家能够喜欢 目录 一. 基本语法二. 命令大全三. 常用命令实操1. 常用命令及其作用对比表2. 常用命令的实际操作 一. 基本语法 bin/hadoop fs 具体命令 or bin/hdfs dfs 具体命令 都是可以的。 二. 命令大全 在虚拟机内输入：bin/hd...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签