- 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy... 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy...
- Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ... Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 在Hadoop分布式环境搭建(简单高效~)这篇博客中,博主在最后为大家带来了HDFS的初体验。但是当时只是尝试测试一下集群是否有错误，因此，本篇博文为大家带来HDFS的文件系统介绍。 在介绍文件系统之前我们首先需要了解HDFS的作用。我们都知道HDFS是Hadoop的一个核心组件，那在Hadoop中HDFS扮演着怎样的一个角色呢？我们可以通过下图直观的了解。... 在Hadoop分布式环境搭建(简单高效~)这篇博客中,博主在最后为大家带来了HDFS的初体验。但是当时只是尝试测试一下集群是否有错误，因此，本篇博文为大家带来HDFS的文件系统介绍。 在介绍文件系统之前我们首先需要了解HDFS的作用。我们都知道HDFS是Hadoop的一个核心组件，那在Hadoop中HDFS扮演着怎样的一个角色呢？我们可以通过下图直观的了解。...
- 此次更新的的博文是关于HDFS的shell的常用命令，希望大家能够喜欢 目录 一. 基本语法二. 命令大全三. 常用命令实操1. 常用命令及其作用对比表2. 常用命令的实际操作 一. 基本语法 bin/hadoop fs 具体命令 or bin/hdfs dfs 具体命令 都是可以的。 二. 命令大全 在虚拟机内输入：bin/hd... 此次更新的的博文是关于HDFS的shell的常用命令，希望大家能够喜欢 目录 一. 基本语法二. 命令大全三. 常用命令实操1. 常用命令及其作用对比表2. 常用命令的实际操作 一. 基本语法 bin/hadoop fs 具体命令 or bin/hdfs dfs 具体命令 都是可以的。 二. 命令大全 在虚拟机内输入：bin/hd...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 基于CentOS6.4环境编译Spark-2.1.0源码 1 写在前面的话 有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示: Spark官网的确是提供了一些Hadoop版本的Spark安装包，但... 基于CentOS6.4环境编译Spark-2.1.0源码 1 写在前面的话 有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示: Spark官网的确是提供了一些Hadoop版本的Spark安装包，但...
- 上一篇博文我们分享的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢？ 此次物品们介绍的是采用I/O流的方式实现数据的上传和下载。 目录 一. HDFS文件上传二. HDFS文件下载三. 定位文件读取 一. HDFS文件上传 需求：把本地d盘上的lisen.txt文件上传到HDFS根目录 1.... 上一篇博文我们分享的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢？ 此次物品们介绍的是采用I/O流的方式实现数据的上传和下载。 目录 一. HDFS文件上传二. HDFS文件下载三. 定位文件读取 一. HDFS文件上传 需求：把本地d盘上的lisen.txt文件上传到HDFS根目录 1....
- 本次博主为大家带来的事Hive常见的属性配置。希望能够帮助大家。 目录 一. Hive数据仓库位置配置二. 查询后信息显示配置三. Hive运行日志信息配置四. 参数配置方式4.1 查看当前所有的配置信息4.2 参数的配置三种方式 一. Hive数据仓库位置配置 1. Default数据仓库的最原始位置是在hdfs上的：/user/hi... 本次博主为大家带来的事Hive常见的属性配置。希望能够帮助大家。 目录 一. Hive数据仓库位置配置二. 查询后信息显示配置三. Hive运行日志信息配置四. 参数配置方式4.1 查看当前所有的配置信息4.2 参数的配置三种方式 一. Hive数据仓库位置配置 1. Default数据仓库的最原始位置是在hdfs上的：/user/hi...
- 此篇博文讲的是Flume的多路复用。 目录 1. 案例需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume-file-flume.conf3. 创建flume-flume-hdfs.conf4. 创建flume-flume-dir.conf5. 执行配置文件6. 启动Hadoop和Hive7. 检查HDFS上数据8. 检查/opt/modul... 此篇博文讲的是Flume的多路复用。 目录 1. 案例需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume-file-flume.conf3. 创建flume-flume-hdfs.conf4. 创建flume-flume-dir.conf5. 执行配置文件6. 启动Hadoop和Hive7. 检查HDFS上数据8. 检查/opt/modul...
- 本篇博文，博主为大家介绍Yarn调度器。 目录 一. Yarn调度器(Scheduler)介绍1.1 FIFO Scheduler （队列调度器）1.2 capacity scheduler（容量调度器，apache版本默认使用的调度器）1.3 Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）1.4 小结 二. yarn... 本篇博文，博主为大家介绍Yarn调度器。 目录 一. Yarn调度器(Scheduler)介绍1.1 FIFO Scheduler （队列调度器）1.2 capacity scheduler（容量调度器，apache版本默认使用的调度器）1.3 Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）1.4 小结 二. yarn...
- 博主上篇的文章讲的是伪分布式部署，那么接下来进行分布时的教学，先从搭建集群开始，为分布式开发环境做准备。 目录 1. 克隆虚拟机2. 更改系统的mac地址3. 更改网卡信息4. 更改主机名5. 添加别名6. 关闭防火墙7. 关闭selinux8. SCP远程文件拷贝9. SSH 远程登录1. 基于密码的登录2. 无密钥配置(免密登录) 10. 总... 博主上篇的文章讲的是伪分布式部署，那么接下来进行分布时的教学，先从搭建集群开始，为分布式开发环境做准备。 目录 1. 克隆虚拟机2. 更改系统的mac地址3. 更改网卡信息4. 更改主机名5. 添加别名6. 关闭防火墙7. 关闭selinux8. SCP远程文件拷贝9. SSH 远程登录1. 基于密码的登录2. 无密钥配置(免密登录) 10. 总...
- 因为在上期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较！因此,本次博主为大家带来的就是对HDFS的优缺点进行分析。 目录 一. HDFS的优点1. 高容错性2. 适合处理大数据3. 实用性强 二. HDFS的缺点1. 不适合低延时数据访问2. 无法高效的对大量小文件进行存储3. 不支持并发写入、文件... 因为在上期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较！因此,本次博主为大家带来的就是对HDFS的优缺点进行分析。 目录 一. HDFS的优点1. 高容错性2. 适合处理大数据3. 实用性强 二. HDFS的缺点1. 不适合低延时数据访问2. 无法高效的对大量小文件进行存储3. 不支持并发写入、文件...
- 在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，在此，我们首先来介绍下数据采集部分所用的的开源框架——Flume。 目录 1. Flume定义2. Flume的优点3. Flume采集系... 在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，在此，我们首先来介绍下数据采集部分所用的的开源框架——Flume。 目录 1. Flume定义2. Flume的优点3. Flume采集系...
- 此篇博文讲的是Flume的聚合。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume1-logger-flume.conf3. 创建flume2-netcat-flume.conf4. 创建flume3-flume-logger.conf5. 执行配置文件6. 在hadoop003上向/opt/module目录下的group.l... 此篇博文讲的是Flume的聚合。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume1-logger-flume.conf3. 创建flume2-netcat-flume.conf4. 创建flume3-flume-logger.conf5. 执行配置文件6. 在hadoop003上向/opt/module目录下的group.l...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
“智能运维新视野”系列直播 —— 云监控技术深度实践2025/08/29 周五 15:00-16:00
星璇 华为云监控产品经理
本期直播深度解析全栈监控技术实践，揭秘华为云、头部企业如何通过智能监控实现业务零中断，分享高可用系统背后的“鹰眼系统”。即刻预约，解锁数字化转型的运维密码！
回顾中
热门标签