- 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha... 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha...
- Hello，大家好！博主上篇讲解了分区，这篇要讲的是合并操作。如何讲解这个章节呢？首先先对什么是合并进行解释，然后通过案例进行证明。 目录 一. Combiner合并的简单介绍二. 通过图片了解使用Combiner和不使用的区别三. 代码实现3.1 编写Mapper类3.2 编写Reducer类3.3 编写Driver驱动类 四. 对比及结论 ... Hello，大家好！博主上篇讲解了分区，这篇要讲的是合并操作。如何讲解这个章节呢？首先先对什么是合并进行解释，然后通过案例进行证明。 目录 一. Combiner合并的简单介绍二. 通过图片了解使用Combiner和不使用的区别三. 代码实现3.1 编写Mapper类3.2 编写Reducer类3.3 编写Driver驱动类 四. 对比及结论 ...
- 这篇文章是我阅读 MapReduce 论文：《MapReduce: Simplified Data Processing on Large Clusters》的笔记，这篇笔记概述了 MapReduce 是什么，它的工作流程，一些细节问题，以及我的个人理解与思考。 MapReduce 是什么？ MapReduce 是 Google设计的一种用于大规模数据集的分布式模型，... 这篇文章是我阅读 MapReduce 论文：《MapReduce: Simplified Data Processing on Large Clusters》的笔记，这篇笔记概述了 MapReduce 是什么，它的工作流程，一些细节问题，以及我的个人理解与思考。 MapReduce 是什么？ MapReduce 是 Google设计的一种用于大规模数据集的分布式模型，...
- 一、新的变量声明方式 let/const 与var不同，新的变量声明方式带来了一些不一样的特性，其中最重要的两个特性就是提供了块级作用域与不再具备变量提升。 比较var、let和const区别 var、let和const区别 ①、let 声明的变量只在 let 命令所在的代码块内有效。 ②、const 声明一个只读的常量，一旦声明，常量的值就不能改变。 ③、var是在全... 一、新的变量声明方式 let/const 与var不同，新的变量声明方式带来了一些不一样的特性，其中最重要的两个特性就是提供了块级作用域与不再具备变量提升。 比较var、let和const区别 var、let和const区别 ①、let 声明的变量只在 let 命令所在的代码块内有效。 ②、const 声明一个只读的常量，一旦声明，常量的值就不能改变。 ③、var是在全...
- Hello，大家好，在本系列的第一篇博文中，博主已经为大家介绍了MapReduce的相关概念。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,valu... Hello，大家好，在本系列的第一篇博文中，博主已经为大家介绍了MapReduce的相关概念。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,valu...
- 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1.... 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1....
- 本次博主分享的是MapReduce的另一进阶知识计数器应用及数据清洗(ETL)。希望大家能够喜欢 目录 一. 计数器应用1.1 计数器API1.2 计数器案例 二. 简单的数据清洗案例2.1 需求2.2 需求分析2.3 代码实现2.4 运行及结果 一. 计数器应用 Hadoop为每个作业维护若干内置计数器，以描述多项指标。 ... 本次博主分享的是MapReduce的另一进阶知识计数器应用及数据清洗(ETL)。希望大家能够喜欢 目录 一. 计数器应用1.1 计数器API1.2 计数器案例 二. 简单的数据清洗案例2.1 需求2.2 需求分析2.3 代码实现2.4 运行及结果 一. 计数器应用 Hadoop为每个作业维护若干内置计数器，以描述多项指标。 ...
- 上一篇博文讲了Shuffle排序的相关概念以及全排序的操作，这篇博文继续分享的是排序的另一种操作：区内排序。 目录 一. 需求分析二. 代码实现2.1 增加自定义分区类MyPartitioner22.2 在驱动类中添加分区类 三. 运行及其结果 一. 需求分析 基于前一个需求，增加自定义分区类，分区按照省份手机号设置。 1. ... 上一篇博文讲了Shuffle排序的相关概念以及全排序的操作，这篇博文继续分享的是排序的另一种操作：区内排序。 目录 一. 需求分析二. 代码实现2.1 增加自定义分区类MyPartitioner22.2 在驱动类中添加分区类 三. 运行及其结果 一. 需求分析 基于前一个需求，增加自定义分区类，分区按照省份手机号设置。 1. ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录 1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数... 此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录 1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数...
- 上一篇博客《什么是MapReduce(入门篇) 》讲的是WordCount案例在本地的实际操作，这篇讲述的是在集群上的操作过程。 目录 1. 添加打包插件依赖2. 将程序打成jar包，然后拷贝到Hadoop集群中2.1 打包过程2.2 修改不带依赖的jar包名称为wc.jar，并拷贝该jar包到Hadoop集群。 3. 执行WordCount程序... 上一篇博客《什么是MapReduce(入门篇) 》讲的是WordCount案例在本地的实际操作，这篇讲述的是在集群上的操作过程。 目录 1. 添加打包插件依赖2. 将程序打成jar包，然后拷贝到Hadoop集群中2.1 打包过程2.2 修改不带依赖的jar包名称为wc.jar，并拷贝该jar包到Hadoop集群。 3. 执行WordCount程序...
- 上篇博文给大家带来的是分区的介绍以及怎样自定义分区，这次博主为大家带来的是关于排序的博文，希望大家能够喜欢。 目录 一. Shuffle之排序(sort)1.1 排序的简单介绍1.2 排序的分类1.3 自定义排序 二. WritableComparable排序案例2.1 需求2.2 需求分析2.3 编写代码1. FlowBean对象在在需求1基础... 上篇博文给大家带来的是分区的介绍以及怎样自定义分区，这次博主为大家带来的是关于排序的博文，希望大家能够喜欢。 目录 一. Shuffle之排序(sort)1.1 排序的简单介绍1.2 排序的分类1.3 自定义排序 二. WritableComparable排序案例2.1 需求2.2 需求分析2.3 编写代码1. FlowBean对象在在需求1基础...
- Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ... Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ...
- 前面我们讲解了MapReduce的Shuffle机制，那么这篇文章博主继续为大家讲解MapTask,ReduceTask和MapReduce运行机制。 目录 一. MapTask运行机制详解以及Map任务的并行度二. ReduceTask 工作机制以及reduceTask的并行度三. MapReduceshuffle过程四. MapReduce总体工... 前面我们讲解了MapReduce的Shuffle机制，那么这篇文章博主继续为大家讲解MapTask,ReduceTask和MapReduce运行机制。 目录 一. MapTask运行机制详解以及Map任务的并行度二. ReduceTask 工作机制以及reduceTask的并行度三. MapReduceshuffle过程四. MapReduce总体工...
- 前面我们讲解了MapTask,ReduceTask和MapReduce运行机制。，那么这篇文章博主继续为大家讲解OutputFormat数据输出。 目录 一. OutputFormat接口实现类1.1 文本输出TextOutputFormat1.2 SequenceFileOutputFormat1.3 ==自定义OutputFormat== 二... 前面我们讲解了MapTask,ReduceTask和MapReduce运行机制。，那么这篇文章博主继续为大家讲解OutputFormat数据输出。 目录 一. OutputFormat接口实现类1.1 文本输出TextOutputFormat1.2 SequenceFileOutputFormat1.3 ==自定义OutputFormat== 二...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签