- 这篇文章是我阅读 MapReduce 论文：《MapReduce: Simplified Data Processing on Large Clusters》的笔记，这篇笔记概述了 MapReduce 是什么，它的工作流程，一些细节问题，以及我的个人理解与思考。 MapReduce 是什么？ MapReduce 是 Google设计的一种用于大规模数据集的分布式模型，... 这篇文章是我阅读 MapReduce 论文：《MapReduce: Simplified Data Processing on Large Clusters》的笔记，这篇笔记概述了 MapReduce 是什么，它的工作流程，一些细节问题，以及我的个人理解与思考。 MapReduce 是什么？ MapReduce 是 Google设计的一种用于大规模数据集的分布式模型，...
- 一、新的变量声明方式 let/const 与var不同，新的变量声明方式带来了一些不一样的特性，其中最重要的两个特性就是提供了块级作用域与不再具备变量提升。 比较var、let和const区别 var、let和const区别 ①、let 声明的变量只在 let 命令所在的代码块内有效。 ②、const 声明一个只读的常量，一旦声明，常量的值就不能改变。 ③、var是在全... 一、新的变量声明方式 let/const 与var不同，新的变量声明方式带来了一些不一样的特性，其中最重要的两个特性就是提供了块级作用域与不再具备变量提升。 比较var、let和const区别 var、let和const区别 ①、let 声明的变量只在 let 命令所在的代码块内有效。 ②、const 声明一个只读的常量，一旦声明，常量的值就不能改变。 ③、var是在全...
- Hello，大家好，在本系列的第一篇博文中，博主已经为大家介绍了MapReduce的相关概念。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,valu... Hello，大家好，在本系列的第一篇博文中，博主已经为大家介绍了MapReduce的相关概念。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,valu...
- 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1.... 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1....
- 本次博主分享的是MapReduce的另一进阶知识计数器应用及数据清洗(ETL)。希望大家能够喜欢 目录 一. 计数器应用1.1 计数器API1.2 计数器案例 二. 简单的数据清洗案例2.1 需求2.2 需求分析2.3 代码实现2.4 运行及结果 一. 计数器应用 Hadoop为每个作业维护若干内置计数器，以描述多项指标。 ... 本次博主分享的是MapReduce的另一进阶知识计数器应用及数据清洗(ETL)。希望大家能够喜欢 目录 一. 计数器应用1.1 计数器API1.2 计数器案例 二. 简单的数据清洗案例2.1 需求2.2 需求分析2.3 代码实现2.4 运行及结果 一. 计数器应用 Hadoop为每个作业维护若干内置计数器，以描述多项指标。 ...
- 上一篇博文讲了Shuffle排序的相关概念以及全排序的操作，这篇博文继续分享的是排序的另一种操作：区内排序。 目录 一. 需求分析二. 代码实现2.1 增加自定义分区类MyPartitioner22.2 在驱动类中添加分区类 三. 运行及其结果 一. 需求分析 基于前一个需求，增加自定义分区类，分区按照省份手机号设置。 1. ... 上一篇博文讲了Shuffle排序的相关概念以及全排序的操作，这篇博文继续分享的是排序的另一种操作：区内排序。 目录 一. 需求分析二. 代码实现2.1 增加自定义分区类MyPartitioner22.2 在驱动类中添加分区类 三. 运行及其结果 一. 需求分析 基于前一个需求，增加自定义分区类，分区按照省份手机号设置。 1. ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录 1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数... 此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录 1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数...
- 上一篇博客《什么是MapReduce(入门篇) 》讲的是WordCount案例在本地的实际操作，这篇讲述的是在集群上的操作过程。 目录 1. 添加打包插件依赖2. 将程序打成jar包，然后拷贝到Hadoop集群中2.1 打包过程2.2 修改不带依赖的jar包名称为wc.jar，并拷贝该jar包到Hadoop集群。 3. 执行WordCount程序... 上一篇博客《什么是MapReduce(入门篇) 》讲的是WordCount案例在本地的实际操作，这篇讲述的是在集群上的操作过程。 目录 1. 添加打包插件依赖2. 将程序打成jar包，然后拷贝到Hadoop集群中2.1 打包过程2.2 修改不带依赖的jar包名称为wc.jar，并拷贝该jar包到Hadoop集群。 3. 执行WordCount程序...
- 上篇博文给大家带来的是分区的介绍以及怎样自定义分区，这次博主为大家带来的是关于排序的博文，希望大家能够喜欢。 目录 一. Shuffle之排序(sort)1.1 排序的简单介绍1.2 排序的分类1.3 自定义排序 二. WritableComparable排序案例2.1 需求2.2 需求分析2.3 编写代码1. FlowBean对象在在需求1基础... 上篇博文给大家带来的是分区的介绍以及怎样自定义分区，这次博主为大家带来的是关于排序的博文，希望大家能够喜欢。 目录 一. Shuffle之排序(sort)1.1 排序的简单介绍1.2 排序的分类1.3 自定义排序 二. WritableComparable排序案例2.1 需求2.2 需求分析2.3 编写代码1. FlowBean对象在在需求1基础...
- Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ... Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ...
- 前面我们讲解了MapReduce的Shuffle机制，那么这篇文章博主继续为大家讲解MapTask,ReduceTask和MapReduce运行机制。 目录 一. MapTask运行机制详解以及Map任务的并行度二. ReduceTask 工作机制以及reduceTask的并行度三. MapReduceshuffle过程四. MapReduce总体工... 前面我们讲解了MapReduce的Shuffle机制，那么这篇文章博主继续为大家讲解MapTask,ReduceTask和MapReduce运行机制。 目录 一. MapTask运行机制详解以及Map任务的并行度二. ReduceTask 工作机制以及reduceTask的并行度三. MapReduceshuffle过程四. MapReduce总体工...
- 前面我们讲解了MapTask,ReduceTask和MapReduce运行机制。，那么这篇文章博主继续为大家讲解OutputFormat数据输出。 目录 一. OutputFormat接口实现类1.1 文本输出TextOutputFormat1.2 SequenceFileOutputFormat1.3 ==自定义OutputFormat== 二... 前面我们讲解了MapTask,ReduceTask和MapReduce运行机制。，那么这篇文章博主继续为大家讲解OutputFormat数据输出。 目录 一. OutputFormat接口实现类1.1 文本输出TextOutputFormat1.2 SequenceFileOutputFormat1.3 ==自定义OutputFormat== 二...
- 相信大家看了博主上一篇博客《什么是MapReduce 》后,对MapReduce的概念有了更深的认知!本篇博客,博主给大家带来的是MapReduce的一个简单的实战项目——统计输出给定的文本文档每一个单词出现的总次数。 目录 1. 创建Maven工程2. 编写程序2.1 编写Mapper类2.2 编写Reducer类2.3 编写Driver驱动类2.... 相信大家看了博主上一篇博客《什么是MapReduce 》后,对MapReduce的概念有了更深的认知!本篇博客,博主给大家带来的是MapReduce的一个简单的实战项目——统计输出给定的文本文档每一个单词出现的总次数。 目录 1. 创建Maven工程2. 编写程序2.1 编写Mapper类2.2 编写Reducer类2.3 编写Driver驱动类2....
- 此片博文是上篇博文的拓展进阶部分。 目录 1. 需求2. 代码实现3. 运行及结果 1. 需求 对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。 1. 输入数据 2. 期望输出数据 都是合法的数据 2. 代码实现 1. 定义一个bean，用来记录日志数据中的各数据字段 pack... 此片博文是上篇博文的拓展进阶部分。 目录 1. 需求2. 代码实现3. 运行及结果 1. 需求 对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。 1. 输入数据 2. 期望输出数据 都是合法的数据 2. 代码实现 1. 定义一个bean，用来记录日志数据中的各数据字段 pack...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签