- 在学习过了HDFS架构和Hadoop的配置管理后，现在学习MapReduce应用程序的编写和管理。首先简单介绍一下MapReduce框架。 MapReduce是一个易于编写程序的软件框架，这些应用程序以可靠的、容错的模式并行的运行在很大规模的商用硬件集群上（数以千计的节点），处理超大数量的数据（超过TB的数据集）。一个MapReduc... 在学习过了HDFS架构和Hadoop的配置管理后，现在学习MapReduce应用程序的编写和管理。首先简单介绍一下MapReduce框架。 MapReduce是一个易于编写程序的软件框架，这些应用程序以可靠的、容错的模式并行的运行在很大规模的商用硬件集群上（数以千计的节点），处理超大数量的数据（超过TB的数据集）。一个MapReduc...
- 这个实例解决问题是：计算一天的每个小时中，网站新增评论长度的中位数和这些长度之间的标准差。代码如下： [java] view plain copy 这个实例解决问题是：计算一天的每个小时中，网站新增评论长度的中位数和这些长度之间的标准差。代码如下： [java] view plain copy
- 在网站的数据统计中，有这样一种情况，即统计某个用户发表的评论数、第一次发表评论的时间和最后一次发表评论的时间。下面代码就是解决comments.xml的这个问题。代码如下： [java] view plain copy 在网站的数据统计中，有这样一种情况，即统计某个用户发表的评论数、第一次发表评论的时间和最后一次发表评论的时间。下面代码就是解决comments.xml的这个问题。代码如下： [java] view plain copy
- 这个实例解决问题是：计算一天的每个小时中，网上新增多少条评论，并计算这些评论的平均长度。代码如下： [java] view plain copy 这个实例解决问题是：计算一天的每个小时中，网上新增多少条评论，并计算这些评论的平均长度。代码如下： [java] view plain copy
- HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族（Column Family）。表中由行列确定的存储单元称为一个元素（Cell），每个元素保存了同一份数据的多个版本，由时间戳来标识。 下面就从安装开始........... 1、下载与安装 选择一个 Apache 下载镜像，下载&nb... HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族（Column Family）。表中由行列确定的存储单元称为一个元素（Cell），每个元素保存了同一份数据的多个版本，由时间戳来标识。 下面就从安装开始........... 1、下载与安装 选择一个 Apache 下载镜像，下载&nb...
- 今天开始把MapReduce Design Patterns这本书上的mapreduce例子过一遍，我觉得这本书对学mapreduce编程非常好，把这本书看完了，基本上能遇到的mapreduce问题也都能处理了。下面开始第一篇吧。这个程序是统计一个名为comment.xml中的词频。直接上代码吧。 ... 今天开始把MapReduce Design Patterns这本书上的mapreduce例子过一遍，我觉得这本书对学mapreduce编程非常好，把这本书看完了，基本上能遇到的mapreduce问题也都能处理了。下面开始第一篇吧。这个程序是统计一个名为comment.xml中的词频。直接上代码吧。 ...
- 在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后，现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习。主要讲解Hadoop1.x中的接口和类，也就是org.apache.hadoop.mapreduce包中的接口和类，上面介绍的WordCount作业也是实现了这个包中的接口和类。首先会介... 在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后，现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习。主要讲解Hadoop1.x中的接口和类，也就是org.apache.hadoop.mapreduce包中的接口和类，上面介绍的WordCount作业也是实现了这个包中的接口和类。首先会介...
- 问题描述： 输入文件格式如下： name1 2 name3 4 name1 6 问题描述： 输入文件格式如下： name1 2 name3 4 name1 6
- 在这篇文章中主要关注MapReduce作业的输入和输出，由于Hadoop版本的变化及本人对这些变化了解的还不够深入，难免有描述不清楚的地方，会在进一步学习后更正不准确的地方。 作业输入 InputFormat描述了MapReduce作业的输入规范。MapReduce框架依靠作业的InputFormat实现： 1.&nb... 在这篇文章中主要关注MapReduce作业的输入和输出，由于Hadoop版本的变化及本人对这些变化了解的还不够深入，难免有描述不清楚的地方，会在进一步学习后更正不准确的地方。 作业输入 InputFormat描述了MapReduce作业的输入规范。MapReduce框架依靠作业的InputFormat实现： 1.&nb...
- 源代码如下： 一、分布式均值与方差计算的mapper #coding=utf-8 '''Created on Feb 21, 2011Machine Learning in Action Chapter 18Map Reduce Job for Hadoop Streaming mrMeanMapper.py@author: Pe... 源代码如下： 一、分布式均值与方差计算的mapper #coding=utf-8 '''Created on Feb 21, 2011Machine Learning in Action Chapter 18Map Reduce Job for Hadoop Streaming mrMeanMapper.py@author: Pe...
- 篇简单剖析MapReduce1.0和MapReduce2.0(yarn)的工作机制。 MapReduce1.0工作原理 运行整体图 作业执行过程 关于作业的执行过程，大致分为：提交、初始化、分配任务、执行任务、更新状态、完成 这6个步骤，可以根据以上运行图，自行考虑在这个作业的执行过程中，以上... 篇简单剖析MapReduce1.0和MapReduce2.0(yarn)的工作机制。 MapReduce1.0工作原理 运行整体图 作业执行过程 关于作业的执行过程，大致分为：提交、初始化、分配任务、执行任务、更新状态、完成 这6个步骤，可以根据以上运行图，自行考虑在这个作业的执行过程中，以上...
- Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病... Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病...
- MapReduce是什么 MapReduce是Hadoop（这种大数据处理生态环境）的编程模型。 既然称为模型，则意味着它有固定的形式。 MapReduce编程模型，就是Hadoop生态环境进行数据分析处理的固定的编程形式。 这种固定的编程形式描述如下： MapReduce任务过程被分为两个阶段：map阶段和reduce... MapReduce是什么 MapReduce是Hadoop（这种大数据处理生态环境）的编程模型。 既然称为模型，则意味着它有固定的形式。 MapReduce编程模型，就是Hadoop生态环境进行数据分析处理的固定的编程形式。 这种固定的编程形式描述如下： MapReduce任务过程被分为两个阶段：map阶段和reduce...
- 作业的提交和监控 Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括： 1. &nbs... 作业的提交和监控 Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括： 1. &nbs...
- 本文译自 Mapreduce Patterns, Algorithms, and Use Cases 在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduce... 本文译自 Mapreduce Patterns, Algorithms, and Use Cases 在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduce...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
【仓颉社区】第36期WORKSHOP2025/09/02 周二 15:05-16:00
华为讲师团
本期仓颉编程语言社区技术沙龙即将开启，我们特邀三位资深专家，为大家带来硬核技术分享与实践经验解析！无论你是仓颉语言的初学者，还是资深开发者，本次直播都将为你带来新的启发和收获！
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中
热门标签