- 相信大家看了博主上一篇博客《什么是MapReduce 》后,对MapReduce的概念有了更深的认知!本篇博客,博主给大家带来的是MapReduce的一个简单的实战项目——统计输出给定的文本文档每一个单词出现的总次数。 目录 1. 创建Maven工程2. 编写程序2.1 编写Mapper类2.2 编写Reducer类2.3 编写Driver驱动类2.... 相信大家看了博主上一篇博客《什么是MapReduce 》后,对MapReduce的概念有了更深的认知!本篇博客,博主给大家带来的是MapReduce的一个简单的实战项目——统计输出给定的文本文档每一个单词出现的总次数。 目录 1. 创建Maven工程2. 编写程序2.1 编写Mapper类2.2 编写Reducer类2.3 编写Driver驱动类2....
- 此片博文是上篇博文的拓展进阶部分。 目录 1. 需求2. 代码实现3. 运行及结果 1. 需求 对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。 1. 输入数据 2. 期望输出数据 都是合法的数据 2. 代码实现 1. 定义一个bean，用来记录日志数据中的各数据字段 pack... 此片博文是上篇博文的拓展进阶部分。 目录 1. 需求2. 代码实现3. 运行及结果 1. 需求 对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。 1. 输入数据 2. 期望输出数据 都是合法的数据 2. 代码实现 1. 定义一个bean，用来记录日志数据中的各数据字段 pack...
- 在之前的博客《MapReduce系列(5) | MapReduce任务流程和shuffle机制的简单解析》,博主为大家分享了MapReduce的整体计算任务流程以及shuffle阶段主要的作用。本篇博客博主分享的是Shuffle之Partition分区详解。 目录 一. Shuffle之Partition分区1.1. 默认Partition分区1.2... 在之前的博客《MapReduce系列(5) | MapReduce任务流程和shuffle机制的简单解析》,博主为大家分享了MapReduce的整体计算任务流程以及shuffle阶段主要的作用。本篇博客博主分享的是Shuffle之Partition分区详解。 目录 一. Shuffle之Partition分区1.1. 默认Partition分区1.2...
- Hello，大家好！博主上篇讲解了合并，这篇要讲的是辅助排序。如何讲解这个章节呢？首先先对什么是合并进行解释，然后通过案例进行证明。 目录 一. GroupingComparator分组的简介二. 根据案例分析2.1 需求2.2 需求分析2.3 代码实现1. 定义订单信息OrderBean类2. 编写OrderSortMapper类3. 编写Orde... Hello，大家好！博主上篇讲解了合并，这篇要讲的是辅助排序。如何讲解这个章节呢？首先先对什么是合并进行解释，然后通过案例进行证明。 目录 一. GroupingComparator分组的简介二. 根据案例分析2.1 需求2.2 需求分析2.3 代码实现1. 定义订单信息OrderBean类2. 编写OrderSortMapper类3. 编写Orde...
- 本篇博文，博主为大家介绍Yarn和MapReduce的作业提交全过程。 目录 一. Yarn的作业提交过程1.1 作业提交1.2 作业初始化1.3 任务分配1.4 任务运行1.5 进度和状态更新1.6 作业完成 二. MapReduce的作业提交过程(在此只图片说明) 一. Yarn的作业提交过程 作业提交全过程详解 1.1 作业提交 第... 本篇博文，博主为大家介绍Yarn和MapReduce的作业提交全过程。 目录 一. Yarn的作业提交过程1.1 作业提交1.2 作业初始化1.3 任务分配1.4 任务运行1.5 进度和状态更新1.6 作业完成 二. MapReduce的作业提交过程(在此只图片说明) 一. Yarn的作业提交过程 作业提交全过程详解 1.1 作业提交 第...
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.2.3节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.2.3节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第四章，第4.2节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第四章，第4.2节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
- 1 大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的一个例子是... 1 大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的一个例子是...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签