- 此篇博文讲的是Flume的聚合。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume1-logger-flume.conf3. 创建flume2-netcat-flume.conf4. 创建flume3-flume-logger.conf5. 执行配置文件6. 在hadoop003上向/opt/module目录下的group.l... 此篇博文讲的是Flume的聚合。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume1-logger-flume.conf3. 创建flume2-netcat-flume.conf4. 创建flume3-flume-logger.conf5. 执行配置文件6. 在hadoop003上向/opt/module目录下的group.l...
- 当数据科学家需要使用某些软件时，其中一部分我们已经在之前的章节中做过介绍，这些软件涵盖了数据科学家所需要的基础专业内容。实际的工作范畴可能会超越求职时候的工作描述，这也是IT工作的常态之一。这在某种程度上是好的，因为它提供了学习新技能的机会，而这也是数据科学领域最引人入胜的方面之一。 在这一章中，我们会探索数据科学环境中常用的软件。不是所有在这里提到的软件都会在你的工作中用到，但了解... 当数据科学家需要使用某些软件时，其中一部分我们已经在之前的章节中做过介绍，这些软件涵盖了数据科学家所需要的基础专业内容。实际的工作范畴可能会超越求职时候的工作描述，这也是IT工作的常态之一。这在某种程度上是好的，因为它提供了学习新技能的机会，而这也是数据科学领域最引人入胜的方面之一。 在这一章中，我们会探索数据科学环境中常用的软件。不是所有在这里提到的软件都会在你的工作中用到，但了解...
- 1. 概述Hadoop不会去诊断或修复执行慢的任务，相反，它试图检测任务的运行速度是否比预期慢，并启动另一个等效任务作为备份(备份任务称为推测任务)。这个过程在Hadoop中被称为推测执行。在这篇文章中，我们将讨论推测执行 - Hadoop中提高效率的一个重要功能，我们有必要去了解Hadoop中的推测执行是否总是有帮助的，或者我们需要关闭它时如何禁用。2. 什么是推测执行在Hadoop中，M... 1. 概述Hadoop不会去诊断或修复执行慢的任务，相反，它试图检测任务的运行速度是否比预期慢，并启动另一个等效任务作为备份(备份任务称为推测任务)。这个过程在Hadoop中被称为推测执行。在这篇文章中，我们将讨论推测执行 - Hadoop中提高效率的一个重要功能，我们有必要去了解Hadoop中的推测执行是否总是有帮助的，或者我们需要关闭它时如何禁用。2. 什么是推测执行在Hadoop中，M...
- 1. 引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。上图是Yarn的基本架构，其中 ResourceManager 是整个架构的核心组件，负责集群上的资源管理，包括内存、CPU以及集群上的其他资； ApplicationMaster 负责在生命周期内的应用程序调度； NodeManager 负责本节点上资源的供给和隔离；... 1. 引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。上图是Yarn的基本架构，其中 ResourceManager 是整个架构的核心组件，负责集群上的资源管理，包括内存、CPU以及集群上的其他资； ApplicationMaster 负责在生命周期内的应用程序调度； NodeManager 负责本节点上资源的供给和隔离；...
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.4.5节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.4.5节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.1.1节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.1.1节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.8.2节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.8.2节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.2节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.2节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.1节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.1节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第1章，第1.2.2节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第1章，第1.2.2节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《Spark数据分析：基于Python语言（英文版）》一作者是[澳]杰夫瑞·艾文（Jeffrey Aven）。 本节书摘来自华章计算机《Spark数据分析：基于Python语言（英文版）》一作者是[澳]杰夫瑞·艾文（Jeffrey Aven）。
- 我相信每一个集群管理员，在长期管理多个不同体量及应用场景的集群后，都会多少产生情绪。其实这在我看来，是一个很微妙的事，即大家也已经开始人性化的看待每一个集群了。 我相信每一个集群管理员，在长期管理多个不同体量及应用场景的集群后，都会多少产生情绪。其实这在我看来，是一个很微妙的事，即大家也已经开始人性化的看待每一个集群了。
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.3节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.3节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.2节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.2节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.1节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.1节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
上滑加载中
推荐直播
-
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
基于华为云码道，构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品，并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签