- 【Hadoop】【Yarn】Yarn的web 接口实现 【Hadoop】【Yarn】Yarn的web 接口实现
- Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread.... Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread....
- 【Hadoop】【Yarn】NodeManager启动源码分析 【Hadoop】【Yarn】NodeManager启动源码分析
- ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。 ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。
- Hadoop开启Yarn的日志监控功能 Hadoop开启Yarn的日志监控功能
- 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.cn/domains... 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.cn/domains...
- 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。
- MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的... MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的...
- 【Hadoop】【Yarn】Yarn中的资源隔离（转载） 【Hadoop】【Yarn】Yarn中的资源隔离（转载）
- 本节书摘来自华章计算机《TypeScript实战指南》一书中的第1章，第1.2.2节，作者是胡桓铭。 本节书摘来自华章计算机《TypeScript实战指南》一书中的第1章，第1.2.2节，作者是胡桓铭。
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.6节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.6节，作者是朱凯。
- 在大数据领域，Hadoop集群作为企业级数据处理的基石，早已从单一团队专用走向多租户共享模式。尤其在金融、电商等高并发场景中，多个业务线（如实时推荐、风控分析、日志处理）共用同一集群成为常态。但共享带来便利的同时，也埋下了隐患：去年我负责的某电商平台Hadoop集群，就因营销团队突发流量高峰，导致夜间ETL任务集体超时，直接影响次日经营报表输出。这让我深刻意识到，资源隔离不是技术选配，而是多... 在大数据领域，Hadoop集群作为企业级数据处理的基石，早已从单一团队专用走向多租户共享模式。尤其在金融、电商等高并发场景中，多个业务线（如实时推荐、风控分析、日志处理）共用同一集群成为常态。但共享带来便利的同时，也埋下了隐患：去年我负责的某电商平台Hadoop集群，就因营销团队突发流量高峰，导致夜间ETL任务集体超时，直接影响次日经营报表输出。这让我深刻意识到，资源隔离不是技术选配，而是多...
- Hadoop 3.x 运行自带的 WordCount 报错 Container exited with a non-zero exit code 1在使用 Hadoop 3.x 版本运行经典的 MapReduce 示例程序 WordCount 时，有时会遇到错误信息：“Container exited with a non-zero exit code 1”。本文将探讨该问题的原因及解决方法... Hadoop 3.x 运行自带的 WordCount 报错 Container exited with a non-zero exit code 1在使用 Hadoop 3.x 版本运行经典的 MapReduce 示例程序 WordCount 时，有时会遇到错误信息：“Container exited with a non-zero exit code 1”。本文将探讨该问题的原因及解决方法...
- 在本篇文章中，我将带你逐步完成如何使用Yarn生成Grafana模板的过程。Grafana是一款开源的数据可视化工具，我们可以使用它来创建各种仪表板，以便更好地监控和展示数据。请跟随我一起来完成这一过程。 整体流程概览在开始之前，我们先来看看整个操作的流程。以下是步骤的概述，以表格形式展示：步骤描述1安装Node.js和Yarn2创建新的Yarn项目3安装Grafana的API客户端库4编写... 在本篇文章中，我将带你逐步完成如何使用Yarn生成Grafana模板的过程。Grafana是一款开源的数据可视化工具，我们可以使用它来创建各种仪表板，以便更好地监控和展示数据。请跟随我一起来完成这一过程。 整体流程概览在开始之前，我们先来看看整个操作的流程。以下是步骤的概述，以表格形式展示：步骤描述1安装Node.js和Yarn2创建新的Yarn项目3安装Grafana的API客户端库4编写...
- Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签