- 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压
- FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议，每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作，如：文件上传，文件下载，目录查看，目录创建，目录删除，文件权限修改等... FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议，每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作，如：文件上传，文件下载，目录查看，目录创建，目录删除，文件权限修改等...
- 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu... 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu...
- Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比 Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比
- 开源Kettle版本不支持Kerberos认证的Hadoop集群，本文通过简单的插件改造，使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件 开源Kettle版本不支持Kerberos认证的Hadoop集群，本文通过简单的插件改造，使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件
- 使用yarn运行任务，有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。 使用yarn运行任务，有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。
- 高性能利器！华为云MRS ClickHouse重磅推出！ 高性能利器！华为云MRS ClickHouse重磅推出！
- MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ... MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ...
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.cn/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.cn/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v... 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v...
- MRS导入数据概述MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)支持在相同网络中，配置一... MRS导入数据概述MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)支持在相同网络中，配置一...
- 背景：MRS集群创建时指定VPC及下属子网，而且后期无法修改。其中子网可用IP数受限于网段与掩码，实际可用IP数用户在创建子网/子网详情可以查看：如果业务规模发生大规模增长，出现子网IP不够的情况导致MRS集群将无法扩容，对业务产生极大限制。 解决方案 默认情况下，同一个VPC的所有子网内的弹性云服务器均可以进行通信，不同VPC的弹性云服务器不能进行通信。用户也可以通过网络ACL设置来改变... 背景：MRS集群创建时指定VPC及下属子网，而且后期无法修改。其中子网可用IP数受限于网段与掩码，实际可用IP数用户在创建子网/子网详情可以查看：如果业务规模发生大规模增长，出现子网IP不够的情况导致MRS集群将无法扩容，对业务产生极大限制。 解决方案 默认情况下，同一个VPC的所有子网内的弹性云服务器均可以进行通信，不同VPC的弹性云服务器不能进行通信。用户也可以通过网络ACL设置来改变...
- 华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案，支持大数据实时分析、离线分析、交互查询、实时检索等应用场景，助力政企释放海量数据价值，实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！ 华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案，支持大数据实时分析、离线分析、交互查询、实时检索等应用场景，助力政企释放海量数据价值，实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！
- 用户需要将分散在各个系统的数据统一处理，将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具，即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具，其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。 用户需要将分散在各个系统的数据统一处理，将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具，即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具，其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。
- 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库，来自俄罗斯的Yandex公司，2016年开源。它独立于Hadoop大数据体系，其最核心的特点是极致压缩率和极速查询性能，能为用户节约大量成本，同时创造更多收益。它提供了兼容标准SQL协议的接口，支持JDBC、ODBC驱动，使用C++语言实现。当然它还有个宏伟的目标：成为世界上最快的分析型数据库，官方测试数据表明... 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库，来自俄罗斯的Yandex公司，2016年开源。它独立于Hadoop大数据体系，其最核心的特点是极致压缩率和极速查询性能，能为用户节约大量成本，同时创造更多收益。它提供了兼容标准SQL协议的接口，支持JDBC、ODBC驱动，使用C++语言实现。当然它还有个宏伟的目标：成为世界上最快的分析型数据库，官方测试数据表明...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签