- 在上节云计算行业应用—大数据@音视频（一）中，我们探讨了随着企业业务发展和产生消费数据量级的增加，大数据技术不断打破原有极限，相关技术不断演进，新的大数据架构层出不穷。本节我们将深入大数据行业应用，从上节讨论到的数据湖出发，结合音视频行业相关业务场景和相关大数据架构，更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据... 在上节云计算行业应用—大数据@音视频（一）中，我们探讨了随着企业业务发展和产生消费数据量级的增加，大数据技术不断打破原有极限，相关技术不断演进，新的大数据架构层出不穷。本节我们将深入大数据行业应用，从上节讨论到的数据湖出发，结合音视频行业相关业务场景和相关大数据架构，更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据...
- 在实际的大数据工程部署中，多个业务部门经常需要运行多个数据应用，在搭建Hadoop集群时，经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租，来进行大数据集群划分和资源管理。 在实际的大数据工程部署中，多个业务部门经常需要运行多个数据应用，在搭建Hadoop集群时，经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租，来进行大数据集群划分和资源管理。
- 使用yarn运行任务，有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。 使用yarn运行任务，有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。
- 本文主要介绍了MapTask和ReduceTask并行度的决定机制 本文主要介绍了MapTask和ReduceTask并行度的决定机制
- 本文主要介绍了两种HBase跨集群数据迁移的方法 本文主要介绍了两种HBase跨集群数据迁移的方法
- MRS 2.x版本集群配置presto查询kudu MRS 2.x版本集群配置presto查询kudu
- MRS集群Hive对接LDAP MRS集群Hive对接LDAP
- JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。 如果客户需要使用额外的jar包来执行sql语句（例如：自定义UDF）则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。 如果客户需要使用额外的jar包来执行sql语句（例如：自定义UDF）则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。
- 操作场景Flume采集文件内容导入到habse前提条件已创建启用Kerberos认证的流集群。已在日志生成节点安装Flume客户端，请参见安装Flume客户端。已配置网络，使日志生成节点与流集群互通。操作步骤(1) 从HDFS客户端拷贝配置文件core-site.xml，hdfs-site.xml到Flume Client的配置目录 " /opt/FlumeClient/fusionins... 操作场景Flume采集文件内容导入到habse前提条件已创建启用Kerberos认证的流集群。已在日志生成节点安装Flume客户端，请参见安装Flume客户端。已配置网络，使日志生成节点与流集群互通。操作步骤(1) 从HDFS客户端拷贝配置文件core-site.xml，hdfs-site.xml到Flume Client的配置目录 " /opt/FlumeClient/fusionins...
- Jupyter调用Spark Sql指导 Jupyter调用Spark Sql指导
- 本文用于指导在MRS 2.x版本非kerberos集群中使用Hue连接开启ldap认证的impala 本文用于指导在MRS 2.x版本非kerberos集群中使用Hue连接开启ldap认证的impala
- MRS普通集群Impala开启ldap认证 MRS普通集群Impala开启ldap认证
- Spark内存管理的策略主要分为静态内存管理和统一内存管理两种,本文主要对这两种内存管理策略进行研究 Spark内存管理的策略主要分为静态内存管理和统一内存管理两种,本文主要对这两种内存管理策略进行研究
- 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库，来自俄罗斯的Yandex公司，2016年开源。它独立于Hadoop大数据体系，其最核心的特点是极致压缩率和极速查询性能，能为用户节约大量成本，同时创造更多收益。它提供了兼容标准SQL协议的接口，支持JDBC、ODBC驱动，使用C++语言实现。当然它还有个宏伟的目标：成为世界上最快的分析型数据库，官方测试数据表明... 前言高性能引擎简介ClickHouse是最近这两年非常火的一款开源的分析型数据库，来自俄罗斯的Yandex公司，2016年开源。它独立于Hadoop大数据体系，其最核心的特点是极致压缩率和极速查询性能，能为用户节约大量成本，同时创造更多收益。它提供了兼容标准SQL协议的接口，支持JDBC、ODBC驱动，使用C++语言实现。当然它还有个宏伟的目标：成为世界上最快的分析型数据库，官方测试数据表明...
- MRS 2.x 普通集群通过密码验证访问presto MRS 2.x 普通集群通过密码验证访问presto
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签