- Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力。Sp... Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力。Sp...
- MRS上使用spark提交任务经常引入一些三方依赖包，本文主要介绍几种添加依赖包的方式。 MRS上使用spark提交任务经常引入一些三方依赖包，本文主要介绍几种添加依赖包的方式。
- clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这. clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这.
- Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租... Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租...
- 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求
- CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。
- Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使... Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使...
- 之前发过一篇文章小程序反编译工具在windows系统下的调用脚本提到了Windows平台下的脚本，但是对脚本没有做详细说明。本文就是针对脚本做的讲解。对批处理感兴趣的可以了解下。不会基础也没关系。下面我们进入正题。脚本解读第1行：# WXAPPUNPACKER_PATH 项目路径这段其实在 shell 文件中是注释内容，只不过在翻译这份脚本的时候是边查边写，复制过来没有修改，所以严格说这里属... 之前发过一篇文章小程序反编译工具在windows系统下的调用脚本提到了Windows平台下的脚本，但是对脚本没有做详细说明。本文就是针对脚本做的讲解。对批处理感兴趣的可以了解下。不会基础也没关系。下面我们进入正题。脚本解读第1行：# WXAPPUNPACKER_PATH 项目路径这段其实在 shell 文件中是注释内容，只不过在翻译这份脚本的时候是边查边写，复制过来没有修改，所以严格说这里属...
- 随着数字媒体、物联网等发展的出现，每天产生的数字数据量呈指数级增长。这种情况给创建下一代工具和技术来存储和操作这些数据带来了挑战。这就是 Hadoop Streaming 的用武之地！下面给出的图表描绘了从 2013 年起全球每年产生的数据增长情况。 IDC 估计，到 2025 年，每年产生的数据量将达到 180 Zettabytes！ 随着数字媒体、物联网等发展的出现，每天产生的数字数据量呈指数级增长。这种情况给创建下一代工具和技术来存储和操作这些数据带来了挑战。这就是 Hadoop Streaming 的用武之地！下面给出的图表描绘了从 2013 年起全球每年产生的数据增长情况。 IDC 估计，到 2025 年，每年产生的数据量将达到 180 Zettabytes！
- 在排序和reducer 阶段，reduce 侧连接过程会产生巨大的网络I/O 流量，在这个阶段，相同键的值被聚集在一起。因此，如果您有大量具有数百万个值的不同数据集，您很可能会遇到 OutOfMemory 异常，即您的 RAM 已满，因此溢出。在我看来，使用reduce side join的优点是： 在排序和reducer 阶段，reduce 侧连接过程会产生巨大的网络I/O 流量，在这个阶段，相同键的值被聚集在一起。因此，如果您有大量具有数百万个值的不同数据集，您很可能会遇到 OutOfMemory 异常，即您的 RAM 已满，因此溢出。在我看来，使用reduce side join的优点是：
- 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或... 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或...
- 功能开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种... 功能开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种...
- 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案，以及案例最佳实践。 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案，以及案例最佳实践。
- 本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。 本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。
- MRS IoTDB是华为FusionInsight MRS大数据套件最新推出的时序数据库产品，其领先的设计理念在时序数据库领域展现出越来越强大的竞争力，得到了越来越多的用户认可。为了大家更好地了解MRS IoTDB，本文将会系统地为大家介绍MRS IoTDB的来龙去脉和功能特性，重点为大家介绍MRS IoTDB时序数据库的架构设计与实现，这次先为大家介绍MRS IoTDB的整体架构设计，后... MRS IoTDB是华为FusionInsight MRS大数据套件最新推出的时序数据库产品，其领先的设计理念在时序数据库领域展现出越来越强大的竞争力，得到了越来越多的用户认可。为了大家更好地了解MRS IoTDB，本文将会系统地为大家介绍MRS IoTDB的来龙去脉和功能特性，重点为大家介绍MRS IoTDB时序数据库的架构设计与实现，这次先为大家介绍MRS IoTDB的整体架构设计，后...
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签