- CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。
- Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使... Jmeter压测工具使用之HetuEngine测试 测试场景如图：使用jmeter同时向MRS集群内的两套HetuEngine计算集群进行10并发的压力测试，并将最后的测试结果统一 Jmeter配置测试计划配置线程组1的配置：Hetu JDBC connection Configuration配置：JDBC Request配置：Precise Throughout Timer配置：说明：使...
- 快照是GaussDB(DWS) 集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据，用于还原创建快照时的集群数据。快照存储在OBS中。说明：GaussDB(DWS) 提供了部分免费存储空间，用于存放您的快照数据。当快照数据存储空间超过免费空间大小时，超出部分按照OBS的计费规则进行计费，参见OBS价格详情。免费空间大小是您的集群的总存储空间大小，即单节点存储空间大小 ... 快照是GaussDB(DWS) 集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据，用于还原创建快照时的集群数据。快照存储在OBS中。说明：GaussDB(DWS) 提供了部分免费存储空间，用于存放您的快照数据。当快照数据存储空间超过免费空间大小时，超出部分按照OBS的计费规则进行计费，参见OBS价格详情。免费空间大小是您的集群的总存储空间大小，即单节点存储空间大小 ...
- 数据库集群是由多台主机组成的，当集群中主机上的某些实例发生故障后，为了使GaussDB(DWS)快速地恢复正常，需要将发生故障的实例替换为正常实例。 数据库集群是由多台主机组成的，当集群中主机上的某些实例发生故障后，为了使GaussDB(DWS)快速地恢复正常，需要将发生故障的实例替换为正常实例。
- ECCV2020 通过视觉匹配的方法来做文本识别，解决文档识别中的文本文本识别多样性和泛化性问题。 ECCV2020 通过视觉匹配的方法来做文本识别，解决文档识别中的文本文本识别多样性和泛化性问题。
- 外连接为什么要转为内连接？在查询优化的过程中，内连接的表之间的连接顺序可以随意交换，where或on条件中只涉及单表的条件可以下推到表上作为表的过滤条件；而对于外连接来说，表的连接顺序不能随意交换，约束条件也不能随意的下推。如果可以将外连接转换为内连接，那么就可以简化查询优化过程。 外连接为什么要转为内连接？在查询优化的过程中，内连接的表之间的连接顺序可以随意交换，where或on条件中只涉及单表的条件可以下推到表上作为表的过滤条件；而对于外连接来说，表的连接顺序不能随意交换，约束条件也不能随意的下推。如果可以将外连接转换为内连接，那么就可以简化查询优化过程。
- 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。
- 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码
- 本文解读了《TransFG: A Transformer Architecture for Fine-grained Recognition》，该论文针对细粒度分类任务，提出了对应的TransFG 本文解读了《TransFG: A Transformer Architecture for Fine-grained Recognition》，该论文针对细粒度分类任务，提出了对应的TransFG
- 本文介绍GaussDB(DWS)的数据库视图对象，我们将讨论使用数据库视图的优点和缺点，以及如何使用系统视图解决一些问题。 本文介绍GaussDB(DWS)的数据库视图对象，我们将讨论使用数据库视图的优点和缺点，以及如何使用系统视图解决一些问题。
- Roaring Bitmap（下文简称RBM）是一种高效优秀的位图压缩算法，通过位图能够快速定位一个数值是否在存在，适合大数据查询和关联计算，例如标签筛选、用户画像、去重等场景，目前也被广泛应用在部分大数据平台上。当前GaussDB(DWS)不支持，针对该场景可参考本文方法实现RoaringBitmap的场景替换，结合客户实际业务场景测试，性能也并不比RoaringBitmap差。 Roaring Bitmap（下文简称RBM）是一种高效优秀的位图压缩算法，通过位图能够快速定位一个数值是否在存在，适合大数据查询和关联计算，例如标签筛选、用户画像、去重等场景，目前也被广泛应用在部分大数据平台上。当前GaussDB(DWS)不支持，针对该场景可参考本文方法实现RoaringBitmap的场景替换，结合客户实际业务场景测试，性能也并不比RoaringBitmap差。
- 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或... 使用MRS CDL实现实时数据同步的极致性能- Chetan Kothari 华为印度首席架构师MRS CDL提供从多个RDBMS捕获CDC事件并复制到大数据生态系统的机制，以实现实时数据湖分析和实时DWH场景。解决性能问题是数据复制解决方案解决低延迟、高吞吐量使用情形的关键要求之一。实时数据复制性能通常使用以下两个属性来衡量 吞吐量：在一个时间窗口中可以处理多少GB的事务日志卷、行或...
- 窗口函数是聚集函数的延伸，是更高级的SQL语言操作，主要用于AP场景下对数据进行一些分析、汇总、排序的功能。本文将从窗口函数的基本概念入手，介绍其常用SQL语法和主要的应用场景，同时会讲到在GaussDB(DWS)中使用窗口函数需要考虑的一些因素。 窗口函数是聚集函数的延伸，是更高级的SQL语言操作，主要用于AP场景下对数据进行一些分析、汇总、排序的功能。本文将从窗口函数的基本概念入手，介绍其常用SQL语法和主要的应用场景，同时会讲到在GaussDB(DWS)中使用窗口函数需要考虑的一些因素。
- 文本主要解析Hive添加UDF的源码流程 文本主要解析Hive添加UDF的源码流程
- 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05... 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05...
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签