- GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具，应用于数据迁移、数据同步、数据备份/恢复等场景，在数仓日常维护中使用频率较高，难免遇到性能、功能问题，如果能监控到 GDS 在干什么、业务进度如何，必然能为排故提供有效参考，提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法，配合实例进行说明，最后对PostgreSQL的监控方法进行说明，扩展视野。 GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具，应用于数据迁移、数据同步、数据备份/恢复等场景，在数仓日常维护中使用频率较高，难免遇到性能、功能问题，如果能监控到 GDS 在干什么、业务进度如何，必然能为排故提供有效参考，提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法，配合实例进行说明，最后对PostgreSQL的监控方法进行说明，扩展视野。
- 新时代在移动互联网、电商、IoT等场景会产生大量实时数据，以往的离线批量计算时效性较差，业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据，为了快速获取实时或者准实时数据，数据发生后尽快的达到用户的手中，释放实时或者准实时数据价值，实时数仓的系统性构建需求也应运而生，本文以MYSQL库为例实时同步GaussDB(DWS)场景，分享使用华为云模式下DRS（数据复制服务）构建快速数据接入方案。 新时代在移动互联网、电商、IoT等场景会产生大量实时数据，以往的离线批量计算时效性较差，业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据，为了快速获取实时或者准实时数据，数据发生后尽快的达到用户的手中，释放实时或者准实时数据价值，实时数仓的系统性构建需求也应运而生，本文以MYSQL库为例实时同步GaussDB(DWS)场景，分享使用华为云模式下DRS（数据复制服务）构建快速数据接入方案。
- 【摘要】 GaussDB(DWS)支持的UPSERT功能，可以实时进行数据导入，在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。 【摘要】 GaussDB(DWS)支持的UPSERT功能，可以实时进行数据导入，在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。
- 连接类型介绍想要通过SQL完成各种复杂的查询，则多表之间的连接是必不可少的。连接分为：内连接和外连接两大类，每大类中还可进行细分。为了能更好的说明各种连接之间的区别，下面通过具体示例进行各连接的展示。首先做如下表创建和设置：CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN... 连接类型介绍想要通过SQL完成各种复杂的查询，则多表之间的连接是必不可少的。连接分为：内连接和外连接两大类，每大类中还可进行细分。为了能更好的说明各种连接之间的区别，下面通过具体示例进行各连接的展示。首先做如下表创建和设置：CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN...
- 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码，oc上未同步该密码导致oc平台校验不通过，重置密码之后校验依然不通过；登陆fcd后台重新注册该用户信息，oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问... 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码，oc上未同步该密码导致oc平台校验不通过，重置密码之后校验依然不通过；登陆fcd后台重新注册该用户信息，oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问...
- 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。 本文主要是自动重建功能与REPLACE的使用场景与使用方法的介绍。
- 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求，当前金融，电力等头部公司的分析业务对于实时性，可用性都在不断的提高。要求在极端情况下能快速恢复，快速提供服务。所以做为云时代的数仓，是否有容灾能力成为一个产品成熟度，可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案： 日志同步技术： 列存数... 数仓系统容灾及可靠性的必要性进入云时代数据仓库系统已经不是之前大家理解的对于可靠性没有特别的要求，当前金融，电力等头部公司的分析业务对于实时性，可用性都在不断的提高。要求在极端情况下能快速恢复，快速提供服务。所以做为云时代的数仓，是否有容灾能力成为一个产品成熟度，可用度的一个重要指标。业务常用的容灾方案从GaussDB(DWS)的角度去分析业界目前几种通用的容灾方案： 日志同步技术： 列存数...
- 1.LLVM是什么？LLVM这个名字最早源于底层虚拟机（Low Level VirTual Machine）的首字母缩写，但随着LLVM项目的演进，底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM，广义上讲就是指LLVM本身，它是一套用于开发编译前段与后端的工具套件，狭义上讲LLVM就是指整个编译套件的优化器及后端，而CLANG可以认为是C/C++的前端。 2.LLVM的优势？传统... 1.LLVM是什么？LLVM这个名字最早源于底层虚拟机（Low Level VirTual Machine）的首字母缩写，但随着LLVM项目的演进，底层虚拟机的含义已经不再适用于LLVM。现在谈到LLVM，广义上讲就是指LLVM本身，它是一套用于开发编译前段与后端的工具套件，狭义上讲LLVM就是指整个编译套件的优化器及后端，而CLANG可以认为是C/C++的前端。 2.LLVM的优势？传统...
- 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。 该文章从内核角度介绍负载管控逻辑。重点介绍内存和并发管控。
- 数据库智能运维（DMS）是一个为GaussDB（DWS）数据库提供多维度监控服务的系统，能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控，再经过综合分析和处理，将数据库各类原子指标、派生指标和组合指标呈现给用户，并对数据库主机、实例、业务SQL等进行诊断，及时暴露出数据库中关键故障及性能问题，指导用户进行优化和解决。 数据库智能运维（DMS）是一个为GaussDB（DWS）数据库提供多维度监控服务的系统，能够对数据库运行所依赖的磁盘、网络、操作系统及其运行的关键性能指标进行收集和监控，再经过综合分析和处理，将数据库各类原子指标、派生指标和组合指标呈现给用户，并对数据库主机、实例、业务SQL等进行诊断，及时暴露出数据库中关键故障及性能问题，指导用户进行优化和解决。
- 在部署dws中，常规方案一般是pod区+rds数据库，本次部署使用了，pod区+dbm数据库部署的方式，相对特殊。 在部署dws中，常规方案一般是pod区+rds数据库，本次部署使用了，pod区+dbm数据库部署的方式，相对特殊。
- 由于历史原因，在集群做增量备份的场景下，CN仍然采用全量的备份方式。这样随着数据量的增加，CN总是以全量进行备份必然会成为容灾性能的短板。因此，为了解决Roach的性能问题，提出了CN增量备份手段，从而达到进一步优化RPO目的. 由于历史原因，在集群做增量备份的场景下，CN仍然采用全量的备份方式。这样随着数据量的增加，CN总是以全量进行备份必然会成为容灾性能的短板。因此，为了解决Roach的性能问题，提出了CN增量备份手段，从而达到进一步优化RPO目的.
- Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息，运维操作（如启停集群、启停实例）下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，认为该节点产生故障。 Nodeagent是GaussDB(DWS)管理系统Fi Manager采集数据节点状态信息，运维操作（如启停集群、启停实例）下发命令到数据节点的重要工作线程。 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，认为该节点产生故障。
- 数据膨胀，指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下，一个表中只有一条简单的数据，但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀，GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理，并通过一个例子对FSM功能进行简单的测试和验证。 数据膨胀，指的是物理数据文件的大小明显高于实际存储的数据量。甚至某些特殊场景下，一个表中只有一条简单的数据，但是表对应的物理文件可能已经达到M级甚至G级。为了解决数据膨胀，GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理，并通过一个例子对FSM功能进行简单的测试和验证。
- GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控，协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控，通过视图排查SQL排队原因，及时给出优化措施。本文重点介绍了负载管理常用视图，同时结合其他视图给出了视图应用案例。 GaussDB(DWS)提供了丰富的视图用于SQL信息和状态监控，协助用户SQL运维及问题分析。其中负载管理也提供了专门的视图用于SQL运行状态监控，通过视图排查SQL排队原因，及时给出优化措施。本文重点介绍了负载管理常用视图，同时结合其他视图给出了视图应用案例。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签