- 【摘要】在云原生环境，用户可以自由配置cup型号、内存、磁盘、带宽等资源，需要在计算和IO之间做平衡；如果计算和存储耦合，扩缩容时数据要在节点之间移动，同时还要对外提供计算，性能会大受影响。如果存算分离，计算出和存储层可以独立增加节点互不干扰，这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN节点解绑。 【摘要】在云原生环境，用户可以自由配置cup型号、内存、磁盘、带宽等资源，需要在计算和IO之间做平衡；如果计算和存储耦合，扩缩容时数据要在节点之间移动，同时还要对外提供计算，性能会大受影响。如果存算分离，计算出和存储层可以独立增加节点互不干扰，这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN节点解绑。
- 数据库的诞生，实际上是伴随着计算机的诞生，人类数据信息管理和处理方式的一种升级。但是数据库诞生之初，还是没有数仓的，数仓其实是在80年代以后，人们对于数据管理和处理的诉求进一步提升，数据量增加，数据分析的复杂度和维度变得更大了以后，才开始产生面向分析的负载，然后才有数据仓库的诞生。在我看来，数据仓库的诞生，它就代表人们不再满足于对数据做简单的存储和操作管理，而是尝试从数据中去挖掘价值，通过分... 数据库的诞生，实际上是伴随着计算机的诞生，人类数据信息管理和处理方式的一种升级。但是数据库诞生之初，还是没有数仓的，数仓其实是在80年代以后，人们对于数据管理和处理的诉求进一步提升，数据量增加，数据分析的复杂度和维度变得更大了以后，才开始产生面向分析的负载，然后才有数据仓库的诞生。在我看来，数据仓库的诞生，它就代表人们不再满足于对数据做简单的存储和操作管理，而是尝试从数据中去挖掘价值，通过分...
- 对于单个集群上数据体量非常庞大的用户，可以在数据备份恢复时做到有的放矢，大量节省存放备份集的空间和相应费用。并且在表数据丢失或人为误删后，可以做到单张或多张表的快速恢复。 对于单个集群上数据体量非常庞大的用户，可以在数据备份恢复时做到有的放矢，大量节省存放备份集的空间和相应费用。并且在表数据丢失或人为误删后，可以做到单张或多张表的快速恢复。
- 众所周知，JDBC(Java Database Connectivity)是应用程序访问数据库的统一标准接口， GaussDB(DWS)提供了对JDBC 4.0特性支持的JDBC驱动。客户应用使用JDBC连接数据库并执行SQL，最常见的问题就是各类报错和性能问题，这里整理汇总各类报错原因及对应处理方法供大家参考。 众所周知，JDBC(Java Database Connectivity)是应用程序访问数据库的统一标准接口， GaussDB(DWS)提供了对JDBC 4.0特性支持的JDBC驱动。客户应用使用JDBC连接数据库并执行SQL，最常见的问题就是各类报错和性能问题，这里整理汇总各类报错原因及对应处理方法供大家参考。
- 集群运行过程中，根据集群的综合负载和业务接入情况进行分析：增加CN可以适当降低CPU消耗，增大接入连接数，分散CN节点业务压力，根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力，建议进行扩容操作。 支持在线运维：在符合增加CN、删除CN界面的准入条件下，找低峰期时间窗进行操作。准入条件：1.增加CN要求集群状态正常（集群状态为Normal，非均衡，低性能状态）2.如果存在一个... 集群运行过程中，根据集群的综合负载和业务接入情况进行分析：增加CN可以适当降低CPU消耗，增大接入连接数，分散CN节点业务压力，根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力，建议进行扩容操作。 支持在线运维：在符合增加CN、删除CN界面的准入条件下，找低峰期时间窗进行操作。准入条件：1.增加CN要求集群状态正常（集群状态为Normal，非均衡，低性能状态）2.如果存在一个...
- 带你快速入门GDS导入导出，玩转PB级数仓GaussDB(DWS) 1、创建导入目标表CREATE TABLE tpcds_reasons( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100)); 2、创建与目标表一致的外表#外表中配置了数据源格式信息、GDS服务的访... 带你快速入门GDS导入导出，玩转PB级数仓GaussDB(DWS) 1、创建导入目标表CREATE TABLE tpcds_reasons( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100)); 2、创建与目标表一致的外表#外表中配置了数据源格式信息、GDS服务的访...
- 通常跑批加工场景下，都是大数量做关联操作，通常不建议使用索引。有些时候因为计划误判导致使用索引的可能会导致严重的性能问题。本文从一个典型的索引导致性能的场景重发，剖析此类问题的特征，定位方法和解决方法 通常跑批加工场景下，都是大数量做关联操作，通常不建议使用索引。有些时候因为计划误判导致使用索引的可能会导致严重的性能问题。本文从一个典型的索引导致性能的场景重发，剖析此类问题的特征，定位方法和解决方法
- 在实际应用中，可能存在某一个文件太大，需要拆分成多个文件发送的情况，那么，GDS是否可以同时将拆分后的这些文件一次性加载到数据库呢？ 下文对以上场景进行了验证。 结论1：一个GDS进程能够处理同一个目标表对应的同一个目录下的多个文件，这些文件通常使用通配符指定。 结论2：多个GDS进程能够同时处理同一个目标表的多个目录下的多个文件，文件可以使用通配符指定。 结论3：一个GDS进程不支持同时 在实际应用中，可能存在某一个文件太大，需要拆分成多个文件发送的情况，那么，GDS是否可以同时将拆分后的这些文件一次性加载到数据库呢？ 下文对以上场景进行了验证。 结论1：一个GDS进程能够处理同一个目标表对应的同一个目录下的多个文件，这些文件通常使用通配符指定。 结论2：多个GDS进程能够同时处理同一个目标表的多个目录下的多个文件，文件可以使用通配符指定。 结论3：一个GDS进程不支持同时
- 现网中遇到很多小伙伴不清楚字符串与进制之间的转换方法，其实在GaussDB(DWS)中，进制转换是非常方便的。这次就来对不同的场景一一进行解析，整理出来供大家翻阅参考。 现网中遇到很多小伙伴不清楚字符串与进制之间的转换方法，其实在GaussDB(DWS)中，进制转换是非常方便的。这次就来对不同的场景一一进行解析，整理出来供大家翻阅参考。
- DWS（gaussdb）设置CPU配额和限额 DWS（gaussdb）设置CPU配额和限额
- 这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 我简单的做一个比喻，数据仓库就是可以理解就... 这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 我简单的做一个比喻，数据仓库就是可以理解就...
- cgroup cgroup
- 欢迎DMS的小伙伴给建议 欢迎DMS的小伙伴给建议
- 编写写入DWS层业务代码DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。Flink在读取Kafka 用户浏览商品数据与HBase中维度数据进行关... 编写写入DWS层业务代码DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。Flink在读取Kafka 用户浏览商品数据与HBase中维度数据进行关...
- 企业只有把数据用起来了，才能反向推动数据治理和数据标准类似的工作，而数据治理的推进也会让数据服务化更好，让业务更好的使用数据，这其实也是企业数字化转型的方向和重要目标：让数据用起来。 企业只有把数据用起来了，才能反向推动数据治理和数据标准类似的工作，而数据治理的推进也会让数据服务化更好，让业务更好的使用数据，这其实也是企业数字化转型的方向和重要目标：让数据用起来。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签