- 在对列存表进行小批量数据插入时,会产生小CU,影响列存储的性能,对此,需要用一个依附于列存表的delta表来进行存储,并且定期将delta表的数据合入列存表中,这样既能发挥列存储的优势,又能兼顾各种使用场景。 在对列存表进行小批量数据插入时,会产生小CU,影响列存储的性能,对此,需要用一个依附于列存表的delta表来进行存储,并且定期将delta表的数据合入列存表中,这样既能发挥列存储的优势,又能兼顾各种使用场景。
- 摘要:对于inlist2join优化的原理和结果展示。 摘要:对于inlist2join优化的原理和结果展示。
- GaussDB(DWS) ESL版本使用FusionInsight Manager管理平台提供集群状态监控,告警管理,监控采集等功能。集群安装完成后,登录管理平台即可查看集群的状态监控指标,针对这些监控指标做简单介绍。 GaussDB(DWS) ESL版本使用FusionInsight Manager管理平台提供集群状态监控,告警管理,监控采集等功能。集群安装完成后,登录管理平台即可查看集群的状态监控指标,针对这些监控指标做简单介绍。
- 随着数据的持续增长,数据存储的高性价比是云上数据仓库的核心竞争力之一,GaussDB(DWS)目前支持特性冷热数据管理。 随着数据的持续增长,数据存储的高性价比是云上数据仓库的核心竞争力之一,GaussDB(DWS)目前支持特性冷热数据管理。
- 以下都以两类租户作为例子:用于生成特定报告的用户report分析用户做分析的用户analyze步骤如下:一、使用gs_cgroup工具配置控制组1.1配置逻辑集群资源配额配置报告的多租户控制组,父租户80%cpu配额(GaussDB 8.0及以下版本默认只能用整个集群80% )、自主分析控制组 class2:analyze 50%cpu(根据需求调整)配额,标准报告控制组class1:sta... 以下都以两类租户作为例子:用于生成特定报告的用户report分析用户做分析的用户analyze步骤如下:一、使用gs_cgroup工具配置控制组1.1配置逻辑集群资源配额配置报告的多租户控制组,父租户80%cpu配额(GaussDB 8.0及以下版本默认只能用整个集群80% )、自主分析控制组 class2:analyze 50%cpu(根据需求调整)配额,标准报告控制组class1:sta...
- Stream算子作为SQL join操作时频繁发生的执行算子,负责CN节点GATHER数据,DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下,Stream算子过多可能会导致通信的性能瓶颈,引起性能劣化(2000个stream同时启动,进程初始化耗时从ms级劣化到s级),因此需要尽可能减少Stream算子。但是在某些现场环境下,存在数据倾斜、join查询不包含必要分布... Stream算子作为SQL join操作时频繁发生的执行算子,负责CN节点GATHER数据,DN节点REDISTRIBUTE和BROACAST数据。大集群高并发场景下,Stream算子过多可能会导致通信的性能瓶颈,引起性能劣化(2000个stream同时启动,进程初始化耗时从ms级劣化到s级),因此需要尽可能减少Stream算子。但是在某些现场环境下,存在数据倾斜、join查询不包含必要分布...
- 有一条INSERT INTO … SELECT …语句,SELECT的查询结果有36W,只执行查询语句约耗时10秒,执行INSERT … SELECT…语句,耗时10分钟左右,过程中没有报错。该表设置了3个分布健,使用语句"select table_skewness(‘tablename’)"查看数据分布,也没有数据倾斜的情况。请问下这种SQL执行慢应该怎么进行排查。 分析insert... 有一条INSERT INTO … SELECT …语句,SELECT的查询结果有36W,只执行查询语句约耗时10秒,执行INSERT … SELECT…语句,耗时10分钟左右,过程中没有报错。该表设置了3个分布健,使用语句"select table_skewness(‘tablename’)"查看数据分布,也没有数据倾斜的情况。请问下这种SQL执行慢应该怎么进行排查。 分析insert...
- 定时任务在数据库运维的很多场景下,是一个十分重要的工具,例如用户希望周期性地执行某个运维操作,或者为了不影响白天的正常业务,希望将某个运维操作放到深夜自动执行。针对这些场景,GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发,从而减少了用户的工作量。 如何使用?GaussDB(DWS) 中对定时任务的各种操作,被封装成了函数,放在 DBMS_JOB 高级包中... 定时任务在数据库运维的很多场景下,是一个十分重要的工具,例如用户希望周期性地执行某个运维操作,或者为了不影响白天的正常业务,希望将某个运维操作放到深夜自动执行。针对这些场景,GaussDB(DWS) 内置了定时任务功能。用户创建的定时任务能够周期性地自动触发,从而减少了用户的工作量。 如何使用?GaussDB(DWS) 中对定时任务的各种操作,被封装成了函数,放在 DBMS_JOB 高级包中...
- 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端,然后dn端再通过hash算法对数据进行redistribute,从而实现数据入库,核心思想是充分利用所有节点的计算能力和I/O能力,以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式(支持CSV/TEXT格式)的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句... 1、概述 GDS是DWS的并行加载工具。原理是通过gds与dn建立连接、发送数据到dn端,然后dn端再通过hash算法对数据进行redistribute,从而实现数据入库,核心思想是充分利用所有节点的计算能力和I/O能力,以提升性能。GaussDB(DWS)的数据并行导入实现了对指定格式(支持CSV/TEXT格式)的外部数据高速、并行入库。所谓高速、并行入库是和传统的使用INSERT语句...
- GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。 GaussDB(DWS) 的负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。本文对WDR的原理和使用方法进行简要介绍。通过本文,读者可知晓什么是WDR,如何创建性能数据快照生成报告。
- GaussDB(DWS) ESL版本使用FusionInsight Manager提供集群状态监控,告警管理,监控采集等功能, 针对这些功能进行简单介绍。 GaussDB(DWS) ESL版本使用FusionInsight Manager提供集群状态监控,告警管理,监控采集等功能, 针对这些功能进行简单介绍。
- 在上节云计算行业应用—大数据@音视频(一)中,我们探讨了随着企业业务发展和产生消费数据量级的增加,大数据技术不断打破原有极限,相关技术不断演进,新的大数据架构层出不穷。本节我们将深入大数据行业应用,从上节讨论到的数据湖出发,结合音视频行业相关业务场景和相关大数据架构,更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据... 在上节云计算行业应用—大数据@音视频(一)中,我们探讨了随着企业业务发展和产生消费数据量级的增加,大数据技术不断打破原有极限,相关技术不断演进,新的大数据架构层出不穷。本节我们将深入大数据行业应用,从上节讨论到的数据湖出发,结合音视频行业相关业务场景和相关大数据架构,更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据...
- 一、什么是分区表分区表是将数据基于范围映射到每一个分区,范围在是由创建时指定的分区键决定的,通常分区键采用时间、日期等。同时普通表无法转换为分区表,只能通过创建新的分区表将普通表中的数据导入到分区表中。所以需要根据业务提前规划是否使用分区表。二、分区表的优势分区表相比较普通表的优势十分显著,主要包括一些几个方面。改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,很大程度上提高检索效率。 一、什么是分区表分区表是将数据基于范围映射到每一个分区,范围在是由创建时指定的分区键决定的,通常分区键采用时间、日期等。同时普通表无法转换为分区表,只能通过创建新的分区表将普通表中的数据导入到分区表中。所以需要根据业务提前规划是否使用分区表。二、分区表的优势分区表相比较普通表的优势十分显著,主要包括一些几个方面。改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,很大程度上提高检索效率。
- 数值类型在数据库的计算中使用量极大,考虑到存储占用、精度要求等原因,数值类型会分为多种形式,这里有必要对数据类型进行总结。 数值类型在数据库的计算中使用量极大,考虑到存储占用、精度要求等原因,数值类型会分为多种形式,这里有必要对数据类型进行总结。
- COPY命令可以实现表和文件之间拷贝数据。COPY FROM从一个文件拷贝数据到一个表,COPY TO把一个表的数据拷贝到一个文件。有时我们需要完成从数据库A(UTF8编码)至数据库B(GBK编码)的数据导入,导入数据时会出现字符集编码不匹配的错误,导致数据无法导入,这时我们可以通过COPY来完成。 COPY命令可以实现表和文件之间拷贝数据。COPY FROM从一个文件拷贝数据到一个表,COPY TO把一个表的数据拷贝到一个文件。有时我们需要完成从数据库A(UTF8编码)至数据库B(GBK编码)的数据导入,导入数据时会出现字符集编码不匹配的错误,导致数据无法导入,这时我们可以通过COPY来完成。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢
2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考
2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本
2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签