- GaussDB(DWS)采用MVCC(Multi-Version Concurrency Control) 多版本并发控制实现对数据库的并发访问，以及带来诸如锁冲突少、事务回滚代价低等好处，但同时给数据库空间管控带来极大挑战。 本文主要从数据仓库的实践出发，结合数仓周期性的批量特征，制定数据表脏页空间回收实践，规避数据ETL过程带来空间几何膨胀问题，做到普通业务用户只关注业务实现，具体脏页空间运维 GaussDB(DWS)采用MVCC(Multi-Version Concurrency Control) 多版本并发控制实现对数据库的并发访问，以及带来诸如锁冲突少、事务回滚代价低等好处，但同时给数据库空间管控带来极大挑战。 本文主要从数据仓库的实践出发，结合数仓周期性的批量特征，制定数据表脏页空间回收实践，规避数据ETL过程带来空间几何膨胀问题，做到普通业务用户只关注业务实现，具体脏页空间运维
- 通信库libpq重构解决两点问题：针对大并发短查询场景下，CN与DN建立/复用/归还/释放连接时争抢全局锁PoolerLock，造成的性能问题进行Pooler锁优化；针对当前代码仓中libpq代码冗余度高、复用性差、可维护性差、可读性差问题，对libpq代码进行整合以符合clean code要求。在现网多个局点，在高并发短查询场景下，CN与DN建连时等待PoolerLock锁耗时，导致环境C... 通信库libpq重构解决两点问题：针对大并发短查询场景下，CN与DN建立/复用/归还/释放连接时争抢全局锁PoolerLock，造成的性能问题进行Pooler锁优化；针对当前代码仓中libpq代码冗余度高、复用性差、可维护性差、可读性差问题，对libpq代码进行整合以符合clean code要求。在现网多个局点，在高并发短查询场景下，CN与DN建连时等待PoolerLock锁耗时，导致环境C...
- MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJOs(Plain Ordinary Java Object,普通的 Java对象)映射成数据库中的记录。 如果没有MyBatis框架时，要使用已有的MyBatis来直接访问DWS数据库时，需要对MyBatis语法进行相应的改造，本文对常见的几种场景进行改造。 MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJOs(Plain Ordinary Java Object,普通的 Java对象)映射成数据库中的记录。 如果没有MyBatis框架时，要使用已有的MyBatis来直接访问DWS数据库时，需要对MyBatis语法进行相应的改造，本文对常见的几种场景进行改造。
- 工具介绍CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。本工具主要提供以下功能：对查询时延要求较高的表进行首次查询预热。工具使用下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh。参考下表配置prequeryParams.propert... 工具介绍CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。本工具主要提供以下功能：对查询时延要求较高的表进行首次查询预热。工具使用下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh。参考下表配置prequeryParams.propert...
- 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。
- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性... Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性...
- Get操作1.hbase.client.operation.timeout 1200000访问非系统表时控制的总超时时间。对操作超时的时间限制，对每一个操作，若由于超时或其他原因导致rpc请求失败，会进行重试（由参数hbase.client.retries.number控制），直到重试成功或达到最大重试次数后抛出RetriesExhaustedException，但如果在重试之前，阻塞的总时... Get操作1.hbase.client.operation.timeout 1200000访问非系统表时控制的总超时时间。对操作超时的时间限制，对每一个操作，若由于超时或其他原因导致rpc请求失败，会进行重试（由参数hbase.client.retries.number控制），直到重试成功或达到最大重试次数后抛出RetriesExhaustedException，但如果在重试之前，阻塞的总时...
- JM内存参数参数默认值解释jobmanager.memory.process.sizeNoneJM的总内存如果没有设置，会使用旧的配置jobmanager.heap.sizejobmanager.memory.flink.sizeNonejobmanager.memory.process.size= jobmanager.memory.flink.size+ JVM Metaspace an... JM内存参数参数默认值解释jobmanager.memory.process.sizeNoneJM的总内存如果没有设置，会使用旧的配置jobmanager.heap.sizejobmanager.memory.flink.sizeNonejobmanager.memory.process.size= jobmanager.memory.flink.size+ JVM Metaspace an...
- 千里之行，始于足下。扎实全面的测试，源于规范完整的文本用例。 千里之行，始于足下。扎实全面的测试，源于规范完整的文本用例。
- 高手也要练基本功;测试基础理论 高手也要练基本功;测试基础理论
- 1 SqoopShell使用简介sqoop-shell是一个Loader的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。sqoop-shell工具提供了如下功能：支持创建和更新连接器支持创建和更新作业支持删除连接器和作业支持以同步或异步的方式启动作业支持停止作业支持查询作业状态支持查询作业历史执行记录支持复制连接器和作业支持创建和更新转换步骤支持指... 1 SqoopShell使用简介sqoop-shell是一个Loader的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。sqoop-shell工具提供了如下功能：支持创建和更新连接器支持创建和更新作业支持删除连接器和作业支持以同步或异步的方式启动作业支持停止作业支持查询作业状态支持查询作业历史执行记录支持复制连接器和作业支持创建和更新转换步骤支持指...
- 为了简化数据库SQL脚本的开发模式和执行环境，数据库一般会把数据库交互的功能封装在客户端工具中，用以增加SQL脚本的灵活性，提高脚本的开发效率。 GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发，提升数据仓库的SQL作业开发效率。 为了简化数据库SQL脚本的开发模式和执行环境，数据库一般会把数据库交互的功能封装在客户端工具中，用以增加SQL脚本的灵活性，提高脚本的开发效率。 GaussDB(DWS)数据库数据库客户端工具gsql的增强特性包含动态变量、逻辑控制、大小比较、循环体等。通过这些增强特性可以实现流程式的SQL开发，提升数据仓库的SQL作业开发效率。
- 日期函数是数据库非常重要的函数类型，我们从TD迁移到GaussDB(DWS)时，有很多TD特有的日期函数，GaussDB(DWS)没有的，这些日期函数需要在GaussDB(DWS)建一些自定义函数做迁移适配。本文描述了一次迁移过程中遇到的日期函数，并描述了如何通过自定义函数来适配脚本迁移。 日期函数是数据库非常重要的函数类型，我们从TD迁移到GaussDB(DWS)时，有很多TD特有的日期函数，GaussDB(DWS)没有的，这些日期函数需要在GaussDB(DWS)建一些自定义函数做迁移适配。本文描述了一次迁移过程中遇到的日期函数，并描述了如何通过自定义函数来适配脚本迁移。
- 在对列存表进行小批量数据插入时，会产生小CU，影响列存储的性能，对此，需要用一个依附于列存表的delta表来进行存储，并且定期将delta表的数据合入列存表中，这样既能发挥列存储的优势，又能兼顾各种使用场景。 在对列存表进行小批量数据插入时，会产生小CU，影响列存储的性能，对此，需要用一个依附于列存表的delta表来进行存储，并且定期将delta表的数据合入列存表中，这样既能发挥列存储的优势，又能兼顾各种使用场景。
- 摘要：对于inlist2join优化的原理和结果展示。 摘要：对于inlist2join优化的原理和结果展示。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签