- HetuEngine查询非本集群的Hive数据，由于使用了“hive.force-local-scheduling=true“参数，导致查询无法被HetuEnigne调度执行。 HetuEngine查询非本集群的Hive数据，由于使用了“hive.force-local-scheduling=true“参数，导致查询无法被HetuEnigne调度执行。
- 在分布式场景下，导致性能问题的因素非常之多，包括但不限于硬件故障（慢盘等）、OS配置、集群故障（不均衡等）、软硬件问题（网卡加固等）、系统资源瓶颈、资源竞争、排队、重试等等。本文主要探讨对于性能问题如何快速切入，并总结出一份套路供大家参考。 在分布式场景下，导致性能问题的因素非常之多，包括但不限于硬件故障（慢盘等）、OS配置、集群故障（不均衡等）、软硬件问题（网卡加固等）、系统资源瓶颈、资源竞争、排队、重试等等。本文主要探讨对于性能问题如何快速切入，并总结出一份套路供大家参考。
- WebHcat样例代码Hive提供了WebHcat接口。该文档利用java把该接口进行了封装，可以使用java代码访问Hive。代码中只封装了一些常用接口，对于没有其他的接口，可以参考封装好的代码自行进行封装。1.1 主要难点：因hive的webHcat接口未提供认证接口，我们这边只能借助spnego的方式来进行kerberos认证。首先，先进行kerberos认证。认证完成后，获... WebHcat样例代码Hive提供了WebHcat接口。该文档利用java把该接口进行了封装，可以使用java代码访问Hive。代码中只封装了一些常用接口，对于没有其他的接口，可以参考封装好的代码自行进行封装。1.1 主要难点：因hive的webHcat接口未提供认证接口，我们这边只能借助spnego的方式来进行kerberos认证。首先，先进行kerberos认证。认证完成后，获...
- 监控指标是查看集群的各个指标性能是否正常，查看集群实例节点是否异常。在集群上做业务操作，用户需要查看集群的监控指标信息时，可以通过云监控服务确认集群的各项指标情况，通过监控集群运行时的各项指标，用户可以识别出数据库集群状态异常的时间段，然后在数据库日志中，分析可能存在问题的活动，从而优化数据库性能。 监控指标是查看集群的各个指标性能是否正常，查看集群实例节点是否异常。在集群上做业务操作，用户需要查看集群的监控指标信息时，可以通过云监控服务确认集群的各项指标情况，通过监控集群运行时的各项指标，用户可以识别出数据库集群状态异常的时间段，然后在数据库日志中，分析可能存在问题的活动，从而优化数据库性能。
- 针对项目交付过程中遇到的List行转列的场景，GaussDB(DWS)提供regexp_split_to_table函数实现，本文进行详细介绍。 针对项目交付过程中遇到的List行转列的场景，GaussDB(DWS)提供regexp_split_to_table函数实现，本文进行详细介绍。
- 在项目交付中，客户经常会提出一些关于分区表TTL管理的需求，例如保留最近30天的分区数据，并实现分区自增和过期分区删除的场景，当前GaussDB(DWS)不支持，针对该场景可参考本文方法实现GaussDB(DWS)分区表的TTL管理，针对分区字段为date和timestamp类型，通过DGC或其他周期性调度任务执行管理函数，实现增加分区和删除lifecycle有效期外的分区，实际使用过程中可按照注 在项目交付中，客户经常会提出一些关于分区表TTL管理的需求，例如保留最近30天的分区数据，并实现分区自增和过期分区删除的场景，当前GaussDB(DWS)不支持，针对该场景可参考本文方法实现GaussDB(DWS)分区表的TTL管理，针对分区字段为date和timestamp类型，通过DGC或其他周期性调度任务执行管理函数，实现增加分区和删除lifecycle有效期外的分区，实际使用过程中可按照注
- 聚集操作是SQL语言中除扫描、投影、连接外的另一个常用基本操作，主要用于对海量数据进行分组，然后在组内进行统计计算的场景。在AP场景下，经常面临海量数据处理的场景，而最终用户希望通过海量数据获取汇总信息，聚集操作的使用将更加广泛。本文从基本聚集操作入手，介绍常用的SQL语法，以及一些扩展的聚集功能，同时会讲到在GaussDB(DWS)里聚集相关的一些优化思路。 聚集操作是SQL语言中除扫描、投影、连接外的另一个常用基本操作，主要用于对海量数据进行分组，然后在组内进行统计计算的场景。在AP场景下，经常面临海量数据处理的场景，而最终用户希望通过海量数据获取汇总信息，聚集操作的使用将更加广泛。本文从基本聚集操作入手，介绍常用的SQL语法，以及一些扩展的聚集功能，同时会讲到在GaussDB(DWS)里聚集相关的一些优化思路。
- 无锁队列旨在解决多线程资源争抢时加锁造成的性能慢问题，Gaussdb(DWS)无锁队列已经作为公共组件可以被其他模块调用。相比网络上其他的无锁队列实现，Gaussdb(DWS)无锁队列因为其良好的设计具备了更为出色的性能，据测试，Gaussdb(DWS)无锁队列在性能上优于其他实现3倍以上，如此强大的实现，今天本文就带你一探究竟。一、Gaussdb(DWS)无锁队列数据结构Gaussdb(D... 无锁队列旨在解决多线程资源争抢时加锁造成的性能慢问题，Gaussdb(DWS)无锁队列已经作为公共组件可以被其他模块调用。相比网络上其他的无锁队列实现，Gaussdb(DWS)无锁队列因为其良好的设计具备了更为出色的性能，据测试，Gaussdb(DWS)无锁队列在性能上优于其他实现3倍以上，如此强大的实现，今天本文就带你一探究竟。一、Gaussdb(DWS)无锁队列数据结构Gaussdb(D...
- 对于connector的介绍之前已经讲解，此处就不再详细结果其运行流程和使用方式，而是简单学习下jdbc connector中sink的源码，而由于源码较多因此我们只挑选重点部分进行研究学习。1 JDBCTableSourceSinkFactory：JDBC支持的配置属性参数在flink sql中，所有的connector的使用都是从factory开始的，而factory的创建是通... 对于connector的介绍之前已经讲解，此处就不再详细结果其运行流程和使用方式，而是简单学习下jdbc connector中sink的源码，而由于源码较多因此我们只挑选重点部分进行研究学习。1 JDBCTableSourceSinkFactory：JDBC支持的配置属性参数在flink sql中，所有的connector的使用都是从factory开始的，而factory的创建是通...
- 日常运维过程中，运维人员可以通过硬件（服务器、电源、硬盘）指示灯状态进行巡检，以判断硬件是否存在故障。其中指示灯绿色常亮代表正常状态，其余情况可登录iBMC系统检查是否有告警，并联系硬件工程师定位处理。 日常运维过程中，运维人员可以通过硬件（服务器、电源、硬盘）指示灯状态进行巡检，以判断硬件是否存在故障。其中指示灯绿色常亮代表正常状态，其余情况可登录iBMC系统检查是否有告警，并联系硬件工程师定位处理。
- 在项目交付中，经常遇到不同数据库间的数据迁移，本文针对MySQL->GaussDB(DWS)的常用语法兼容性进行了梳理，汇总整理语法对照表，可以参考使用。 在项目交付中，经常遇到不同数据库间的数据迁移，本文针对MySQL->GaussDB(DWS)的常用语法兼容性进行了梳理，汇总整理语法对照表，可以参考使用。
- GaussDB(DWS)内核主要对表锁和轻量级锁的使用采用了死锁检测。本文主要对这两个场景分别进行了阐述。 GaussDB(DWS)内核主要对表锁和轻量级锁的使用采用了死锁检测。本文主要对这两个场景分别进行了阐述。
- Clickhouse新增加的Kerberos认证方式兼容ck自带的用户/密码认证方式，丰富了ck用户登陆认证方式。 Clickhouse新增加的Kerberos认证方式兼容ck自带的用户/密码认证方式，丰富了ck用户登陆认证方式。
- 介绍hive的UDAF（user-defined aggregate function）用户自定义聚合函数，可以允许用户自行开发某种数据处理逻辑的函数，将其注册在Hive中进行调用完成业务逻辑，UDAF可以接受多个输入数据行，并产生一个输出数据行，比如像我们日常使用的count、sum、max等函数都是UDAF的Hive内置函数。如何自己编写UDAF开发一个UDAF需要继承Hive的类有两种... 介绍hive的UDAF（user-defined aggregate function）用户自定义聚合函数，可以允许用户自行开发某种数据处理逻辑的函数，将其注册在Hive中进行调用完成业务逻辑，UDAF可以接受多个输入数据行，并产生一个输出数据行，比如像我们日常使用的count、sum、max等函数都是UDAF的Hive内置函数。如何自己编写UDAF开发一个UDAF需要继承Hive的类有两种...
- 一、配置Linux C++编译环境： 1、下载软件包，cmake和gcc（9.x以上版本） 2、安装CMake:tar -xzvf cmake-3.14.1.tar.gz./bootstrapmake -j8make install安装验证：3、安装GCC：解压并下载其他依赖软件：tar -xvf gcc-9.3.0.tar.xzcd gcc-9.3.0/wget ftp://gcc.gnu... 一、配置Linux C++编译环境： 1、下载软件包，cmake和gcc（9.x以上版本） 2、安装CMake:tar -xzvf cmake-3.14.1.tar.gz./bootstrapmake -j8make install安装验证：3、安装GCC：解压并下载其他依赖软件：tar -xvf gcc-9.3.0.tar.xzcd gcc-9.3.0/wget ftp://gcc.gnu...
上滑加载中
推荐直播
-
基于HarmonyOS NEXT应用开发之旅2025/07/17 周四 19:00-20:00
吴玉佩、刘俊威-华为开发者布道师-高校学生
两位学生华为开发者布道师，连续两届HarmonyOS极客马拉松获奖选手联袂呈现HarmonyOS NEXT开发全景！从基础筑基，到工具提效。为您铺就一条从入门到精通的鸿蒙应用开发之路。无论您是新手开发者，还是经验老手，都能在此收获满满干货，开启您的HarmonyOS NEXT高效、智能开发新篇章！
回顾中
热门标签