- Datanode磁盘坏块告警 Datanode磁盘坏块告警
- 1. 背景介绍多个局点均部署多套集群，集群间存在大量基础数据同步和访问，实现跨集群同步有两种方式，基于EC和协同分析，高并发时会使源端数据再CN实例产生较高负载，因此需要提供一种高效便捷的跨集群互联互通方法，可以支持大批量、多任务的互访需求，减少数据物理搬迁，充分利用集群算力，提高效率。通过gds外表结合管道实现此需求，且近在招行局点受限商用，满足客户全量数据同步、过滤条件数据同步。2... 1. 背景介绍多个局点均部署多套集群，集群间存在大量基础数据同步和访问，实现跨集群同步有两种方式，基于EC和协同分析，高并发时会使源端数据再CN实例产生较高负载，因此需要提供一种高效便捷的跨集群互联互通方法，可以支持大批量、多任务的互访需求，减少数据物理搬迁，充分利用集群算力，提高效率。通过gds外表结合管道实现此需求，且近在招行局点受限商用，满足客户全量数据同步、过滤条件数据同步。2...
- 对于经典的行转列问题，如果行数不定导致输出的列数不定，标准的答案就是使用动态SQL, 但GaussDB(DWS)不支持PIVOT和UNPIVOT，那该怎么办，一起来探究下吧。 对于经典的行转列问题，如果行数不定导致输出的列数不定，标准的答案就是使用动态SQL, 但GaussDB(DWS)不支持PIVOT和UNPIVOT，那该怎么办，一起来探究下吧。
- 华为云GaussDB亮相DAMS峰会，构建开放生态与数据库国产化经验分享 华为云GaussDB亮相DAMS峰会，构建开放生态与数据库国产化经验分享
- ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。 ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。
- 华为云TechWave数据专题日|11月5日相约解锁数据要素 华为云TechWave数据专题日|11月5日相约解锁数据要素
- 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。
- 在上一节讲述中，我们封装了Python操作MySQL数据库的自定义类，存为MySQLOperation.py文件；本节内容操作数据库部分，将会调用MySQLOperation中的方法，以及pandas.to_sql和pandas.read_sql的操作。以股票列表为例，讲解数据落库步骤及源代码封装。源代码见文章附件。 在上一节讲述中，我们封装了Python操作MySQL数据库的自定义类，存为MySQLOperation.py文件；本节内容操作数据库部分，将会调用MySQLOperation中的方法，以及pandas.to_sql和pandas.read_sql的操作。以股票列表为例，讲解数据落库步骤及源代码封装。源代码见文章附件。
- 我们清楚Roach的备份管理采用多进程模式，但是每个进程都是有多个线程组成的，每个线程都有两个状态管理变量，一个是线程状态，另一个是fork进程状态。线程状态管理相对好理解，那什么是fork进程管理？有什么作用，为什么要引入它。首先我们可以看到它有四个状态位，FORK_NOT_IN_PROGRESS，ABOUT_TO_FORK, READY_TO_FORK, FORK_DONE，即没有在fo... 我们清楚Roach的备份管理采用多进程模式，但是每个进程都是有多个线程组成的，每个线程都有两个状态管理变量，一个是线程状态，另一个是fork进程状态。线程状态管理相对好理解，那什么是fork进程管理？有什么作用，为什么要引入它。首先我们可以看到它有四个状态位，FORK_NOT_IN_PROGRESS，ABOUT_TO_FORK, READY_TO_FORK, FORK_DONE，即没有在fo...
- cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。 cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。
- 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访... 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访...
- 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25... 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25...
- 为ROACH故障测试提供基本思路，方法。 为ROACH故障测试提供基本思路，方法。
- 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。... 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。...
- 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR... 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
回顾中
热门标签