- Datanode磁盘坏块告警 Datanode磁盘坏块告警
- 1. 背景介绍多个局点均部署多套集群，集群间存在大量基础数据同步和访问，实现跨集群同步有两种方式，基于EC和协同分析，高并发时会使源端数据再CN实例产生较高负载，因此需要提供一种高效便捷的跨集群互联互通方法，可以支持大批量、多任务的互访需求，减少数据物理搬迁，充分利用集群算力，提高效率。通过gds外表结合管道实现此需求，且近在招行局点受限商用，满足客户全量数据同步、过滤条件数据同步。2... 1. 背景介绍多个局点均部署多套集群，集群间存在大量基础数据同步和访问，实现跨集群同步有两种方式，基于EC和协同分析，高并发时会使源端数据再CN实例产生较高负载，因此需要提供一种高效便捷的跨集群互联互通方法，可以支持大批量、多任务的互访需求，减少数据物理搬迁，充分利用集群算力，提高效率。通过gds外表结合管道实现此需求，且近在招行局点受限商用，满足客户全量数据同步、过滤条件数据同步。2...
- 对于经典的行转列问题，如果行数不定导致输出的列数不定，标准的答案就是使用动态SQL, 但GaussDB(DWS)不支持PIVOT和UNPIVOT，那该怎么办，一起来探究下吧。 对于经典的行转列问题，如果行数不定导致输出的列数不定，标准的答案就是使用动态SQL, 但GaussDB(DWS)不支持PIVOT和UNPIVOT，那该怎么办，一起来探究下吧。
- 华为云GaussDB亮相DAMS峰会，构建开放生态与数据库国产化经验分享 华为云GaussDB亮相DAMS峰会，构建开放生态与数据库国产化经验分享
- ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。 ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。
- 华为云TechWave数据专题日|11月5日相约解锁数据要素 华为云TechWave数据专题日|11月5日相约解锁数据要素
- 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。
- 在上一节讲述中，我们封装了Python操作MySQL数据库的自定义类，存为MySQLOperation.py文件；本节内容操作数据库部分，将会调用MySQLOperation中的方法，以及pandas.to_sql和pandas.read_sql的操作。以股票列表为例，讲解数据落库步骤及源代码封装。源代码见文章附件。 在上一节讲述中，我们封装了Python操作MySQL数据库的自定义类，存为MySQLOperation.py文件；本节内容操作数据库部分，将会调用MySQLOperation中的方法，以及pandas.to_sql和pandas.read_sql的操作。以股票列表为例，讲解数据落库步骤及源代码封装。源代码见文章附件。
- 我们清楚Roach的备份管理采用多进程模式，但是每个进程都是有多个线程组成的，每个线程都有两个状态管理变量，一个是线程状态，另一个是fork进程状态。线程状态管理相对好理解，那什么是fork进程管理？有什么作用，为什么要引入它。首先我们可以看到它有四个状态位，FORK_NOT_IN_PROGRESS，ABOUT_TO_FORK, READY_TO_FORK, FORK_DONE，即没有在fo... 我们清楚Roach的备份管理采用多进程模式，但是每个进程都是有多个线程组成的，每个线程都有两个状态管理变量，一个是线程状态，另一个是fork进程状态。线程状态管理相对好理解，那什么是fork进程管理？有什么作用，为什么要引入它。首先我们可以看到它有四个状态位，FORK_NOT_IN_PROGRESS，ABOUT_TO_FORK, READY_TO_FORK, FORK_DONE，即没有在fo...
- cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。 cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。
- 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访... 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访...
- 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25... 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25...
- 为ROACH故障测试提供基本思路，方法。 为ROACH故障测试提供基本思路，方法。
- 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。... 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。...
- 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR... 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR...
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签