- attach partition from 和 move partition to在数据迁移过程中，我们常常使用到clickhouse的这两种DDL将源表的数据迁移到目标表，这两块代码入口函数分别是：StorageReplicatedMergeTree::replacePartitionFrom和StorageReplicatedMergeTree::movePartitionToTabl... attach partition from 和 move partition to在数据迁移过程中，我们常常使用到clickhouse的这两种DDL将源表的数据迁移到目标表，这两块代码入口函数分别是：StorageReplicatedMergeTree::replacePartitionFrom和StorageReplicatedMergeTree::movePartitionToTabl...
- 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"... 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"...
- 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi... 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi...
- cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。 cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。
- 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满... 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满...
- 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字... 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字...
- openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能 openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能
- 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删... 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删...
- 1.1.1 Flink任务运行一段时间后卡住但未失败问题现象Flink的运行日志发现，任务运行一段时间后持续打印以下日志：RPC Server Kerberos principal name for service=ClientService is hbase/xxxx.xxxx.xxx.com并且没有出现其它错误。 可能原因HBase在认证过程中缓存中的票据信息没有更新，导致HBase一直... 1.1.1 Flink任务运行一段时间后卡住但未失败问题现象Flink的运行日志发现，任务运行一段时间后持续打印以下日志：RPC Server Kerberos principal name for service=ClientService is hbase/xxxx.xxxx.xxx.com并且没有出现其它错误。 可能原因HBase在认证过程中缓存中的票据信息没有更新，导致HBase一直...
- 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访... 一、背景： HDFS已支持联邦，现场HDFS切换成联邦模式，对应hdfs上数据目录及namenode地址发生变化导致原GaussDB(DWS)外表无法正常访问。客户通过重建server以及对应数据的目录，新增联邦配置文件，创建对应联邦namenode HDFS Server，新建外表，维护成本太高。 GaussDB(DWS)支持联邦后，通过指定多个router地址，访...
- 下面的场景引用自力扣原题65：https://leetcode-cn.com/problems/valid-number/submissions/§ 需求有一个非常经典的数字校验场景， 需求如下：有效数字（按顺序）可以分成以下几个部分：一个 小数 或者 整数（可选）一个 ‘e’ 或 ‘E’ ，后面跟着一个 整数小数（按顺序）可以分成以下几个部分：（可选）一个符号字符（’+’ 或 ‘-’）下述... 下面的场景引用自力扣原题65：https://leetcode-cn.com/problems/valid-number/submissions/§ 需求有一个非常经典的数字校验场景， 需求如下：有效数字（按顺序）可以分成以下几个部分：一个 小数 或者 整数（可选）一个 ‘e’ 或 ‘E’ ，后面跟着一个 整数小数（按顺序）可以分成以下几个部分：（可选）一个符号字符（’+’ 或 ‘-’）下述...
- 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25... 1. 协议安全机制SSL/TLS协议是业界常用的加密通信协议，通过该协议可以完成通信双方身份认证，会话密钥协商，通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法：密钥交换、认证、加密、MAC算法。如TLS_DHE_RSA_WITH_AES_128_CBC_SHA256算法套件，DHE是密钥交换算法，RSA是认证算法，AES_128_CBC是对称加密算法，SHA25...
- 为ROACH故障测试提供基本思路，方法。 为ROACH故障测试提供基本思路，方法。
- 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。... 一、数据仓库系统资源的监控与规划数据仓库系统的用户通常分为三种角色：管理员，开发人员以及使用人员。不同角色对于系统资源的关注点是不一样的。在实际的客户场景中，即便管理员也是分为平台管理员和应用管理员两个不同的方向。平台管理员：关注的是物理层面的资源使用信息，目的是保证整个平台的稳定性。所以对于系统资源的使用情况自底向上的层次递进关系为：SQL->CN/DN节点->服务器->集群，（如图1）。...
- 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR... 1 GaussDB(DWS)外表支持的列存格式 GaussDB(DWS)通过SQL On Anywhere特性（参考博客“GaussDB DWS的SQL ON ANYWHERE技术解密”）访问HDFS或OBS上的数据。目前GaussDB(DWS)外表支持的外表格式如下表所示。新版本支持了OBS读Parquet文件。文件系统读支持写支持HDFSORC、ParquetORCOBSORC、CAR...
上滑加载中
推荐直播
-
基于HarmonyOS NEXT应用开发之旅2025/07/17 周四 19:00-20:00
吴玉佩、刘俊威-华为开发者布道师-高校学生
两位学生华为开发者布道师，连续两届HarmonyOS极客马拉松获奖选手联袂呈现HarmonyOS NEXT开发全景！从基础筑基，到工具提效。为您铺就一条从入门到精通的鸿蒙应用开发之路。无论您是新手开发者，还是经验老手，都能在此收获满满干货，开启您的HarmonyOS NEXT高效、智能开发新篇章！
回顾中
热门标签