- Phoenix开源问题贡献社区 Phoenix开源问题贡献社区
- 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。
- 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对... 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对...
- 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通... 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通...
- 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。
- dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x
- 开发者`李雷`小朋友维护了一个自己的关系链图数据库，他怎么能从图数据库中查询出与他互相关注且年龄大于30的朋友呢？这里先介绍几种图原生查询语言写法：1.gremlin ... 2.cypher ... 以上两种写法等价，只是使用的图查询语言有区别。前者使用gremlin（Apache软件基金会下TinkerPop开发的graph traversal language）编写, 后者为Neo4j... 开发者`李雷`小朋友维护了一个自己的关系链图数据库，他怎么能从图数据库中查询出与他互相关注且年龄大于30的朋友呢？这里先介绍几种图原生查询语言写法：1.gremlin ... 2.cypher ... 以上两种写法等价，只是使用的图查询语言有区别。前者使用gremlin（Apache软件基金会下TinkerPop开发的graph traversal language）编写, 后者为Neo4j...
- attach partition from 和 move partition to在数据迁移过程中，我们常常使用到clickhouse的这两种DDL将源表的数据迁移到目标表，这两块代码入口函数分别是：StorageReplicatedMergeTree::replacePartitionFrom和StorageReplicatedMergeTree::movePartitionToTabl... attach partition from 和 move partition to在数据迁移过程中，我们常常使用到clickhouse的这两种DDL将源表的数据迁移到目标表，这两块代码入口函数分别是：StorageReplicatedMergeTree::replacePartitionFrom和StorageReplicatedMergeTree::movePartitionToTabl...
- 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"... 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"...
- 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi... 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi...
- cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。 cm_agent组件具备日志文件压缩和回收的能力，避免日志占用过多的磁盘空间。本篇博文对cm_agent组件的日志压缩删除功能及常见问题的规避定位进行了介绍。
- 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满... 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满...
- 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字... 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字...
- openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能 openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能
- 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删... 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签