- Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l... Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l...
- 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。
- CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在... CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在...
- 异常检测问题是很多实际应用场景中的一个重要问题。本文根据对现有基于深度学习的异常检测算法的调研，介绍现有的深度异常检测算法，并对深度异常检测算法的未来发展趋势进行大致的预测。 异常检测问题是很多实际应用场景中的一个重要问题。本文根据对现有基于深度学习的异常检测算法的调研，介绍现有的深度异常检测算法，并对深度异常检测算法的未来发展趋势进行大致的预测。
- 1. 适用场景1) 当GaussDB A节点硬件发生故障后无法修复，界面上会出现12006告警。为了使服务快速地恢复正常，需要将发生故障的一个或多个节点更换为正常节点。2) 本方案仅适用于线下产品。3) 本方案仅适用于OS重装后，主机置换场景。4) OS未重装场景，不在此文档适用范围内。2. 前提条件1) GaussDB A集群安装成功，且处于已启动状态。2) 准备新的硬件服务器... 1. 适用场景1) 当GaussDB A节点硬件发生故障后无法修复，界面上会出现12006告警。为了使服务快速地恢复正常，需要将发生故障的一个或多个节点更换为正常节点。2) 本方案仅适用于线下产品。3) 本方案仅适用于OS重装后，主机置换场景。4) OS未重装场景，不在此文档适用范围内。2. 前提条件1) GaussDB A集群安装成功，且处于已启动状态。2) 准备新的硬件服务器...
- 涉及版本：C80及以下版本相关原理：http://mysql.taobao.org/monthly/2018/03/08/从6.5.1版本开始，DWS采用64位事务号，不再存在此问题。此帖只用于技术交流。此方案属于高危操作，严禁用户与一线、二线在生产集群操作！操作不慎会导致集群无法修复的严重后果！ 场景一：CN回卷，且正常cn的nextxid未超过21亿1. 确认集群状态：3c18d确认gt... 涉及版本：C80及以下版本相关原理：http://mysql.taobao.org/monthly/2018/03/08/从6.5.1版本开始，DWS采用64位事务号，不再存在此问题。此帖只用于技术交流。此方案属于高危操作，严禁用户与一线、二线在生产集群操作！操作不慎会导致集群无法修复的严重后果！ 场景一：CN回卷，且正常cn的nextxid未超过21亿1. 确认集群状态：3c18d确认gt...
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失...
- 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ... 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ...
- 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1.... 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1....
- 在一些局点的交付过程中，ISV需要使用行级访问策略进行用户访问权限控制，省级用户具有全部查询权限，部分市级用户设置行级访问权限。如果行级访问控制使用不好，会导致影响整体查询的执行效率，例如在业务系统建表的过程中，创建1个行级访问策略并增加case when条件，根据登录用户名（current_user）判断用户属性（省级用户还是市级用户），并进行访问控制，实际测试过程中省级用户查询执行耗时17秒。 在一些局点的交付过程中，ISV需要使用行级访问策略进行用户访问权限控制，省级用户具有全部查询权限，部分市级用户设置行级访问权限。如果行级访问控制使用不好，会导致影响整体查询的执行效率，例如在业务系统建表的过程中，创建1个行级访问策略并增加case when条件，根据登录用户名（current_user）判断用户属性（省级用户还是市级用户），并进行访问控制，实际测试过程中省级用户查询执行耗时17秒。
- 使用copymanager接口，读取二进制文件流，将二进制文件中的数据导入到数据库中 使用copymanager接口，读取二进制文件流，将二进制文件中的数据导入到数据库中
- DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，... DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，...
- 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同... 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同...
- 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压
- Kafka、SocketServer、RequestHandler、性能优化 Kafka、SocketServer、RequestHandler、性能优化
上滑加载中
推荐直播
-
基于HarmonyOS NEXT应用开发之旅2025/07/17 周四 19:00-20:00
吴玉佩、刘俊威-华为开发者布道师-高校学生
两位学生华为开发者布道师，连续两届HarmonyOS极客马拉松获奖选手联袂呈现HarmonyOS NEXT开发全景！从基础筑基，到工具提效。为您铺就一条从入门到精通的鸿蒙应用开发之路。无论您是新手开发者，还是经验老手，都能在此收获满满干货，开启您的HarmonyOS NEXT高效、智能开发新篇章！
回顾中
热门标签