- 使用CDC工具进行数据实时同步时，若源库为主备并存场景，则目的端需要识别同步数据来自于主库还是备库，并加以分类处理，否则目的库中数据会出现与源端数据不一致的情况，本文介绍了一种解决此问题的方案。 使用CDC工具进行数据实时同步时，若源库为主备并存场景，则目的端需要识别同步数据来自于主库还是备库，并加以分类处理，否则目的库中数据会出现与源端数据不一致的情况，本文介绍了一种解决此问题的方案。
- 6月3日至4日，华为智慧既然弄峰会2021在上海成功举办，华为云FusionInsight总经理携手工商银行、北明软件等客户与伙伴，共同分享金融数据平台建设之道。同时，华为云FusionInsight联合伙伴，发布了一系列云原生2.0金融大数据解决方案，发展共创共享共赢的金融生态。 6月3日至4日，华为智慧既然弄峰会2021在上海成功举办，华为云FusionInsight总经理携手工商银行、北明软件等客户与伙伴，共同分享金融数据平台建设之道。同时，华为云FusionInsight联合伙伴，发布了一系列云原生2.0金融大数据解决方案，发展共创共享共赢的金融生态。
- Hetu Hetu
- hudi的索引分为三部分：1、索引的数据结构2、索引的写入3、索引的使用1、索引的数据结构hudi的bloomfilter使用的是hadoop的bloomfilter实现，hadoop bloomFilter需要配置每个过滤器（单个文件的过滤器）包含的数据量（hoodie.index.bloom.num_entries， 默认60000），因此，当单文件数据量较大时，存在较大的错误率。在此基... hudi的索引分为三部分：1、索引的数据结构2、索引的写入3、索引的使用1、索引的数据结构hudi的bloomfilter使用的是hadoop的bloomfilter实现，hadoop bloomFilter需要配置每个过滤器（单个文件的过滤器）包含的数据量（hoodie.index.bloom.num_entries， 默认60000），因此，当单文件数据量较大时，存在较大的错误率。在此基...
- Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l... Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l...
- 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。
- 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性... 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性...
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失...
- 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ... 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ...
- 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1.... 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1....
- Hadoop如何调整某一个类的日志级别 Hadoop如何调整某一个类的日志级别
- 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压
- Kafka、SocketServer、RequestHandler、性能优化 Kafka、SocketServer、RequestHandler、性能优化
- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu
- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hive 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hive
上滑加载中
推荐直播
-
基于昇腾的皮肤病理多模态大模型研发2025/06/05 周四 19:00-20:00
崔笑宇 华为开发者布道师-高校教师
本期直播聚焦昇腾AI平台在皮肤病理多模态大模型研发中的全流程技术突破，通过基于国产基座模型QwenV2.5进行微调，融入思维链数据优化推理能力，深度融合病理图像、临床文本及专家语音等多模态数据，构建覆盖“认知行为-逻辑推理-决策生成”全流程的皮肤病理大模型。
回顾中 -
云技术精髓入门级开发者认证考试辅导2025/06/09 周一 16:00-17:30
大树 / 华为云学堂技术讲师
本次直播专为备考云技术精髓入门级开发者认证的学员设计，提供系统考试辅导。深度解析认证核心知识点，涵盖云技术基础概念、华为云基础设施与生态政策；详解计算、存储等华为云核心服务功能、场景及操作；解读云原生技术价值与转型要点。
回顾中
热门标签