- 使用CDC工具进行数据实时同步时，若源库为主备并存场景，则目的端需要识别同步数据来自于主库还是备库，并加以分类处理，否则目的库中数据会出现与源端数据不一致的情况，本文介绍了一种解决此问题的方案。 使用CDC工具进行数据实时同步时，若源库为主备并存场景，则目的端需要识别同步数据来自于主库还是备库，并加以分类处理，否则目的库中数据会出现与源端数据不一致的情况，本文介绍了一种解决此问题的方案。
- 6月3日至4日，华为智慧既然弄峰会2021在上海成功举办，华为云FusionInsight总经理携手工商银行、北明软件等客户与伙伴，共同分享金融数据平台建设之道。同时，华为云FusionInsight联合伙伴，发布了一系列云原生2.0金融大数据解决方案，发展共创共享共赢的金融生态。 6月3日至4日，华为智慧既然弄峰会2021在上海成功举办，华为云FusionInsight总经理携手工商银行、北明软件等客户与伙伴，共同分享金融数据平台建设之道。同时，华为云FusionInsight联合伙伴，发布了一系列云原生2.0金融大数据解决方案，发展共创共享共赢的金融生态。
- Hetu Hetu
- hudi的索引分为三部分：1、索引的数据结构2、索引的写入3、索引的使用1、索引的数据结构hudi的bloomfilter使用的是hadoop的bloomfilter实现，hadoop bloomFilter需要配置每个过滤器（单个文件的过滤器）包含的数据量（hoodie.index.bloom.num_entries， 默认60000），因此，当单文件数据量较大时，存在较大的错误率。在此基... hudi的索引分为三部分：1、索引的数据结构2、索引的写入3、索引的使用1、索引的数据结构hudi的bloomfilter使用的是hadoop的bloomfilter实现，hadoop bloomFilter需要配置每个过滤器（单个文件的过滤器）包含的数据量（hoodie.index.bloom.num_entries， 默认60000），因此，当单文件数据量较大时，存在较大的错误率。在此基...
- Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l... Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l...
- 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。
- 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性... 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性...
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失...
- 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ... 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ...
- 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1.... 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1....
- Hadoop如何调整某一个类的日志级别 Hadoop如何调整某一个类的日志级别
- 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压
- Kafka、SocketServer、RequestHandler、性能优化 Kafka、SocketServer、RequestHandler、性能优化
- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu
- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hive 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hive
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签