- MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，非常实用于企业海量数据分析。Hive是建立在Hadoop之上的提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and Loading)操作。对庞大的数据集 MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，非常实用于企业海量数据分析。Hive是建立在Hadoop之上的提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and Loading)操作。对庞大的数据集
- ⭐️ 获取需要迁移的用户可以参考：Oracle 数据泵迁移用户创建 SQL语句 首先通过用户来获取迁移需要的表空间名称： SELECT distinct ''''|| t.tablespace_na... ⭐️ 获取需要迁移的用户可以参考：Oracle 数据泵迁移用户创建 SQL语句 首先通过用户来获取迁移需要的表空间名称： SELECT distinct ''''|| t.tablespace_na...
- CDM分库分表场景下的数据同步怎么实现？答：1、表名一致（或表名有规律，如可以用正则表达式匹配）并且表结构一样的多张表，可以通过配置一个作业将数据同步到hive表中 2、表名、表结构不同的多张表，需要配置多个作业将数据同步到hive表中 datax不支持多个任务并发写到一张hive表里，cdm是否支持？答：支持增量并发写入，不支持全量并发写入 能不能DMS-CDM-DLI？答... CDM分库分表场景下的数据同步怎么实现？答：1、表名一致（或表名有规律，如可以用正则表达式匹配）并且表结构一样的多张表，可以通过配置一个作业将数据同步到hive表中 2、表名、表结构不同的多张表，需要配置多个作业将数据同步到hive表中 datax不支持多个任务并发写到一张hive表里，cdm是否支持？答：支持增量并发写入，不支持全量并发写入 能不能DMS-CDM-DLI？答...
- 锦江都城决定将包括数据库在内的整体系统，迁移到华为云上……那么，这会不会是又一次历险呢？云上锦江，要如何赢在起跑线？ 锦江都城决定将包括数据库在内的整体系统，迁移到华为云上……那么，这会不会是又一次历险呢？云上锦江，要如何赢在起跑线？
- 此次在CLK2023分享的课题，其中的大部分内容之前已通过视频公开课的方式在网络上分享过，PPT中的内容写得更详细，并且新增了部分内容。123456789101112131415161718192021222324252627282930313233343536自动化测试ISO存储稳定性测试与数据一致性校验工具和系统37介绍文档：https://cloud.tencent.com/devel... 此次在CLK2023分享的课题，其中的大部分内容之前已通过视频公开课的方式在网络上分享过，PPT中的内容写得更详细，并且新增了部分内容。123456789101112131415161718192021222324252627282930313233343536自动化测试ISO存储稳定性测试与数据一致性校验工具和系统37介绍文档：https://cloud.tencent.com/devel...
- 1、CDM任务报错，报错信息如下：ERRORcdm-job-submit-pool19[org.apache.sqoop.utils.JdbcSandbox:62]occur exception, actual is :org.postgresql.util.PSQLException: An I/O ERROR occured while sending to the bac2、后台排查集... 1、CDM任务报错，报错信息如下：ERRORcdm-job-submit-pool19[org.apache.sqoop.utils.JdbcSandbox:62]occur exception, actual is :org.postgresql.util.PSQLException: An I/O ERROR occured while sending to the bac2、后台排查集...
- 1. cn报错信息为 received unexpected EOF from dn2. dn报错信息为An exception interrupts the sending to the client.3. dn报错信息此前无案例，通过分析多个业务的报错时间，为精确的8h，偏差在1min内，数据库statement_timeout参数为8h，初步判断是语句执行超时导致退出4. 调整stat... 1. cn报错信息为 received unexpected EOF from dn2. dn报错信息为An exception interrupts the sending to the client.3. dn报错信息此前无案例，通过分析多个业务的报错时间，为精确的8h，偏差在1min内，数据库statement_timeout参数为8h，初步判断是语句执行超时导致退出4. 调整stat...
- 前言华为云提供了以华为云数据库RDS为基础结合DAS、DRS、CDM服务实现数据库轻松迁移上云的解决方案。目标• 了解云上数据库的优势与价值• 区分不同数据库迁移的方法与特点• 描述RDS和CDM的迁移流程与技术原理• 区分DRS和CDM的适用场景数据库上云的背景与优势传统数据库面临的难题• 高投入• 周期长• 难运维• 不灵活云上数据库带来的经济效益1. 即开即用• 实时生产目标实例• 响... 前言华为云提供了以华为云数据库RDS为基础结合DAS、DRS、CDM服务实现数据库轻松迁移上云的解决方案。目标• 了解云上数据库的优势与价值• 区分不同数据库迁移的方法与特点• 描述RDS和CDM的迁移流程与技术原理• 区分DRS和CDM的适用场景数据库上云的背景与优势传统数据库面临的难题• 高投入• 周期长• 难运维• 不灵活云上数据库带来的经济效益1. 即开即用• 实时生产目标实例• 响...
- 除了空值和空字符串以外，其实还有⼀个隐藏的⼤boss——固定⻓度类型中的空格值。以Oracle DB为例，char类型⽤于存放固定⻓度的字符串，⽽⻓度不⾜的字符串则会被⾃动补充空格，对于这种值，⽆论是char_col=''还是char_col is null均⽆法识别，只能通过trim(char_col) is null识别，对此值使⽤length函数会返回本字段的⻓度，⼀个⾮0值。 除了空值和空字符串以外，其实还有⼀个隐藏的⼤boss——固定⻓度类型中的空格值。以Oracle DB为例，char类型⽤于存放固定⻓度的字符串，⽽⻓度不⾜的字符串则会被⾃动补充空格，对于这种值，⽆论是char_col=''还是char_col is null均⽆法识别，只能通过trim(char_col) is null识别，对此值使⽤length函数会返回本字段的⻓度，⼀个⾮0值。
- 1，系统环境准备，挂载nfsmount -V nfs -o rw,hard,noac,vers=3,timeo=600,rsize=32768,wsize=32768 10.250.250.1:/orabk /expchmod 777 /exp#alter system set events '10298 trace name context forever,level 32';2,导出数... 1，系统环境准备，挂载nfsmount -V nfs -o rw,hard,noac,vers=3,timeo=600,rsize=32768,wsize=32768 10.250.250.1:/orabk /expchmod 777 /exp#alter system set events '10298 trace name context forever,level 32';2,导出数...
- 1，问题通过rman数据库迁移，在对比发现部分job不一致，开发认为数据不一致？源数据库：新数据库：2，解决方法：1，job_queue_processes 数据库参数设置未0；2，在源数据库设置为只读，模式，备份所有归档日志。3，新目标数据库，只读模式打开，等待数据校验之后以resetlogs方式打开。4，设置job_queue_processes 为正常... 1，问题通过rman数据库迁移，在对比发现部分job不一致，开发认为数据不一致？源数据库：新数据库：2，解决方法：1，job_queue_processes 数据库参数设置未0；2，在源数据库设置为只读，模式，备份所有归档日志。3，新目标数据库，只读模式打开，等待数据校验之后以resetlogs方式打开。4，设置job_queue_processes 为正常...
- Database Manager是一款基于Web的数据库监控工具，提供丰富的界面展示，可有效监控多个集群数据库。通过管理员用户和普通用户区分查看和操作权限，对集群数据库进行安全的监控和运维操作。 Database Manager是一款基于Web的数据库监控工具，提供丰富的界面展示，可有效监控多个集群数据库。通过管理员用户和普通用户区分查看和操作权限，对集群数据库进行安全的监控和运维操作。
- 2024年创原会年度技术峰会迁移圆桌将于2024年12月20日在海南万宁举办，本次圆桌由华为云数字化平台迁移解决方案举办，以“AI领航，全面跃迁：如何做好数智升级的全场景迁移？”为主题，围绕AI Native的落地路径就AI领航的浪潮下，如何做好数智升级的全场景迁移展开深入探讨，助力企业在数字化智能跃迁路上稳步前行。 2024年创原会年度技术峰会迁移圆桌将于2024年12月20日在海南万宁举办，本次圆桌由华为云数字化平台迁移解决方案举办，以“AI领航，全面跃迁：如何做好数智升级的全场景迁移？”为主题，围绕AI Native的落地路径就AI领航的浪潮下，如何做好数智升级的全场景迁移展开深入探讨，助力企业在数字化智能跃迁路上稳步前行。
- CDM（Cloud Data Migration）提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持客户自建和公有云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。本文将以CDM迁移HDFS数据到华为云OBS为例，介绍CDM配置过程。 CDM（Cloud Data Migration）提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。支持客户自建和公有云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。本文将以CDM迁移HDFS数据到华为云OBS为例，介绍CDM配置过程。
- 天线接反，邻区漏配 天线接反，邻区漏配
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签