- 虽然自研替代的呼声一直很高，但自研改造的过程从来不是一蹴而就的，软硬件迁移也是如此。个中的艰辛，也只有身在局中的人最有体会。 数据库迁移，首选华为云RDS 贺奎先后参与福彩快开乐系统路由设备开发，华为欧拉操作系统升级、以及监控告警代码的开发与维护工作。这一次的工作算是比较特殊的：承担数据库迁移方案的设计与实施，包括组件编译、适配、部署、测试等，协助客户将数据库迁移到华为云鲲鹏服务器，从... 虽然自研替代的呼声一直很高，但自研改造的过程从来不是一蹴而就的，软硬件迁移也是如此。个中的艰辛，也只有身在局中的人最有体会。 数据库迁移，首选华为云RDS 贺奎先后参与福彩快开乐系统路由设备开发，华为欧拉操作系统升级、以及监控告警代码的开发与维护工作。这一次的工作算是比较特殊的：承担数据库迁移方案的设计与实施，包括组件编译、适配、部署、测试等，协助客户将数据库迁移到华为云鲲鹏服务器，从...
- 本篇简单介绍一些在CDM使用过程中的界面展示报错码的排查策略，希望能对您在使用CDM 的过程中产生帮助。下面是CDM界面报错举例：1.CDM.0941现象：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确。请检查： 1.看看客户的网络通不通 进入数据库ping一下 2.CDM需要在同一个安全组 和VPC下... 本篇简单介绍一些在CDM使用过程中的界面展示报错码的排查策略，希望能对您在使用CDM 的过程中产生帮助。下面是CDM界面报错举例：1.CDM.0941现象：无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确。请检查： 1.看看客户的网络通不通 进入数据库ping一下 2.CDM需要在同一个安全组 和VPC下...
- CDM 集群点击响应失败分析思路 CDM 集群点击响应失败分析思路
- 华为云遇到网络不通、权限不够等问题的解决方案。 华为云遇到网络不通、权限不够等问题的解决方案。
- 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如 图1所示。CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器：脱敏去前后空格字符串反转字符串替换去换行表达式转换脱敏隐藏字符串中的关键信息，例如要将 “12345678910”转换为 “123****8910”，则配置如下：“起始保留长度”为“3”。“结尾保留长度”为“4”.。“替换字符”为“*”。去前后空格自动去字符串前... 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如 图1所示。CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器：脱敏去前后空格字符串反转字符串替换去换行表达式转换脱敏隐藏字符串中的关键信息，例如要将 “12345678910”转换为 “123****8910”，则配置如下：“起始保留长度”为“3”。“结尾保留长度”为“4”.。“替换字符”为“*”。去前后空格自动去字符串前...
- 从FTP/SFTP/NAS/OBS/OSS/KODO/SFS导出文件时，CDM支持文件列表迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移的作业时，如果源端数据源为FTP/SFTP/NAS/OBS/OSS/KODO/SFS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可... 从FTP/SFTP/NAS/OBS/OSS/KODO/SFS导出文件时，CDM支持文件列表迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移的作业时，如果源端数据源为FTP/SFTP/NAS/OBS/OSS/KODO/SFS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间默认使用“|”分隔，您也可...
- CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将... CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将...
- 问题背景在一些客户使用专线迁移数据的场景，cdm默认会吃满专线的带宽。因此，CDM利用Agent管理帮助客户限制CDM迁移数据的速率。使用流程新建Agent登录CDM管理控制台。单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > Agent管理 > 新建Agent”，配置Agent相关信息，如图3所示。图3 配置AgentIP地址：配置为源端网络中部署Agent的机器IP。端口：... 问题背景在一些客户使用专线迁移数据的场景，cdm默认会吃满专线的带宽。因此，CDM利用Agent管理帮助客户限制CDM迁移数据的速率。使用流程新建Agent登录CDM管理控制台。单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > Agent管理 > 新建Agent”，配置Agent相关信息，如图3所示。图3 配置AgentIP地址：配置为源端网络中部署Agent的机器IP。端口：...
- 问题背景cdm集群跨VPC连接RDS失败，用户已经配了对等连接。分析cdm的网卡分配策略：1）CDM集群所在VPC网段为192.168.0.0/24，则CDM集群在创立的时候网卡分与网段对应关系如下管理面~eth0 ~ 172.16.0.0/24，业务面 ~ eth1 ~ 192.168.0.0/24 2) CDM集群所在VPC网段为172.16.0.0/24，则CDM集群在创立的时候网卡分... 问题背景cdm集群跨VPC连接RDS失败，用户已经配了对等连接。分析cdm的网卡分配策略：1）CDM集群所在VPC网段为192.168.0.0/24，则CDM集群在创立的时候网卡分与网段对应关系如下管理面~eth0 ~ 172.16.0.0/24，业务面 ~ eth1 ~ 192.168.0.0/24 2) CDM集群所在VPC网段为172.16.0.0/24，则CDM集群在创立的时候网卡分...
- CDM集群升级踩坑1. 通配符过滤器版本：187 –>2.1.1，2.3.0，2.3.1，2.5.0，2.6.0；作业类型：文件到文件；高级配置：源端配置了通配符过滤器兼容问题：对比如下 解决方案：在1.8.7的作业json中加入{ "name":"fromJobConfig.useWildCard", "value":"false"},2. 时间过滤器版本：18... CDM集群升级踩坑1. 通配符过滤器版本：187 –>2.1.1，2.3.0，2.3.1，2.5.0，2.6.0；作业类型：文件到文件；高级配置：源端配置了通配符过滤器兼容问题：对比如下 解决方案：在1.8.7的作业json中加入{ "name":"fromJobConfig.useWildCard", "value":"false"},2. 时间过滤器版本：18...
- Agent管理对于HDFS和关系型数据库类型的数据源，不方便暴露节点的场景，可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据，但不支持写入数据。图1-1 场景图 图1-2 Agent使用流程 前提条件已创建集群。新建Agent 步骤 1 登录CDM管理控制台。 ... Agent管理对于HDFS和关系型数据库类型的数据源，不方便暴露节点的场景，可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据，但不支持写入数据。图1-1 场景图 图1-2 Agent使用流程 前提条件已创建集群。新建Agent 步骤 1 登录CDM管理控制台。 ...
- MyCat简介什么是MyCatMyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。 MyCat官网：http://www.mycat.io/ MyCat配置配置：--bin 启动目录--conf 配置目录存放配置文件： --server.xml：是Mycat服务器参数调整和用户授... MyCat简介什么是MyCatMyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。 MyCat官网：http://www.mycat.io/ MyCat配置配置：--bin 启动目录--conf 配置目录存放配置文件： --server.xml：是Mycat服务器参数调整和用户授...
- 问题背景使用CDM迁移华为Gauss DB A的数据，建立连接时报错，网络已打通。问题分析GaussDB 是基于PG的，PG数据库默认只允许本机通过访问数据库，CDM作为远程客户端无法访问。问题解决1. 修改postgresql.conf在pg的安装目录下找到postgresql.conf 文件，打开该文件并找到如下一行将其修改为listen_addresses='*' # 允许任意ip访... 问题背景使用CDM迁移华为Gauss DB A的数据，建立连接时报错，网络已打通。问题分析GaussDB 是基于PG的，PG数据库默认只允许本机通过访问数据库，CDM作为远程客户端无法访问。问题解决1. 修改postgresql.conf在pg的安装目录下找到postgresql.conf 文件，打开该文件并找到如下一行将其修改为listen_addresses='*' # 允许任意ip访...
- CDM配合DLF补数据功能，根据日期或者递增ID，配置作业自动分片迁移 CDM配合DLF补数据功能，根据日期或者递增ID，配置作业自动分片迁移
- CDM文件到表迁移时难免受脏数据干扰，导致迁移任务失败。为了规避脏数据干扰，配置任务时在高级属性配置（是否写入脏数据选填是）脏数据归档相关信息。 CDM文件到表迁移时难免受脏数据干扰，导致迁移任务失败。为了规避脏数据干扰，配置任务时在高级属性配置（是否写入脏数据选填是）脏数据归档相关信息。
上滑加载中
推荐直播
-
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
回顾中 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名 -
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
去报名
热门标签