华为云用户手册

  • 网络配置流程 创建DRS实例,并获取DRS实例私有IP地址。 DRS迁移实例创建成功后,界面会显示DRS迁移实例的私有IP地址。 图3 DRS实例私有IP 配置源库所在安全组和源库所在子网的网络ACL。 安全组:增加云数据库安全组入方向规则,放通DRS私网IP作为源地址可以访问云数据库监听端口。 网络ACL:VPC默认没有网络ACL,如果您设置过网络ACL,需要增加入方向规则,允许放通DRS私网IP作为源地址、随机端口作为源端口范围,RDS源数据库的IP作为目的地址、监听端口作为目的端口范围。 配置DRS迁移实例所在安全组和DRS所在子网的网络ACL。 VPC默认没有网络ACL,默认安全组的规则在出方向数据全部放行,DRS迁移实例和目标RDS数据库在相同安全组默认互通,所以在默认场景下无需配置。 如果您设置过网络ACL或安全组,请登录VPC管理控制台进行检查和配置。 安全组:确保DRS私网IP出方向到源数据库的IP、监听端口放通。 网络ACL:确保DRS私网IP、随机端口出方向和源数据库的IP、监听端口放通。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入源数据库IP、端口、用户名、密码进行测试连接。
  • 网络配置流程 创建DRS实例,并获取DRS实例所在子网和私有IP地址。 DRS实例所在子网默认选择与目标库在同一个子网。 图3 迁移实例信息 DRS迁移实例创建成功后,界面会显示DRS迁移实例的私有IP地址。 图4 DRS实例私有IP 查询DRS实例所在VPC信息。 DRS迁移实例默认和目标RDS数据库创建在相同VPC,因此可以登录目标RDS查看“基本信息”获取迁移实例所在VPC信息。 图5 目标库信息 购买VPN,并配置VPN网关和连接。 购买VPN和配置VPN相关操作,可参考《 虚拟专用网络 快速入门》。 其中创建VPN网关时的虚拟私有云参数为步骤2中DRS迁移实例所在VPC名称。创建VPN连接时填写的本端子网参数,填写步骤1中DRS迁移实例所在子网。 在其他云购买VPN,并根据华为云VPN配置进行对接。 具体操作请参考其他云对应官网资料进行VPN购买和对接。 其他云数据库添加白名单 其他云数据库需要添加DRS迁移实例私有IP访问数据库的权限。各厂商云数据库添加白名单的方法不同,请参考各数据库官方文档进行操作。 配置安全组和网络ACL。 VPC默认没有网络ACL,默认安全组的规则在出方向数据全部放行,DRS迁移实例和目标RDS数据库在相同安全组默认互通,所以在默认场景下无需配置。 如果您设置过网络ACL或安全组,请登录VPC管理控制台进行配置。 安全组:确保DRS私网IP出方向到源数据库的IP、监听端口放通。 网络ACL:确保DRS私网IP、随机端口出方向和源数据库的IP、监听端口放通。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入其他云的数据库IP、端口、用户名、密码进行测试连接。
  • 网络配置流程 创建DRS公网网络任务,为DRS实例绑定弹性公网IP。 在创建公网网络的DRS任务时,可在实例信息页面为DRS实例绑定弹性公网IP。 其他云申请弹性公网IP并绑定到数据库。 不同数据库对应方法不同,具体操作步骤可参考其他云官网资料进行设置。 其他云数据库添加白名单。 其他云数据库需要添加DRS弹性公网IP远程访问数据库的权限。 各厂商云数据库添加白名单的方法不同,请参考各厂商云数据库官方文档进行操作。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入其他云的数据库IP、端口、用户名、密码进行测试连接。
  • 网络配置流程 创建DRS实例,并获取DRS实例所在子网和私有IP地址。 DRS实例所在子网默认选择与目标库在同一个子网。 图3 迁移实例信息 DRS迁移实例创建成功后,界面会显示DRS迁移实例的私有IP地址。 图4 DRS实例私有IP 查询DRS实例所在VPC信息。 DRS迁移实例默认和目标RDS数据库创建在相同VPC,因此可以登录目标RDS查看“基本信息”获取迁移实例所在VPC信息。 图5 目标库信息 购买VPN,并配置VPN网关和连接。 购买VPN和配置VPN相关操作,可参考《虚拟专用网络快速入门》。 其中创建VPN网关时的虚拟私有云参数为步骤2中DRS迁移实例所在VPC名称。创建VPN连接时填写的本端子网参数,填写步骤1中DRS迁移实例所在子网。 本地数据中心配置VPN对端设备。 本地数据中心网络采用不同类型的防火墙或主机,可参考《虚拟专用网络快速入门》中的“配置对端设备”章节实现本地数据中心数据库所在网络和华为云DRS所在VPC子网的互通。 本地数据中心自建数据库添加白名单。 本地数据中心自建数据库需要添加DRS私有IP远程访问数据库的权限。 各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 配置安全组和网络ACL。 VPC默认没有网络ACL,默认安全组的规则在出方向数据全部放行,DRS迁移实例和目标RDS数据库在相同安全组默认互通,所以在默认场景下无需配置。 如果您设置过网络ACL或安全组,请登录VPC管理控制台进行配置。 安全组:确保DRS私网IP出方向到本地数据中心自建数据库的IP、监听端口放通。 网络ACL:确保DRS私网IP、随机端口出方向和本地数据中心自建数据库的IP、监听端口放通。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入本地数据中心的数据库IP、端口、用户名、密码进行测试连接。
  • 网络配置流程 创建DRS公网网络任务,为DRS实例绑定弹性公网IP。 在创建公网网络的DRS任务时,可在实例信息页面为DRS实例绑定弹性公网IP。 本地数据中心的防火墙设置。 本地数据中心防火墙需要放通DRS实例弹性公网IP的访问,使得DRS可以正常访问本地数据中心自建数据库。 入方向放行:放通DRS实例弹性公网IP到数据库监听端口的访问。 出方向放行:放通数据库监听端口到实例弹性公网IP的数据传输。 本地数据中心自建数据库添加白名单。 本地数据中心自建数据库需要添加DRS弹性公网IP远程访问数据库的权限。 各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入本地数据中心的数据库IP、端口、用户名、密码进行测试连接。
  • 准备工作概览 当您在使用DRS创建任务时,需要提前做一些准备工作,以满足DRS任务的环境要求。 表1 准备工作概览 准备项 说明 需要执行的准备工作 账号准备 准备华为账号,创建用户并赋权使用DRS。 参考 注册华为账号 并开通华为云。 参考权限管理创建用户并授权使用DRS。 数据库准备 源和目标数据库以及对应连接账号权限准备。 说明: 建议创建单独用于DRS任务连接的数据库账号,避免因为账号修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请尽快修改DRS任务中的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 不同链路,数据库和权限的要求也不同,可参考以下链接,选择对应链路查看使用须知: 支持的数据库版本 实时迁移方案概览 备份迁移方案概览 实时同步方案概览 数据订阅使用须知 实时灾备方案概览 网络准备 源数据库部署在本地 参考本地数据库到华为云进行网络准备。 源数据库为其他云数据库 参考其他云数据库到华为云进行网络准备。 源数据库为华为云上数据库 参考华为云数据库到华为云进行网络准备。 源数据库库为华为云E CS 自建库 参考华为云ECS自建数据库到华为云进行网络准备。 父主题: 准备工作
  • ECS自建数据库实时迁移 网络准备: 源数据库所在的region要和目标端本云云数据库 RDS for MySQ L实例 所在的region保持一致。 源数据库可以与目标端本云云数据库 RDS for MySQL实例在同一个VPC,也可以不在同一个VPC。 当源库和目标库处于同一个VPC时,网络默认是互通的。 当不在同一个VPC的时候,要求源数据库实例和目标端本云云数据库 RDS for MySQL实例所处的子网处于不同网段,此时需要通过建立对等连接实现网络互通。具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》。 安全规则准备: 同一VPC场景下,默认网络是连通的,不需要单独设置安全组。 不同VPC场景下,通过建立对等连接就可以实现网络互通,不需要单独设置安全组。
  • 本地数据库实时迁移 网络准备: 源数据库的网络设置: 本地MySQL数据库迁移至本云云数据库 RDS for MySQL的场景,一般可以使用VPN网络和公网网络两种方式进行迁移,您可以根据实际情况为本地MySQL数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移,该方式下的数据迁移过程较为方便和经济。 目标数据库的网络设置: 若通过VPN访问,请先开通VPN服务,确保源数据库MySQL和目标端本云云数据库 RDS for MySQL的网络互通。 若通过公网网络访问,本云云数据库 RDS for MySQL实例不需要进行任何设置。 安全规则准备: 源数据库的安全规则设置: 若通过公网网络进行迁移,源数据库MySQL需要将DRS迁移实例的弹性公网IP添加到其网络白名单内,使源数据库与本云的网络互通。在设置网络白名单之前,需要获取DRS迁移实例的弹性公网IP,具体方法如下: DRS迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。 若通过VPN网络进行迁移,源数据库MySQL需要将DRS迁移实例的私有IP添加到其网络白名单内,使源数据库与本云的网络互通。DRS迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的私有IP。 以上白名单是为了进行迁移针对性设置的,迁移结束后可以删除。 目标数据库安全规则设置: 目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直接写入数据到目标数据库。 设置目标数据库所在VPC的安全组,确保DRS实例IP的出方向到本地数据数据库的IP、监听端口放通。具体设置如下图所示: 图2 出口规则
  • 排查iptables设置 以源数据库为本云ECS自建数据库为例,如果在上述的操作后,仍无法连通,此时需要额外排查iptables设置,因为HOSTGUARD服务在DRS发起频繁连接请求失败时,会将请求IP加入黑名单中。 登录弹性云服务器。 执行以下命令,排查是否有DENY相关的项目包含DRS实例的IP,一般项目名称为IN_HIDS_MYSQLD_DENY_DROP 。 iptables --list 如果存在,执行以下命令,查询iptables入方向规则列表,获取具体规则编号(line-numbers)。 iptables -L INPUT --line-numbers 执行以下命令,删除DRS实例的IP相关的入方向规则(注意:必须从后往前删,不然line-numbers会更新,需要重新查询)。 iptables -D 规则项目名 具体规则编号 删除相关iptables规则后重新进行测试连接即可。
  • 跨云数据库实时迁移 网络准备。 源数据库需要开放公网访问。 源数据库的网络设置: 源数据库MySQL实例需要开放外网 域名 的访问。 以阿里云云数据库RDS MySQL迁移到本云云数据库 RDS for MySQL为例,一般情况下,阿里云RDS MySQL不提供外网地址,需要通过申请外网地址来允许外部的应用对接,具体的操作及注意事项可以参考源数据库所在云提供的相关指导。 目标数据库的网络设置: 目标数据库默认与DRS迁移实例处在同一个VPC内,网络是互通的,不需要进行任何设置。 安全规则准备。 源数据库的安全规则设置: 源数据库MySQL实例需要将DRS迁移实例的弹性公网IP添加到其网络白名单中,确保源数据库MySQL实例可以与上述弹性公网IP连通。 以上讲述的是精细配置白名单的方法,还有一种简单设置白名单的方法,在安全允许的情况下,可以将源数据库MySQL实例的网络白名单设置为0.0.0.0/0,代表允许任何IP地址访问该实例。 上述的网络白名单是为了进行数据迁移设置的,迁移结束后可以删除。 目标数据库安全规则设置: 目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直接写入数据到目标数据库。 设置目标数据库所在VPC的安全组,确保DRS实例IP的出方向到本地数据数据库的IP、监听端口放通。具体设置如下图所示: 图1 出口规则
  • 数据修复(公测中) 当静态内容对比结果中存在不一致数据时,可在对比报表的明细页中选取不一致的表进行数据修复。数据修复结果为可在目标库执行的修复SQL。修复完成后可在对比报表的修复进度明细页查看不一致行的修复SQL生成详情,也可导出和下载针对本次对比所有已生成的不一致SQL,并结合实际情况在目标库手动执行修复SQL。数据修复具有如下约束。 数据修复功能仅支持白名单用户使用,当前仅支持MYSQL-MYSQL链路。 对于修复SQL为INSERT或UPDATE语句的场景,修复SQL中将展示不一致行的所有列内容,列值为对应列在源库的当前值。 历史的比对任务可能由于缺少修复信息而修复失败,需要重新比对后再进行修复。 每个灾备任务仅保留最新一次数据修复的修复进度明细信息页面。 单个不一致行的数据大小最大支持4M,超过时对应的修复SQL将生成失败。 DRS生成的修复SQL中,时间类型字段的内容是基于UTC时间的,如果表中存在时间字段,目标库执行修复SQL前需先将会话时区设置为0时区。各数据库类型对应的会话时区设置SQL示例如下表。 请谨慎执行修复SQL中的DELETE语句。 表2 各数据库类型设置会话时区为0时区的SQL示例 数据库类型 时区设置SQL MYSQL SET session time_zone='+00:00';
  • 对数据库影响 对象对比:会查询源库及目标库的系统表,占用10个左右的session的连接数,正常情况不会对数据库产生影响。但是如果对象数量巨大(比如几十万张表),可能会对数据库产生一定的查询压力。 行数对比:会查询源库及目标库的表行数,占用10个左右的session的连接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据,涉及每个字段都会对比,所以会对数据库产生一定的查询压力,主要体现在IO上,查询速度受限于源库和目标库的IO和网络带宽。占用1-2个CPU,占用10个左右的session的连接数。 用户对比:会查询源库及目标库的账户和权限,基本不会对数据库产生影响。
  • 约束限制 对比是大小写敏感的,如果业务数据库或灾备数据库一端为非大小写敏感,一端为大小写敏感,对比结果可能出现不一致的情况。 如果在对比时业务数据库进行DDL操作,为保证对比结果的准确性,需重新进行内容对比。 如果单独对灾备数据库进行数据修改操作,可能会导致对比结果不一致。 如果业务数据库字符类型存在编码异常的情况,通过DRS灾备或对比时会因数据库驱动转码转换为异常码点,最终可能导致内容对比一致,实际字节不一致。 内容对比功能目前只支持带有主键的表,对于不支持内容对比的表可以使用行数对比功能。所以数据级对比功能需要结合业务场景,选用行数对比或者内容对比。 DRS进行内容比对期间不能暂停DRS任务,否则可能导致比对任务失败。 部分数据类型不支持内容对比,详情参考内容对比不支持哪些数据类型。 为避免占用资源,DRS对行对比的时长进行限制,超过限制时长,行对比任务自动停止。业务数据库是关系型数据库时,行对比限制时长为60分钟;业务数据库为非关系数据库,行对比限制时长为30分钟。 为避免占用资源,DRS任务的对比结果限制保留60天,60天后自动清除。 对于支持内容对比的灾备链路,如果创建任务时可以选择实例规格,那么仅支持大规格及以上规格进行内容对比。 MySQL、TaurusDB为源链路,源数据库中的虚拟列不支持内容对比,对比时会过滤虚拟列。
  • 操作步骤 在“实时灾备管理”界面,选中指定灾备任务,单击任务名称。 在“灾备日志”页签选择“运行日志”,查看当前灾备任务的运行日志。 图1 查看灾备日志 除此以外,DRS支持对接 云日志 服务(Log Tank Service,简称LTS),进行LTS日志配置后,DRS实例新生成的所有日志记录会上传到云日志服务进行管理,详情可参考日志配置管理。 在“灾备日志”页签选择“操作日志”,查看当前灾备任务的操作日志。 图2 操作日志
  • 操作步骤 在“实时灾备管理”界面,选中指定灾备任务,单击任务名称,进入“基本信息”页面。 单击“灾备进度”页签,查看灾备进度。当数据初始化完成时,显示初始化进度为100%。 您可在“灾备进度”页签下,查看灾备同步时延。 灾备同步时延也可在“实时灾备管理”界面查看,当时延超过用户设置或系统默认的时延阈值时,任务管理界面增量时延显示为红色。 当时延为0s时,表示业务数据库和灾备数据库进入近实时同步状态,此时可以通过“灾备监控”页签查看更多时延指标,如RPO、RTO等。 时延 = 源库当前系统时间 - 成功同步到目标库的最新一个事务在源库的提交成功时间。 一个事务同步的完整过程如下: 源端数据库的抽取; 经过网络的传输; 由DRS进行日志解析; 最终在目标数据库上的执行完成。 这样完成了事务从源到目标的同步,时延为该事务最后在目标数据库上执行完成时的源库当前系统时间(current_time)与该事务在源库的提交成功时间(committed_time)的时间差,时延为0代表源和目标瞬时一致,无新的事务需要同步。 长时间未提交事务和频繁DDL操作均可以造成高时延。
  • 使用场景 为了解决地区故障导致的业务不可用, 数据复制服务 推出灾备场景,为用户业务连续性提供数据库的同步保障。当主实例所在区域发生突发生自然灾害等状况无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。数据复制服务提供的实时灾备功能,可实现主实例和跨区域的灾备实例之间的实时同步。 一次完整的数据灾备,是以任务作为导向,依次进行灾备进度观察、灾备 日志分析 、灾备数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据同步。
  • 使用流程 数据灾备的使用流程如下: 图1 数据灾备流程 步骤一:创建灾备任务。根据需要,选择业务数据库和灾备数据库,创建灾备任务。 步骤二:查询灾备进度。灾备过程中,可以通过查看灾备进度了解数据灾备完成情况。 步骤三:查看灾备日志。灾备日志包含告警、错误和提示等类型的信息,可根据此类信息分析系统存在的问题。 步骤四:对比灾备项。数据灾备提供对比功能,可根据需要查看对象级对比、数据级对比等,来确保业务数据库和灾备数据库的数据一致性。 本章节将以MySQL到RDS for MySQL的灾备场景为示例,介绍在公网网络场景下,通过数据复制服务管理控制台配置数据灾备任务的流程,其他存储引擎的配置流程类似。 在数据复制服务中,数据库灾备是通过任务的形式完成的,通过创建任务,可以完成任务信息配置、任务创建。灾备任务创建成功后,您也可以通过数据复制服务管理控制台,对任务进行管理。
  • 任务状态说明 实时灾备提供了多种任务状态,以便区分不同阶段的灾备任务。 实时灾备任务的状态和说明,请参见表1。 表1 实时灾备任务状态和说明 状态 说明 创建中 正在创建数据复制服务需要用到的灾备实例。 配置 灾备实例创建成功,但还没有启动任务,可以继续配置任务。 冻结 账户余额小于或等于0元,系统对该用户下的实例进行冻结。 等待启动 已经下发了定时启动任务到灾备实例上,等待灾备实例启动任务。 启动中 正在启动灾备任务。 启动失败 实时灾备任务启动失败。 初始化 正在进行业务数据库到灾备数据库的全量数据初始化。 初始化完成 已完成灾备任务的初始化。 灾备中 持续进行从业务数据库到灾备数据库的增量数据灾备。 倒换中 正在进行灾备任务的主备倒换。 已暂停 实时灾备步任务已暂停。 灾备异常 灾备阶段中,任务出现异常。 结束任务 释放该灾备实例和资源。 结束任务中 正在释放灾备任务所使用的灾备实例和资源。 结束任务失败 释放灾备任务所使用的实例和资源失败。 已结束 灾备任务所使用的灾备实例释放成功。 对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。 对于未启动、状态为配置中的任务,DRS默认保留3天,超过3天DRS会自动删除后台资源,当前任务状态不变。当用户再次配置时,DRS会重新申请资源。 已删除的灾备任务在状态列表中不显示。 父主题: 任务生命周期
  • 支持的源和目标数据库 表1 支持的数据库 源数据库版本 目标数据库版本 RDS for SQL Server全量备份文件版本: Microsoft SQL Server 2008 企业版、标准版、Web版 Microsoft SQL Server 2012 企业版、标准版、Web版 Microsoft SQL Server 2014 企业版、标准版、Web版 Microsoft SQL Server 2016 企业版、标准版、Web版 Microsoft SQL Server 2017 企业版、标准版、Web版 Microsoft SQL Server 2019 企业版、标准版、Web版 Microsoft SQL Server 2022 企业版、标准版、Web版 RDS for SQL Server Microsoft SQL Server 2008 企业版、标准版、Web版(存量版本) Microsoft SQL Server 2012 企业版、标准版、Web版 Microsoft SQL Server 2014 企业版、标准版、Web版 Microsoft SQL Server 2016 企业版、标准版、Web版 Microsoft SQL Server 2017 企业版、标准版、Web版 Microsoft SQL Server 2019 企业版、标准版、Web版 Microsoft SQL Server 2022 企业版、标准版、Web版 说明: 仅支持目标库大版本等于或高于源库大版本。 仅支持目标库功能性版本等于或高于源库功能性版本,如web版到标准版、标准版到企业版、企业版到企业版
  • 支持的源和目标数据库 表1 支持的数据库 源数据库版本 目标数据库版本 本地及其他云Microsoft SQL Server数据库备份文件版本: Microsoft SQL Server 2000 企业版、标准版 Microsoft SQL Server 2005 企业版、标准版 Microsoft SQL Server 2008 企业版、标准版、Web版 Microsoft SQL Server 2012 企业版、标准版、Web版 Microsoft SQL Server 2014 企业版、标准版、Web版 Microsoft SQL Server 2016 企业版、标准版、Web版 Microsoft SQL Server 2017 企业版、标准版、Web版 Microsoft SQL Server 2019 企业版、标准版、Web版 RDS for SQL Server Microsoft SQL Server 2008 企业版、标准版、Web版(存量版本) Microsoft SQL Server 2012 企业版、标准版、Web版 Microsoft SQL Server 2014 企业版、标准版、Web版 Microsoft SQL Server 2016 企业版、标准版、Web版 Microsoft SQL Server 2017 企业版、标准版、Web版 Microsoft SQL Server 2019 企业版、标准版、Web版 说明: 仅支持目标库大版本等于或高于源库大版本。 仅支持目标库功能性版本等于或高于源库功能性版本,如web版到标准版、标准版到企业版、企业版到企业版
  • 备份文件准备 请先阅读以确保您已了解备份迁移任务所需要的各项使用条件,以便帮助您顺利完成数据迁移。 表2 备份文件准备 迁移场景 准备工作 OBS自建桶场景 准备一个OBS桶,如果没有,则首先需要创建,相关操作请参见《 对象存储服务 控制台指南》中“创建桶”章节。 OBS桶里需要存在待还原的数据库备份文件,如果没有,需将本地的备份文件上传到OBS桶,并注意备份文件名称格式的正确性。上传备份文件的方法请参见《对象存储服务控制台指南》中“上传文件”章节。 如果批量上传多个文件(单次最多支持100个文件同时上传,总大小不超过5GB),或单次上传文件大于5GB,需下载OBS Browser+客户端,安装并登录,相关操作请参见《对象存储服务客户端指南》。 说明: 本地备份文件上传到OBS桶时,暂不支持KMS加密方式。 本地备份文件上传到OBS桶时,请选择“标准存储”,否则会导致备份文件迁移失败。 当桶内数据超过500条,可能会造成数据溢出现象,导致部分数据无法展示,建议使用独立的标准桶,桶的权限为公共读。 建议备份文件放置于同区域且独立的公共桶,混用其他公共桶可能会因为其他文件过多,而无法展示迁移备份文件。 应确保本地备份文件的完整性,避免因文件损坏导致备份恢复失败。
  • 数据修复(公测中) 当静态内容对比结果中存在不一致数据时,可在对比报表的明细页中选取不一致的表进行数据修复。数据修复结果为可在目标库执行的修复SQL。修复完成后可在对比报表的修复进度明细页查看不一致行的修复SQL生成详情,也可导出和下载针对本次对比所有已生成的不一致SQL,并结合实际情况在目标库手动执行修复SQL。数据修复具有如下约束。 数据修复功能仅支持白名单用户使用,当前仅支持MYSQL-MYSQL链路。 对于修复SQL为INSERT或UPDATE语句的场景,修复SQL中将展示不一致行的所有列内容,列值为对应列在源库的当前值。 历史的比对任务可能由于缺少修复信息而修复失败,需要重新比对后再进行修复。 每个迁移任务仅保留最新一次数据修复的修复进度明细信息页面。 单个不一致行的数据大小最大支持4M,超过时对应的修复SQL将生成失败。 DRS生成的修复SQL中,时间类型字段的内容是基于UTC时间的,如果表中存在时间字段,目标库执行修复SQL前需先将会话时区设置为0时区。各数据库类型对应的会话时区设置SQL示例如下表。 请谨慎执行修复SQL中的DELETE语句。 数据修复功能无法使用在无主键表的对比结果中。 表2 各数据库类型设置会话时区为0时区的SQL示例 数据库类型 时区设置SQL MYSQL SET session time_zone='+00:00';
  • 对数据库影响 对象对比:会查询源库及目标库的系统表,占用10个左右的session的连接数,正常情况不会对数据库产生影响。但是如果对象数量巨大(比如几十万张表),可能会对数据库产生一定的查询压力。 行数对比:会查询源库及目标库的表行数,占用10个左右的session的连接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据,涉及每个字段都会对比,所以会对数据库产生一定的查询压力,主要体现在IO上,查询速度受限于源库和目标库的IO和网络带宽。占用1-2个CPU,占用10个左右的session的连接数。 用户对比:会查询源库及目标库的账户和权限,基本不会对数据库产生影响。
  • 对比约束限制 对比需要在任务处于增量阶段才能手动创建。 对比是大小写敏感的,如果源数据库或目标数据库一端为非大小写敏感,一端为大小写敏感,对比结果可能出现不一致的情况。 对于单全量,在任务结束的时候,DRS会自动创建对象对比和行对比。对比时如果源库有数据操作,可能会导致对比结果不一致。 如果在对比时源库进行DDL操作,为保证对比结果的准确性,需重新进行内容对比。 如果单独对目标库进行数据修改操作,可能会导致对比结果不一致。 如果源数据库字符类型存在编码异常的情况,通过DRS迁移或对比时会因数据库驱动转码转换为异常码点,最终可能导致内容对比一致,实际字节不一致。 内容对比功能目前只支持带有主键的表,对于不支持内容对比的表可以使用行数对比功能。所以数据级对比功能需要结合业务场景,选用行数对比或者内容对比。 DRS进行内容比对期间不能暂停DRS任务,否则可能导致比对任务失败。 部分数据类型不支持内容对比,详情参考内容对比不支持哪些数据类型。 为避免占用资源,DRS限制对比任务的时长,超过限制时长,对比任务自动停止。 对于单全量任务结束时自动创建的对比任务,超时限制时长30分钟,超过后行对比和对象对比任务自动停止,DRS单全量任务结束。 对于增量阶段用户手动创建的行对比任务,当源库是关系型数据库时,行对比限制时长为60分钟;源库为非关系数据库,比如MongoDB,行对比限制时长为30分钟。 为避免占用资源,DRS任务的对比结果限制保留60天,60天后自动清除。 MySQL为源链路,源数据库中的虚拟列不支持内容对比,对比时会过滤虚拟列。
  • 操作步骤 在“实时迁移管理”界面,选中指定迁移任务,单击任务名称,进入“基本信息”页面。 单击“迁移进度”页签,查看迁移进度。 查看结构、数据、索引的迁移的百分比进度。 “全量迁移”模式:当全量迁移完成时,显示全量迁移各项指标完成进度100%。 “全量+增量”迁移模式:全量迁移完成后,开始进行增量迁移可,在“迁移进度”页签下,查看增量迁移同步时延。 图1 迁移进度总览 增量迁移时延也可在“实时迁移管理”界面查看,当增量时延超过用户设置或系统默认的时延阈值时,任务管理界面增量时延显示为红色。 时延 = 源库当前系统时间 - 成功同步到目标库的最新一个事务在源库的提交成功时间。 一个事务同步的完整过程如下: 源端数据库的抽取; 经过网络的传输; 由DRS进行日志解析; 最终在目标数据库上的执行完成。 这样完成了事务从源到目标的同步,时延为该事务最后在目标数据库上执行完成时的源库当前系统时间(current_time)与该事务在源库的提交成功时间(committed_time)的时间差,时延为0代表源和目标瞬时一致,无新的事务需要同步。 长时间未提交事务和频繁DDL操作均可以造成高时延。 查看迁移对象的进度。在“进度明细”下,单击目标迁移对象“详细信息”列的“查看详情”,查看对象的迁移进度。 目前MySQL为源迁移链路在增量阶段会展示迁移进度明细,该明细只是全量阶段迁移数据和跳过结构的展示,不支持更新。其他链路在进入增量迁移后,进度明细数据将不再显示,您可以使用“迁移对比”页签,进行一致性对比。 图2 迁移进度明细 跳过迁移对象。在迁移对象“详细信息”列的“查看详情”中,可以单击对象操作列的“跳过并重启”跳过迁移对象。 目前实时迁移支持MySQL为源链路在全量迁移阶段跳过迁移对象。 支持跳过类型包含database、function、procedure、table_indexs、table_structure、view、trigger、event、account。 跳过操作会使任务重启续传,如果任务处于暂停或异常状态,确认跳过后,任务将被会重新启动。 如果任务处于全量迁移状态,可能出现跳过前已完成对象迁移的情况,此时的跳过操作将会失效。 跳过对象成功后,如果后续迁移过程中仍有关联该对象的操作,可能出现对象不存在导致任务失败情况。例如跳过table_structure后,在迁移该表的索引和数据时,会出现对象不存在导致任务失败情况。 跳过对象成功后,会导致对比结果不一致。 跳过无主键表的table_structure会导致数据不一致,还可能出现表不存在导致任务失败的情况,请确认后再进行操作。 跳过无主键表后出现表不存在导致DRS任务失败时,请先联系目标库运维工程师根据源数据库表结构和日志报错信息在目标库创建对应的表,然后单击任务对应操作列的“续传”,重新提交任务。 查看读写数据性能。单击“监控图表”查看读写数据性能,该图表展示了实时读取源库和写入目标库数据的速率,其单位为MB/s。 图3 性能监控
  • 操作步骤 在“实时迁移管理”界面,选中指定迁移任务,单击任务名称。 在“迁移日志”页签选择“运行日志”,查看当前迁移任务的运行日志,可以根据“级别”筛选查看内容。 图1 查看迁移日志 您可查看到日志对应的时间,级别和描述。 除此以外,DRS支持对接云日志服务(Log Tank Service,简称LTS),进行LTS日志配置后,DRS实例新生成的所有日志记录会上传到云日志服务进行管理,详情可参考日志配置管理。 在“迁移日志”页签选择“操作日志”,查看当前迁移任务的操作日志。 图2 操作日志
  • 使用流程 一次完整的实时迁移,是通过创建实时迁移任务,以迁移任务作为数据库迁移的导向,依次进行迁移进度观察、迁移日志分析、迁移数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 一次完整的实时迁移包含如下过程: 图1 迁移流程 步骤一:创建迁移任务。根据需要,选择源和目标数据库,创建迁移任务。 步骤二:查询迁移进度。迁移过程中,可以通过查看迁移进度了解数据迁移完成情况。 步骤三:查看迁移日志。迁移日志包含告警、错误和提示等类型的信息,可根据此类信息分析系统存在的问题。 步骤四:对比迁移项。数据迁移提供对比功能,可根据需要查看对象级对比、数据级对比等,来确保源和目标数据库的数据一致性。 本章节将以MySQL到RDS for MySQL的迁移为示例,介绍在VPC网络场景下,通过数据复制服务管理控制台配置数据迁移任务的流程,其他存储引擎的配置流程类似。 VPC网络适合云上同Region数据库之间的迁移。 在数据复制服务中,数据库迁移是通过任务的形式完成的,通过创建任务向导,可以完成任务信息配置、任务创建。迁移任务创建成功后,您也可以通过数据复制服务管理控制台,对任务进行管理。
  • GaussDB 分布式版为源使用须知 出云: GaussDB分布式版同步到MySQL GaussDB分布式版同步到Oracle GaussDB分布式版同步到Kafka GaussDB分布式版同步到GaussDB分布式版 GaussDB分布式版同步到GaussDB集中式版 自建-自建: GaussDB分布式版同步到Oracle GaussDB分布式版同步到Kafka GaussDB分布式版同步到GaussDB分布式版
  • GaussDB集中式版为源使用须知 出云: GaussDB集中式版同步到MySQL GaussDB集中式版同步到Oracle GaussDB集中式版同步到Kafka GaussDB集中式版同步到GaussDB分布式版 GaussDB集中式版同步到GaussDB集中式版 自建-自建: GaussDB集中式版同步到Oracle GaussDB集中式版同步到Kafka GaussDB集中式版同步到GaussDB集中式版
  • MySQL为源使用须知 入云: MySQL同步到MySQL MySQL同步到TaurusDB MySQL同步到PostgreSQL MySQL同步到GaussDB集中式版 MySQL同步到GaussDB分布式版 出云: MySQL同步到MySQL MySQL同步到Kafka MySQL同步到 CSS /ES MySQL同步到Oracle 自建-自建: MySQL同步到Kafka MySQL同步到CSS/ES MySQL同步到GaussDB集中式版
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全