数据复制服务 DRS-将Oracle同步到MySQL:使用须知

时间:2023-12-19 11:00:33

使用须知

DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。

表4 使用须知

类型名称

使用和操作限制

任务启动前须知

  • 源数据库参数要求:
    • 目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。
  • 源数据库对象要求:
    • 源数据库中的库名或映射后的名称不允许以ib_logfile开头,也不能为ib_buffer_pool、ib_doublewrite、ibdata1、ibtmp1。
    • 源数据库支持to_date和sys_guid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果:

      默认值函数可能会被置空。

      创建表失败,导致对象对比不一致或者任务失败。

    • Oracle单行记录不能超过8K(lob、long类型除外,会自动转换成MySQL的text、blob类型),原因是MySQL innodb引擎限制单行大小不能超过8K(text、blob类型除外)。
    • 不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不一致和死锁问题。
    • 对于Oracle的binary_float或者binary_double类型,MySQL中不支持设置Nan、Inf、-Inf三种值,DRS默认会将这三种值转为0保存。
    • Oracle的check约束同步到MySQL会失效,原因是MySQL不支持check约束。
    • Oracle中建议列名不要取名AUTO_PK_ROW_ID,原因是这个列名在MySQL5.7中是保留列名,无法创建出来。
    • Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p-65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,即下限为p-65, 上限为p或30中取最小值。例如:当p=1, s的取值范围是[-64, 1]。当p=38, s取值范围是[-27, 30]。int字段的值不要超过(65,0)的精度表示范围。原因是MySQL数字的表示范围比Oracle小。
    • Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。
    • 源数据库不允许存在索引列的长度之和超过目标库索引列长度限制的索引,具体长度要求请参见索引长度说明
    • 默认值不支持default user,MySQL没有对应的语法。
  • 目标库参数要求:
    • DRS同步时会有大量数据写入目标库,目标库max_allowed_packet 参数过小会导致无法写入,建议将目标库max_allowed_packet参数值设置为大于100MB。
  • 目标库对象要求:
    • 源库和目标库时区设置必须一致。
    • 选择同步表结构时,目标数据库不能存在待同步数据库。
    • 目标数据库需要有足够的磁盘空间,约为源库空间大小的1.5倍。
    • 目标数据库版本小于5.7.7时,源库单个索引的全部列的长度不得超过767,反之则不得超过3072。
    • 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。
    • 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。

      目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。

      目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。

  • 其他使用须知
    • 数据类型不兼容时,可能引起同步失败。
    • 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。
    • 如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。
    • 在创建DRS任务之前,如果目标数据库实例开启并设置了SQL限流规则,可能会导致DRS任务失败。
    • Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。
    • Oracle中表结构同步到MySQL后表的字符集为UTF8MB4。
    • 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。
    • 当使用PDB数据库同步时,由于Oracle LogMiner组件的限制,增量同步时必须打开全部PDB。
    • Oralce 12.2及以上版本,由于Oracle LogMiner组件的限制,增量同步不支持表名或列名超过30个字符。
    • 对于Oracle RAC集群,建议使用SCAN IP+ SERVICE_NAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。
    • 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。
    • 由于Oracle与MySQL的部分语法有明显区别,结构同步无法完全保证支持全部语法的转换,包括但不限于函数,表达式,依赖的系统表等。所以在同步过程中,会有在Oracle上存在,在MySQL中没有直接对应的语法,或者MySQL中有对应的语法,但当前还未适配转换的情况,这样会导致结构同步失败。这时,需要手工在目标数据库创建表结构。
    • 同步对象支持设置事务的强一致性(事务同步到目标库的提交顺序和原子性与源库保持一致),性能相比默认模式有较大幅度降低。
    • 打开事务强一致性开关,如果一次提交事务过大(大于256M),可能会导致内存溢出。
    • 全量+增量或单增量任务场景,不支持直接连PDB数据库,用户需要提供CDB的Service Name/SID、用户名和密码。
    • lob类型及扩展字符类型(字节长度超过4000)不建议作为增量数据过滤条件,Oracle日志中可能出现不记录update旧值的情况。

全量同步阶段须知

  • 任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
  • 全量同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。
  • 全量同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。
  • 全量同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
  • 全量同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。
  • 全量同步过程中,不支持修改源数据库Oracle用户名(SCHEMA名),包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。
  • DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。
  • 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。

增量同步阶段须知

  • 增量同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。
  • 增量同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。
  • 增量同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
  • 增量同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。
  • 增量同步过程中,不支持修改源数据库Oracle用户名(SCHEMA名),包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。
  • 增量同步过程中,请勿修改源库或目标库表中的char类型字段为varchar,由于Oracle和MySQL表现不同,产生的空格可能会导致数据对比不一致。
  • 增量同步过程中,支持部分DDL操作。异构数据库DDL转换需要分析语义,考虑语法兼容性,无法做到完美转换,所以目前仅支持部分DDL操作,仅在转换成功并在以下范围内时会进行同步。如果出现其余情况的DDL同步导致的任务异常,需要手动在目标库执行相应的DDL来规避。
    • 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。
    • 库级同步支持create table(表内定义不能包含函数)。
    • DDL中的对象不能是目标库的关键字,比如index,where等。目标库MySQL关键字可参考MySQL官网文档
    • 目标库为8.0以下版本时,不支持alter table rename column。
    • 增量DDL不支持全角、中文等特殊字符。
  • 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。
  • 增量同步时,不建议选择混合分区表,因为混合分区表中的外部分区数据变更不产生DML日志,DRS增量数据同步无法获取变更信息,会存在数据不一致的风险。
  • 增量同步时,增量解析时间类型仅支持在Oracle时间类型合法范围内的数据,超范围的数据可能导致任务异常,例如年份大于9999时会出现数据截断。
  • 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
  • 若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。
  • 表的对象名同步到目标库后会转换成小写,如ABC和abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,否则会导致同步失败。
  • 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
support.huaweicloud.com/realtimesyn-drs/drs_04_0108.html