华为云用户手册

  • SSL认证 使用SSL加密方式连接Kafka,需要设置SSL相关配置。 图3 SSL 表2 参数信息 参数 描述 Truststore证书 后缀名为jks的SSL证书,证书文件生成可参考SSL证书。 Truststore证书密码 证书对应的秘钥。 主机名端点识别算法 指定通过服务端证书验证服务端主机名的端点识别算法,选填,不填表示禁用主机名验证。 SSL双向认证 是否开启SSL双向认证。 Keystore证书 SSL双向认证开启可见,需要上传后缀名为jks的双向认证证书。 Keystore证书密码 SSL双向认证开启可见,SSL双向认证证书对应的秘钥。 Keystore私钥密码 选填,Keystore证书中私钥的密码。
  • SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制 用于客户端连接的SASL机制,支持以下四项,Kafka server默认是 GSSAPI 机制,更多说明可参考SASL机制。 GSSAPI PLAIN SC RAM -SHA-256 SCRAM-SHA-512 令牌委托 是否为委托令牌鉴权,SASL机制选择“SCRAM-SHA-256”或者“SCRAM-SHA-512”时可见。 用户名 登录使用的用户名。 密码 登录使用的密码
  • 方法一 在“实时同步管理”页面,选择需要修改同步对象的任务,单击操作列的“编辑”按钮。 图1 编辑实时同步对象 进入“设置同步”页面,修改需要同步的对象,单击“下一步”。 选择对象时可对展开的库进行搜索,搜索支持正则表达式。 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。 选择的同步对象名称中不能包含空格。 在“数据加工”页面,可参考数据加工章节,为新增加表设置相关规则。 任务再编辑时,已经同步的表不支持修改加工规则。 在“预检查”页面,进行同步任务预校验,校验是否可进行。 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。 预检查不通过项处理建议请参见《 数据复制服务 用户指南》中的“预检查不通过项修复方法”。 预检查完成后,且所有检查项结果均通过时,单击“下一步”。 图2 预检查 所有检查项结果均通过时,若存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。 在“任务确认”页面,确认同步任务信息无误后,单击“启动任务”,提交同步任务。 返回“实时同步管理”,在同步任务列表中,当前任务状态显示为“增量同步”,并生成任务状态为“任务变更中”的子任务,待子任务变更完成后,开始对编辑后的同步对象进行增量同步。
  • 添加标签 在“实时同步管理”页面,选择指定的同步任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • JSON-C格式 JSON-C格式与JSON格式类似,区别是对于删除操作,JSON数据放在old上,JSON-C放在data上。对于timestamp类型数据转换成yyyy-mm-dd hh:mm:ss的字符串。 JSON-C定义详情参考表5: 表5 JSON-C参数说明 参数名称 说明 mysqlType 源端表字段名称和类型。 id DRS内部定义的事件操作的序列号,单调递增。 es 源库产生这一条记录的时间,13位Unix时间戳,单位为毫秒。 ts 写入到目标kafka的时间,13位Unix时间戳,单位为毫秒。 database 数据库名称(Oracle数据库填写schema)。 table 表名。 type 操作类型,比如DELETE,UPDATE,INSERT,DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句,在DML操作中,取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据,为JSON数组,如果type参数是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据;如果是删除,则表示被删除的数据。 old 旧数据,如果type参数是更新,则表示更新前的数据;如果是插入,取值为null。 pkNames 主键名称。
  • JSON格式 MySQL、 GaussDB (MySQL)到Kafka的JSON格式定义详情参考表2,DDS到Kafka的JSON格式定义详情参考表3,Oracle、PostgreSQL、GaussDB、Microsoft SQL Server到Kafka的JSON格式定义详情参考表4。 表2 MySQL到Kafka的参数说明 参数名称 说明 mysqlType 源端表字段名称和类型。 id DRS内部定义的事件操作的序列号,单调递增。 es 源库产生这一条记录的时间,13位Unix时间戳,单位为毫秒。 ts 写入到目标kafka的时间,13位Unix时间戳,单位为毫秒。 database 数据库名称。 table 表名。 type 操作类型,比如DELETE,UPDATE,INSERT,DDL,全量同步为INIT和INIT_DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句,在DML操作中,取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据,为JSON数组,如果type参数是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据。 old 旧数据,如果type参数是更新,则表示更新前的数据;如果是删除,则表示被删除的数据;如果是插入,取值为null。 pkNames 主键名称。 { "mysqlType":{ "c11":"binary", "c10":"varchar", "c13":"text", "c12":"varbinary", "c14":"blob", "c1":"varchar", "c2":"varbinary", "c3":"int", "c4":"datetime", "c5":"timestamp", "c6":"char", "c7":"float", "c8":"double", "c9":"decimal", "id":"int" }, "id":27677, "es":1624614713000, "ts":1625058726990, "database":"test01", "table":"test ", "type":"UPDATE", "isDdl":false, "sql":"", "sqlType":{ "c11":-2, "c10":12, "c13":-1, "c12":-3, "c14":2004, "c1":12, "c2":-3, "c3":4, "c4":94, "c5":93, "c6":1, "c7":6, "c8":8, "c9":3, "id":4 }, "data":[ { "c11":"[]", "c10":"华为云huaweicloud", "c13":"asfiajhfiaf939-0239uoituqorjoqirfoidjfqrniowejoiwqjroqwjrowqjojoiqgoiegnkjgoi23roiugouofdug9u90weurtg103", "c12":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c14":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 55, 57, 56, 52, 54, 53, 52, 54, 54, 54, 49, 52, 54, 53, 33, 64, 35, 36, 37, 94, 42, 40, 41, 95, 41, 43, 95, 43, 124, 125, 34, 63, 62, 58, 58, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c1":"cf3f70a7-7565-44b0-ae3c-83bec549ea8e:104", "c2":"[]", "c3":"103", "c4":"2021-06-25 17:51:53", "c5":"1624614713.201", "c6":"!@#$%90weurtg103", "c7":"10357.0", "c8":"1.2510357E7", "c9":"9874510357", "id":"104" } ], "old":[ { "c11":"[]", "c10":"华为云huaweicloud", "c13":"asfiajhfiaf939-0239", "c12":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c14":"[106, 103, 111, 106, 103, 111, 105, 100, 115, 106, 103, 111, 106, 111, 115, 111, 103, 57, 51, 52, 48, 57, 52, 51, 48, 57, 116, 106, 104, 114, 103, 106, 101, 119, 57, 116, 117, 48, 57, 51, 52, 48, 116, 101, 114, 111, 101, 106, 103, 57, 56, 51, 48, 52, 105, 55, 57, 56, 52, 54, 53, 52, 54, 54, 54, 49, 52, 54, 53, 33, 64, 35, 36, 37, 94, 42, 40, 41, 95, 41, 43, 95, 43, 124, 125, 34, 63, 62, 58, 58, 101, 117, 114, 103, 57, 101, 119, 117, 114, 103, 48, 119, 101, 117, 116, 57, 114, 48, 52, 117, 48, 57, 53, 116, 117, 51, 48, 57, 50, 117, 116, 48, 57, 51, 117, 116, 48, 119, 57, 101]", "c1":"cf3f70a7-7565-44b0-ae3c-83bec549ea8e:104", "c2":"[]", "c3":"103", "c4":"2021-06-25 17:51:53", "c5":"1624614713.201", "c6":"!@#$%90weurtg103", "c7":"10357.0", "c8":"1.2510357E7", "c9":"9874510357", "id":"103" } ], "pkNames":[ "id" ] } 表3 DDS到Kafka的参数说明 参数名称 说明 id DRS内部定义的事件操作的序列号,单调递增。 op 操作类型,比如DELETE,UPDATE,INSERT,DDL。 dbType 源库类型:Mongo。 db 数据库名称。 coll 集合名称。 value 这一条记录的变更值。 where 这一条记录的变更条件。 recordType 具体的记录类型,比如insert、update、replace、doc。其中,update和replace表示op中的UPDATE具体操作。doc表示op中的DELETE删除的是文档数据而非视图数据。 extra 拓展字段,一般和recordType保持一致,作为扩展oplog记录使用。 es 这一条记录的commit时间,13位Unix时间戳,单位为毫秒。 ts 写入到目标kafka的时间,13位Unix时间戳,单位为毫秒。 clusterTime 与事件关联的oplog条目的时间戳,格式为timestamp:incre(timestamp是10位unix时间戳,单位为秒;incre代表当前命令在同一秒内执行的次序)。 // insert操作 { "id": 256, "op": "INSERT", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\"), \"c1\": \"baz\", \"tags\": [\"mongodb\", \"database\", \"NoSQL\"]}", "where": null, "recordType": "insert", "extra": "insert", "es": 1684315111439, "ts": 1684315111576, "clusterTime": "1684344064:1" } // replace操作 { "id": 340, "op": "UPDATE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\"), \"c1\": \"sss\"}", "where": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "recordType": "replace", "extra": "replace", "es": 1684315951831, "ts": 1684315951961, "clusterTime": "1684344904:9" } // update 更新值操作 { "id": 386, "op": "UPDATE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"$set\": {\"c1\": \"aaa\"}}", "where": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "recordType": "update", "extra": "update", "es": 1684316412008, "ts": 1684316412146, "clusterTime": "1684345365:1" } // update 更新键操作 { "id": 414, "op": "UPDATE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"$unset\": {\"c1\": true}, \"$set\": {\"column1\": \"aaa\"}}", "where": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "recordType": "update", "extra": "update", "es": 1684316692054, "ts": 1684316692184, "clusterTime": "1684345648:1" } // remove 操作 { "id": 471, "op": "DELETE", "dbType": "MongoDB", "db": "ljx", "coll": "ljx", "value": "{\"_id\": ObjectId(\"64650cf67dc36a464e76e583\")}", "where": null, "recordType": "doc", "extra": "doc", "es": 1684317252747, "ts": 1684317252869, "clusterTime": "1684346209:1" } 表4 其他数据库到Kafka的参数说明 参数名称 说明 columnType 源端表字段名称和数据类型。 说明: 数据类型不带长度、精度等。 dbType为Oracle、Microsoft SQL Server时暂为空。 dbType 源库类型。 schema schema名称。 opType 操作类型,比如DELETE,UPDATE,INSERT,DDL。 id DRS内部定义的事件操作的序列号,单调递增。 es 源库不同引擎对应类型如下: GaussDB主备版:这一条记录上一个事务的commit时间,13位Unix时间戳,单位为毫秒。 GaussDB分布式:这一条记录上一个事务的commit时间,13位Unix时间戳,单位为毫秒。 PostgreSQL:这一条记录上一个事务的commit时间,13位Unix时间戳,单位为毫秒。 Oracle:这一条记录的commit时间,13位Unix时间戳,单位为毫秒。 Microsoft SQL Server:这一条记录的commit时间,13位Unix时间戳,单位为毫秒。 ts 写入到目标kafka的时间,13位Unix时间戳,单位为毫秒。 database 数据库名称,dbType为Oracle时暂时为空。 table 表名。 type 操作类型,比如DELETE,UPDATE,INSERT,DDL。 isDdl 是否是DDL操作。 sql DDL的SQL语句,在DML操作中,取值为""。 sqlType 源端表字段的jdbc类型。 data 最新的数据,为JSON数组,如果type参数是插入则表示最新插入的数据,如果是更新,则表示更新后的最新数据。 old 旧数据,如果type参数是更新,则表示更新前的数据;如果是删除,则表示被删除的数据;如果是插入,取值为null。 pkNames 主键名称。 { "columnType": { "timestamp_column": "timestamp without time zone", "tstzrange_column": "tstzrange", "int4range_column": "int4range", "char_column": "character", "jsonb_column": "json", "boolean_column": "boolean", "bit_column": "bit", "smallint_column": "smallint", "bytea_column": "bytea" }, "dbType": "GaussDB Primary/Standby", "schema": "schema01", "opType": "UPDATE", "id": 332, "es": 1639626187000, "ts": 1639629261915, "database": "database01", "table": "table01", "type": "UPDATE", "isDdl": false, "sql": "", "sqlType": { "timestamp_column": 16, "tstzrange_column": 46, "int4range_column": 42, "char_column": 9, "jsonb_column": 22, "boolean_column": 8, "bit_column": 20, "smallint_column": 2, "bytea_column": 15 }, "data": [ { "timestamp_column": "2021-12-16 12:31:49.344365", "tstzrange_column": "(\"2010-01-01 14:30:00+08\",\"2010-01-01 15:30:00+08\")", "int4range_column": "[11,20)", "char_column": "g", "jsonb_column": "{\"key1\": \"value1\", \"key2\": \"value2\"}", "boolean_column": "false", "bit_column": "1", "smallint_column": "12", "bytea_column": "62797465615f64617461" } ], "old": [ { "timestamp_column": "2014-07-02 06:14:00.742", "tstzrange_column": "(\"2010-01-01 14:30:00+08\",\"2010-01-01 15:30:00+08\")", "int4range_column": "[11,20)", "char_column": "g", "jsonb_column": "{\"key1\": \"value1\", \"key2\": \"value2\"}", "boolean_column": "true", "bit_column": "1", "smallint_column": "12", "bytea_column": "62797465615f64617461" } ], "pkNames": null }
  • 支持的数据库类型 目前,DRS实时同步支持的源数据库和目标数据库类型,如下表所示。 表1 同步方案 源数据库类型 目标数据库类型 同步模式 相关文档 本地自建MySQL数据库 E CS 自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL RDS for MySQL 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到MySQL(入云) GaussDB(for MySQL) 增量数据同步 全量+增量数据同步 将MySQL同步到GaussDB(for MySQL) RDS for PostgreSQL 全量数据同步 全量+增量数据同步 将MySQL同步到PostgreSQL GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB分布式版(入云) 将MySQL同步到GaussDB分布式版(自建) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB主备版(入云) 将MySQL同步到GaussDB主备版(自建) GaussDB(DWS) 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到GaussDB(DWS) RDS for MariaDB 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到MariaDB(入云) RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 增量数据同步 全量+增量数据同步 将MySQL同步到MySQL(出云) Kafka 增量数据同步 全量+增量数据同步 将MySQL同步到Kafka(出云) CSS /ES 全量+增量数据同步 将MySQL同步到CSS/ES(出云) 本地自建Oracle数据库 ECS自建Oracle数据库 全量+增量数据同步 将MySQL同步到Oracle 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 增量数据同步 全量数据同步 全量+增量数据同步 将MySQL同步到MariaDB(出云) 本地自建MySQL数据库 ECS自建MySQL数据库 Kafka 增量数据同步 全量+增量数据同步 将MySQL同步到Kafka(自建-自建) CSS/ES 全量+增量数据同步 将MySQL同步到CSS/ES(自建-自建) 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库 其他云上PostgreSQL数据库 RDS for PostgreSQL RDS for PostgreSQL 增量数据同步 全量数据同步 全量+增量数据同步 将PostgreSQL同步到PostgreSQL GaussDB(DWS) 全量+增量数据同步 将PostgreSQL同步到GaussDB(DWS) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 说明: 目前单增量数据同步仅支持白名单用户使用。 将PostgreSQL同步到GaussDB主备版 GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 说明: 目前单增量数据同步仅支持白名单用户使用。 将PostgreSQL同步到GaussDB分布式版 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库 Kafka 增量数据同步 将PostgreSQL同步到Kafka(自建-自建) RDS for PostgreSQL 本地自建PostgreSQL数据库 ECS自建PostgreSQL数据库 增量数据同步 全量数据同步 全量+增量数据同步 将PostgreSQL同步到PostgreSQL(出云) Kafka 增量数据同步 将PostgreSQL同步到Kafka(出云) DDM RDS for MySQL 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到MySQL(入云) 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到MySQL(出云) DDM 全量+增量数据同步 将DDM同步到DDM GaussDB(DWS) 全量+增量数据同步 将DDM同步到GaussDB(DWS) 本地自建Oracle数据库 ECS自建Oracle数据库 增量数据同步 全量数据同步 全量+增量数据同步 将DDM同步到Oracle Kafka 增量数据同步 将DDM同步到Kafka 本地自建Oracle数据库 ECS自建Oracle数据库 RDS for MySQL 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到MySQL GaussDB(for MySQL) 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB(for MySQL) RDS for PostgreSQL 全量数据同步 全量+增量数据同步 将Oracle同步到PostgreSQL GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB主备版(入云) 将Oracle同步到GaussDB主备版(自建-自建) GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB分布式版(入云) 将Oracle同步到GaussDB分布式版(自建-自建) DDM 全量数据同步 全量+增量数据同步 将Oracle同步到DDM GaussDB(DWS) 增量数据同步 全量数据同步 全量+增量数据同步 将Oracle同步到GaussDB(DWS) Kafka 增量数据同步 将Oracle同步到Kafka GaussDB分布式版 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到MySQL(出云) 将GaussDB分布式版同步到MySQL(自建-自建) 本地自建Oracle数据库 ECS自建Oracle数据库 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到Oracle(出云) 将GaussDB分布式版同步到Oracle(自建-自建) GaussDB(DWS) 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到GaussDB(DWS) Kafka 增量数据同步 将GaussDB分布式版同步到Kafka(出云) 将GaussDB分布式版同步到Kafka(自建-自建) GaussDB分布式版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到GaussDB分布式版(出云) 将GaussDB分布式版同步到GaussDB分布式版(自建-自建) GaussDB主备版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB分布式版同步到GaussDB主备版(出云) 将GaussDB分布式版同步到GaussDB主备版(自建-自建) GaussDB主备版 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到MySQL(出云) 将GaussDB主备版同步到MySQL(自建-自建) 本地自建Oracle数据库 ECS自建Oracle数据库 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到Oracle(出云) 将GaussDB主备版同步到Oracle(自建-自建) Kafka 增量数据同步 将GaussDB主备版同步到Kafka(出云) 将GaussDB主备版同步到Kafka(自建-自建) GaussDB(DWS) 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到GaussDB(DWS) GaussDB分布式版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到GaussDB分布式版(出云) 将GaussDB主备版同步到GaussDB分布式版(自建-自建) GaussDB主备版 全量数据同步 增量数据同步 全量+增量数据同步 将GaussDB主备版同步到GaussDB主备版(出云) 将GaussDB主备版同步到GaussDB主备版(自建-自建) GaussDB(for MySQL) GaussDB(for MySQL) 增量数据同步 全量+增量数据同步 将GaussDB(for MySQL)同步到GaussDB(for MySQL) 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL 增量数据同步 全量+增量数据同步 将GaussDB(for MySQL)同步到MySQL GaussDB(DWS) 全量+增量数据同步 将GaussDB(for MySQL)同步到GaussDB(DWS) Kafka 增量数据同步 全量+增量数据同步 将GaussDB(for MySQL)同步到Kafka CSS/ES 全量+增量数据同步 将GaussDB(for MySQL)同步到CSS/ES 本地自建Oracle数据库 ECS自建Oracle数据库 全量+增量数据同步 将GaussDB(for MySQL)同步到Oracle DDS 自建MongoDB 其他云上MongoDB 增量数据同步支持以下方式: 副本集到副本集 集群到集群(源数据库集群版本不小于4.0) 将DDS同步到MongoDB Kafka 增量数据同步 将DDS同步到Kafka DB2 for LUW GaussDB分布式版 全量数据同步 全量+增量数据同步 将DB2 for LUW同步到GaussDB主备版(入云) 将DB2 for LUW同步到GaussDB主备版(自建) GaussDB主备版 全量数据同步 全量+增量数据同步 将DB2 for LUW同步到GaussDB分布式版(入云) 将DB2 for LUW同步到GaussDB分布式版 自建) GaussDB(DWS) 全量数据同步 全量+增量数据同步 将DB2 for LUW同步到GaussDB(DWS) TiDB GaussDB(for MySQL) 全量+增量数据同步 将TiDB同步到GaussDB(for MySQL) 本地自建Microsoft SQL Server据库 ECS自建Microsoft SQL Server据库 其他云上Microsoft SQL Server数据库 RDS for SQL Server GaussDB(DWS) 全量+增量数据同步 将Microsoft SQL Server同步到GaussDB(DWS) GaussDB主备版 增量数据同步 全量数据同步 全量+增量数据同步 将Microsoft SQL Server同步到GaussDB主备版 GaussDB分布式版 增量数据同步 全量数据同步 全量+增量数据同步 将Microsoft SQL Server同步到GaussDB分布式版 Microsoft SQL Server 说明: 目前仅支持白名单用户使用。 全量+增量数据同步 将Microsoft SQL Server同步到Microsoft SQL Server RDS for SQL Server Kafka 说明: 目前仅支持白名单用户使用。 增量数据同步 将Microsoft SQL Server同步到Kafka(出云) 本地自建Microsoft SQL Server据库 ECS自建Microsoft SQL Server据库 其他云上Microsoft SQL Server数据库 Kafka 说明: 目前仅支持白名单用户使用。 增量数据同步 将Microsoft SQL Server同步到Kafka(自建-自建) 本地自建Mongo数据库 ECS自建Mongo数据库 其他云上Mongo数据库 DDS DDS 全量+增量数据同步支持以下方式: 副本集到副本集 将MongoDB同步到DDS 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 RDS for MariaDB 全量+增量数据同步 将MariaDB同步到MariaDB 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 RDS for MySQL 增量数据同步 全量+增量数据同步 将MariaDB同步到MySQL GaussDB(for MySQL) 增量数据同步 全量+增量数据同步 将MariaDB同步到GaussDB(for MySQL) RDS for MariaDB 本地自建MariaDB数据库 ECS自建MariaDB数据库 其他云上MariaDB数据库 全量+增量数据同步 将MariaDB同步到MariaDB
  • 任务参数说明 表1 任务参数说明 参数名 描述 取值范围 默认值 参数类型 是否需要重启 applier_thread_num 全量阶段写数据到目标数据库的线程数 与规格大小有关。 极小规格:1-4 小规格:1-4 中规格:1-8 大规格:1-18 超大规格:1-24 与规格大小有关。 极小规格:2 小规格:2 中规格:4 大规格:6 超大规格:12 int 是 read_task_num 全量阶段从源数据库读取数据的线程数 与规格大小有关。 极小规格:1-2 小规格:1-2 中规格:1-4 大规格:1-8 超大规格:1-12 与规格大小有关。 极小规格:1 小规格:1 中规格:2 大规格:4 超大规格:6 int 是 shard_task_num 全量阶段从源数据库分片线程数 与规格大小有关。 极小规格:1-2 小规格:1-2 中规格:1-4 大规格:1-8 超大规格:1-8 与规格大小有关。 极小规格:1 小规格:1 中规格:2 大规格:4 超大规格:4 int 是 increment_writer_num 增量阶段写目标库线程数 与规格大小有关。 极小规格:1-8 小规格:1-16 中规格:1-32 大规格:1-128 超大规格:1-128 与规格大小有关。 极小规格:4 小规格:8 中规格:16 大规格:64 超大规格:64 int 是 relay_socket_timeout 增量阶段从源数据库拉取日志的超时时间 30000-2147483647毫秒 30000毫秒 int 是 datamove_source_socket_timeout 全量阶段从源数据库拉取数据的超时时间 120000-2147483647毫秒 120000毫秒 int 是
  • 操作步骤 在“实时同步管理”界面,选择指定的同步任务。 单击任务名称,页面跳转至“基本信息”页面。 单击左侧“参数管理”,在“参数”页签可对当前同步任务的参数信息进行修改。 图1 查看参数信息 修改完成后,可选择“保存”或者“取消”设置。 单击“保存”,在弹出框中单击“是”,保存修改。 单击“取消”,在弹出框中单击“是”,放弃本次设置。 部分参数完成修改后,需要重启任务后才生效,可单击右上角“重启”按钮使之生效,也可参考重启同步任务内容进行重启。 除此以外,重置、续传、任务重建、主备倒换、全量阶段修改限速操作也会重启任务进程使设置生效。
  • 支持审计操作的关键列表 云审计 服务是安全解决方案中专业的日志审计服务,记录了数据复制服务的相关操作事件,方便您日后的查询、审计和回溯。 表1 云审计服务支持的数据复制服务操作列表 操作名称 资源类型 事件名称 创建任务 job createJob 编辑任务 job modifyJob 删除任务 job deleteJob 启动任务 job startJob 续传任务 job retryJob 父主题: 对接云审计服务
  • 约束限制 限速模式指的是限制秒级的流量上限,可能因为网络波动原因导致统计值的降低,实际统计的值可能会低于限速值大小。 限速模式只对全量同步阶段生效,增量同步阶段不生效。 增量阶段修改限速后,待任务再次进入全量阶段会生效。如增量中的任务修改限速,编辑任务新加同步对象后,限速会在同步任务的全量阶段生效。 修改限速后会出现短暂的没有流量情况,是因为DRS后台进程会重启续传,并不影响任务进度和数据一致性。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为RDS for MySQL。 源数据库已完成SQL流量文件录制,RDS for MySQL录制方式可参考开启SQL审计日志。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 操作步骤 在“录制回放管理”页面的任务列表中,选择要重置的任务,单击操作列“重置”按钮。 在弹出的“重置任务”窗口,选择重置方式。 不勾选解析重置:重置任务不重新解析流量文件,把任务之前解析流量文件得到的内容重新回放到目标库。 勾选解析重置:将清空任务所有解析流量文件得到的内容,重新开始解析流量文件,并将解析流量文件得到的内容重新回放到目标库。 图1 重置任务 等待预检查通过后,单击“开始重置”,重置任务。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为GaussDB(for MySQL)。 源数据库已开启全量SQL功能,GaussDB(for MySQL)全量SQL方式可参考开启全量SQL,开启全量SQL会对源数据库性能产生影响,请评估影响后再进行开启。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 由于GaussDB(for MySQL)之前版本全量SQL文件格式不统一,当前支持GaussDB(for MySQL)2.0.8.3-2.0.28.15版本,以及后续发布的补丁版本2.0.28.xx系列全量SQL的解析。 GaussDB(for MySQL)默认全量SQL记录的最大为4KB,针对单条大小超过默认值的SQL,需参考修改参数模板修改rds_sql_tracer_max_record_size参数,避免超过默认值的SQL没有记录,导致的无法回放。 流量文件SQL内容包含内容分隔符(例如:^^)时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前支持源数据库为自建MySQL或者其他云MySQL(如RDS,POLARDB等),可以开启并能够导出审计日志或者洞察日志的实例。 源数据库已完成SQL流量文件录制,并且上传到华为云OBS桶内,DRS任务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为RDS for MySQL。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 上传的流量文件仅支持.gz和.zip的压缩格式。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 查询回放进度 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 单击“回放进度”页签,查看任务进度。 回放进度模块中,您可以查看任务状态、启动时间、SQL总量以及已回放SQL数量等信息。 录制回放统计图支持选择查看某一时间段内的SQL总量、执行量、异常量以及慢SQL数量情况。 录制回放异常SQL模块中,展示回放异常的SQL对象。 慢SQL模块支持查看SQL原始和回放耗时。 执行SQL模块展示回放过程中正在目标库运行的SQL情况。 图1 回放进度
  • 下载导出报告 对于回放过程中的异常的SQL和慢SQL,DRS支持下载和导出。 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 单击“回放进度”页签,可查看任务进度。 在“回放进度”的录制回放异常SQL和慢SQL模块,可对当前任务的报告进行下载。 单击“录制回放异常SQL”或“慢SQL”模块右侧的,进行报告导出。 在弹出对话框中选择导出字段后,单击“导出”。 图2 导出报告 导出完成后,可单击下载报告。 图3 下载报告
  • 添加标签 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为RDS for MySQL。 源数据库已完成SQL流量文件录制,RDS for MySQL录制方式可参考开启SQL审计日志。 目标数据库要求: 目前仅支持目标数据库为RDS for MySQL。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 支持的数据库类型 目前,DRS录制回放支持的数据库类型,如下表所示。 表1 回放方案 源数据库类型和版本 目标数据库类型和版本 相关文档 RDS for MySQL RDS for MySQL MySQL到MySQL(本云) GaussDB(for MySQL) MySQL到GaussDB(for MySQL)(本云) GaussDB(for MySQL) GaussDB(for MySQL) GaussDB(for MySQL)到GaussDB(for MySQL)(本云) ECS自建MySQL 本地自建MySQL 其他云上MySQL RDS for MySQL MySQL到MySQL(入云) GaussDB(for MySQL) MySQL到GaussDB(for MySQL)(入云)
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前支持源数据库为自建MySQL或者其他云MySQL(如RDS,POLARDB等),可以开启并能够导出审计日志或者洞察日志的实例。 源数据库已完成SQL流量文件录制,并且上传到华为云OBS桶内,DRS任务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符(例如:^^)时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 上传的流量文件仅支持.gz和.zip的压缩格式。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 操作步骤 在“实时灾备管理”页面,选择指定的灾备任务,单击任务名称进入“基本信息”页签。 在“基本信息”页签,单击“灾备监控”页签。 RPO(Recovery Point Objective),为业务数据库与DRS实例数据差的一种度量方式,RPO=0时,意味着业务数据库的数据已经全部到达DRS实例。 RTO(Recovery Time Objective),处在传输中数据量的一种度量方式,RTO=0时,意味着DRS实例上的事务已经全部在灾备数据库上执行完毕。 时延监控:展示RPO、RTO的历史数据轨迹,对真实灾难将发生时的数据丢失量具有一定的预测意义。可重点关注以下两种类型数据: 长时间RPO、RTO高的时间段。 规律性RPO、RTO高的时间段。 自治监控:展示DRS的智能自制能力,主要包括: 网络断连时,DRS自动重连并断点续传的次数。 发生数据冲突时,DRS自动使用最新数据覆盖旧数据的次数。 性能监控:展示了DRS实例的实时读取速度和写入速度,有助于诊断性能瓶颈。 资源监控:展示了DRS实例的资源使用情况,有助于诊断性能瓶颈。 图1 灾备监控
  • 添加标签 在“实时灾备管理”页面,选择指定的灾备任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • 操作步骤 任务列表中,仅展示当前登录用户所创建的全部任务,同一租户下的不同用户之间的任务不可见。 在“实时灾备管理”页面,选择指定的灾备任务,单击任务名称。 页面跳转至“基本信息”页签,单击“灾备数据”页签。 初始化进度 仅展示了初次创建灾备环境时,历史数据导入的进度信息,帮助用户了解灾备环境创建进度,完成历史数据导入后,意味着初始化已完成,该模块数据将不再更新。 数据健康报告 支持用户修改对比策略,周期性展示主实例与备实例的数据一致性对比结果,用于帮助用户审视灾备环境的数据健康情况。 只有灾备中的任务才会进行健康对比。 仅保留最近30次健康对比报告。 数据健康报告是为了用户定期且长期掌握主实例与备实例的数据一致性,为避免长期对比对主实例的性能损耗,对于特大表(比如超亿行的表)的对比,建议使用灾备对比功能。 图1 数据健康报告 修改对比策略 修改对比策略不会影响当前进行的健康对比任务,修改后的设置在下次生效。 在“数据健康报告”页签的“健康对比策略”区域,单击“修改对比策略”,进入修改对比策略界面。 图2 修改对比策略 在“修改对比策略”界面设置各个参数。 开启状态:关闭健康对比策略后,下一次的健康对比将不会再进行,历史健康报告仍可正常查看。 对比频率:提供“每周对比”和“每天对比”两种对比频率。 对比时间:对比频率选择“每周对比”时,可设置周一到周日的一天或多天为对比时间。 时区:默认为本地时区。 生效时间:设置对比策略生效的时间段,建议设置在业务低峰期进行对比。生效时间内未完成健康对比会自动中断,已完成的对比结果仍可查看。 对比类型:默认为行对比+用户对比+对象对比。 单击“确定”,完成修改对比策略。 修改成功后,将在生效时间启动对比任务,您可以取消进行中的任务,取消后,已经对比成功的健康报告仍可查看。
  • 实例监控指标 数据复制服务性能监控指标,如表1所示。 表1 数据复制服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) cpu_util CPU使用率 该指标用于统计测量对象的CPU使用率,以比率为单位。 0-100% 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 mem_util 内存使用率 该指标用于统计测量对象的内存使用率,以比率为单位。 0-100% 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 network_incoming_bytes_rate 网络输入吞吐量 该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量,以字节/秒为单位。 ≥ 0 bytes/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 network_outgoing_bytes_rate 网络输出吞吐量 该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量,以字节/秒为单位。 ≥ 0 bytes/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 disk_read_bytes_rate 磁盘读吞吐量 该指标用于统计每秒从磁盘读取的字节数,以字节/秒为单位。 ≥ 0 bytes/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 disk_write_bytes_rate 磁盘写吞吐量 该指标用于统计每秒写入磁盘的字节数,以字节/秒为单位。 ≥ 0 bytes/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 disk_util 磁盘利用率 该指标用于统计测量对象的磁盘利用率,以比率为单位。 0-100% 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 extract_bytes_rate 读源库吞吐量 该指标用于统计每秒从源库读取表数据或者WAL的字节数。 ≥ 0 bytes/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 extract_rows_rate 读源库频率 该指标用于统计每秒从源库读取表数据或者WAL的行数,以行/秒为单位。 ≥ 0 row/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 extract_latency 源库WAL抽取延迟 该指标用于统计当前从源库抽取WAL的延迟,以毫秒为单位。 ≥ms 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_bytes_rate 写目标库吞吐量 该指标用于统计每秒向目标库写入数据的字节数,以字节/秒为单位。 ≥ 0 bytes/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_rows_rate 写目标库频率 该指标用于统计每秒向目标库写入数据的行数,以行/秒为单位。 ≥ 0 row/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_transactions_rate DML TPS 该指标用于统计每秒向目标库写入的DML事务数,以事务/秒为单位。 ≥ 0 transaction/s 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_ddls_number或apply_ddls_rate 说明: apply_ddls_rate在2022年12月之后替换为apply_ddls_number。 DDL TPS 该指标用于统计向目标库写入的DDL事务总数。 ≥ 0 transaction 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_latency 数据同步延迟 该指标用于统计当前数据向目标库回放延迟,以毫秒为单位。 ≥ 0 ms 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_average_execute_time 事务平均执行时间 该指标用于统计当前一个事务在目标库的平均执行时间(一个事务的RT=执行时间+提交时间),以毫秒为单位。 ≥ 0 ms 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_average_commit_time 事务平均提交时间 该指标用于统计当前一个事务在目标库的平均提交时间(一个事务的RT=执行时间+提交时间),以毫秒为单位。 ≥ 0 ms 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_current_state 同步状态 该指标用于表示当前内核数据的同步状态(10:异常,1:空闲,2:执行DML,3:执行DDL),不代表任务状态。 10:异常 1:空闲 2:执行DML 3:执行DDL 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_thread_workers 同步线程数量 该指标用于表示当前数据同步的工作线程数量。 ≥ 0 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟 apply_job_status 任务状态 该指标用于表示当前任务所处的状态(0:正常,1:异常,2:暂停)。 0:正常 1:异常 2:暂停 测量对象:弹性云服务器 监控实例类型:实时迁移、实时同步和实时灾备实例 1分钟
  • 暂停任务 在“实时灾备管理”页面的灾备列表中,选择要暂停的灾备任务,单击“操作”列的“暂停”。 在弹出的“暂停任务”对话框中,选择“暂停日志抓取”后,单击“是”。 暂停成功后,状态栏显示为“已暂停”。 勾选“暂停日志抓取”后,该功能会停止一切DRS和源库、目标库的连接,请注意暂停过长可能会因为源端所需日志过期而导致任务无法恢复续传。建议暂停时间不超过24小时,具体时间请排查相应日志配置。 需要继续灾备时,可以使用续传功能。
  • 使用流程 数据灾备的使用流程如下: 图1 数据灾备流程 步骤一:创建灾备任务。根据需要,选择业务数据库和灾备数据库,创建灾备任务。 步骤二:查询灾备进度。灾备过程中,可以通过查看灾备进度了解数据灾备完成情况。 步骤三:查看灾备日志。灾备日志包含告警、错误和提示等类型的信息,可根据此类信息分析系统存在的问题。 步骤四:对比灾备项。数据灾备提供对比功能,可根据需要查看对象级对比、数据级对比等,来确保业务数据库和灾备数据库的数据一致性。 本章节将以MySQL到RDS for MySQL的灾备场景为示例,介绍在公网网络场景下,通过数据复制服务管理控制台配置数据灾备任务的流程,其他存储引擎的配置流程类似。 在数据复制服务中,数据库灾备是通过任务的形式完成的,通过创建任务,可以完成任务信息配置、任务创建。灾备任务创建成功后,您也可以通过数据复制服务管理控制台,对任务进行管理。
共100000条