数据复制服务 DRS-创建数据订阅任务:使用须知

时间:2024-05-20 18:34:42

使用须知

数据订阅功能通过创建订阅任务来获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的SDK接口,实现下游业务订阅、获取、并消费。

一个完整的数据订阅过程需要通过如下两个阶段来实现:

  1. 使用数据复制服务控制台创建数据订阅任务。
  2. 数据订阅任务成功后,使用数据复制服务提供的SDK接口,访问数据订阅通道,订阅并消费增量数据。

数据复制服务提供的数据订阅功能在使用上有一些固定的限制,在进行正式的数据订阅之前,请先阅读以确保各存储引擎已满足使用限制条件。

表2 使用须知

类型名称

使用和操作限制

订阅对象约束

  • 只支持RDS For MySQL实例。
  • 数据订阅的对象目前只支持表级订阅。
  • binlog的binlog_row_image格式必须为full。
  • MySQL存储引擎只支持MyISAM,InnoDB。
  • MySQL字符集只支持LATIN1、GBK、UTF8、UTF8MB4、BINARY。
  • 按事务维度提供订阅数据,只支持单个事务小于10MB数据量的场景。

操作须知

  • 数据订阅过程中,不允许删除订阅对象。
  • 一个订阅任务同时只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个RDS实例时,需要创建多个订阅通道。这些订阅任务订阅的RDS实例均为同一个实例ID。
  • 一个下游SDK不可以订阅消费多个订阅任务。
  • 目前支持VPC网络,但是不支持VPC内的容器网络。
  • 由于源库异常、网络中断等造成的DRS订阅任务异常,需要在数据订阅界面续传订阅任务,详细参考续传订阅任务
  • 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。数据订阅与MySQL到Kafka同步的区别可参考这里
  • 勾选结构更新和数据更新后,DRS将展示整个实例(非所选库)的DDL和DCL更新操作,不进行过滤。如有需要,可使用SDK过滤所需的数据。
support.huaweicloud.com/datasub-drs/drs_07_0003.html