华为云用户手册

  • 连接概述 将网络实例接入企业路由器中,则需要为网络实例在企业路由器中添加对应的连接。企业路由器支持接入多种网络实例,不同网络实例对应的连接类型不同,连接的说明及配置方法如表1所示。 图1 连接概述 表1 连接概述 连接类型 网络实例 添加连接 查看连接 删除连接 虚拟私有云(VPC) 虚拟私有云VPC。 在企业路由器中添加VPC连接 查看企业路由器中的连接 删除VPC连接 虚拟网关(VGW) 云专线DC的虚拟网关。 在企业路由器中添加VGW连接 查看企业路由器中的连接 删除VGW连接 VPN网关(VPN) 虚拟专用网络的VPN网关。 在企业路由器中添加VPN连接 查看企业路由器中的连接 删除VPN连接 对等连接(Peering) 位于其他区域的另一个企业路由器ER。通过云连接中心网络加载不同区域的企业路由器来创建“对等连接(Peering)”连接。 在企业路由器中添加Peering连接 查看企业路由器中的连接 删除Peering连接 企业连接网(ECN) 企业连接中的企业连接网络ECN。 在企业路由器中添加ECN连接 查看企业路由器中的连接 删除ECN连接 全球接入网关(DGW) 云专线DC的全球接入网关。 在企业路由器中添加DGW连接 查看企业路由器中的连接 删除DGW连接 云防火墙(CFW) 云防火墙。 在企业路由器中添加CFW连接 查看企业路由器中的连接 您无法直接删除CFW连接,如果确认不再使用,请退订云防火墙,将会同步删除CFW连接。 父主题: 连接
  • 操作步骤 进入企业路由器列表页面。 通过名称过滤,快速找到待创建关联的企业路由器。 您可以通过以下两种操作入口,进入企业路由器的“路由表”页签。 在企业路由器右上角区域,单击“管理路由表”。 单击企业路由器名称,并选择“路由表”页签。 在路由表列表中选择目标路由表,并在“关联”页签下,单击右侧区域的“创建关联”。 弹出“创建关联”对话框。 根据界面提示,配置关联的基本信息,如表1所示。 表1 创建关联-参数说明 参数名称 参数说明 取值样例 连接类型 必选参数。 选择连接类型,连接类型说明如下: “虚拟私有云(VPC)”:表示接入的网络实例是虚拟私有云。 “虚拟网关(VGW)”:表示接入的网络实例是云专线的VGW网关。 “VPN网关(VPN)”:接入的网络实例是虚拟专用网络VPN。 “对等连接(Peering)”:表示接入的网络实例是其他区域的另一个企业路由器。 “企业连接网(ECN)”:表示接入的网络实例是同区域或者不同区域的企业连接网络。 “全球接入网关(DGW)”:表示接入的网络实例是云专线的全球接入网关。 “云防火墙(CFW)”连接:表示接入的网络实例是云防火墙。 关于连接更多信息,请参见连接概述。 虚拟私有云(VPC) 连接 必选参数。 在连接下拉列表中,选择待关联路由表的连接。 er-attach-02 基本信息设置完成后,单击“确定”。 返回关联列表页面,可以看到创建的关联。
  • 操作步骤 进入企业路由器列表页面。 通过名称过滤,快速找到目标企业路由器。 单击企业路由器名称,并选择“流日志”页签。 进入流日志列表页面。 在“流日志”页签下,单击“创建流日志”。 弹出“创建流日志”对话框。 根据界面提示,配置流日志的基本信息,如表1所示。 表1 创建流日志-参数说明 参数名称 参数说明 取值样例 名称 必选参数。 输入ER流日志的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 flowlog-ab 资源类型 必选参数。 选择要采集流量信息的资源类型,企业路由器流日志功能支持采集以下类型连接的日志信息: 虚拟私有云(VPC):虚拟私有云。 虚拟网关(VGW):云专线DC的虚拟网关。 对等连接(Peering):位于其他区域的另一个企业路由器ER。通过云连接中心网络加载不同区域的企业路由器来创建“对等连接(Peering)”连接。 VPN网关(VPN):虚拟专用网络VPN的网关。 全球接入网关(DGW):云专线DC的全球接入网关。 虚拟网关(VGW) 选择资源 必选参数。 在资源列表中,选择要采集日志信息的具体资源。 vgw-ab 日志组 必选参数。 选择已有的日志组。 如果没有可选的日志组,请单击“新建日志组”跳转至云日志服务控制台创建。 lts-group-ab 日志流 必选参数。 选择已有的日志流。 如果没有可选的日志流,请单击“新建日志流”跳转至云日志服务控制台创建。 lts-topic-ab 描述 可选参数。 您可以根据需要在文本框中输入对该流日志的描述信息。 - 基本信息设置完成后,单击“确定”。 返回流日志列表页面 在流日志列表页面,查看流日志状态。 待流日志状态由“创建中”变为“已开启”,表示流日志创建成功。
  • 按需计费 按需计费的企业路由器实例本身不收取费用,当您在企业路由器中添加连接时,会收取连接费用、以及流经连接的流量费用。 表1 企业路由器计费项说明 计费项 收取该项费用的连接类型 计费说明 连接费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “对等连接(Peering)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会收取连接费用,连接添加成功后开始计费,连接删除后停止计费。 对于共享企业路由器内的连接,接受者创建的连接只有被企业路由器的所有者接受后,才会开始计费。 流量费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会根据实际流经连接的流量收取费用,统计从连接发送到企业路由器的每GB流量,即入方向的流量。
  • 计费示例 假设您在2023/07/06 12:25:30创建了一个按需计费的企业路由器,并添加如下两个连接: 2023/07/06 12:36:00 在企业路由器中添加1个“虚拟私有云(VPC)”连接,并在2023/07/07 18:50:00删除该连接,连接的使用过程中共产生流量532GB流量。 2023/07/06 13:01:00在企业路由器中添加1个“虚拟网关(VGW)”连接,并在2023/07/07 18:55:00删除该连接,连接的使用过程中共产生流量1300GB流量。 按需计费的企业路由器实例本身不收取费用,当您在企业路由器中添加连接时,会收取连接费用、以及流经连接的流量费用。 本示例中连接费用为0.40元/小时,流量费用为0.13元/GB,图1给出了上述示例配置的费用计算过程,产生费用的详细说明如表2所示。 图1 企业路由器计费示例 表2 企业路由器费用明细 连接类型 产生费用时间段 费用明细 费用总和 “虚拟私有云(VPC)”连接 2023/07/06 12:36:30~2023/07/07 18:50:00 实际使用时长共30小时14分钟,企业路由器采用整点计费,不足一小时采用一小时计费,本次计费时长为31小时,详细计算如下: 2023/07/06 12:36:00~2023/07/06 13:00:00 1小时 2023/07/06 13:00:00~2023/07/07 18:00:00 29小时 2023/07/07 18:00:00~2023/07/07 18:50:00 1小时 连接费用:0.40×31=12.4元 流量费用:0.13×532=69.16元 12.4+69.16=81.56元 “虚拟网关(VGW)”连接 2023/07/06 13:01:00~2023/07/07 18:55:00 计费时长共29小时54分钟,企业路由器采用整点计费,不足一小时采用一小时计费,本次计费时长为30小时,详细计算如下: 2023/07/06 13:01:00~2023/07/06 14:00:00 1小时 2023/07/06 14:00:00~2023/07/07 18:00:00 28小时 2023/07/07 18:00:00~2023/07/07 18:55:00 1小时 连接费用:0.40×30=12元 流量费用:0.13×1300=169元 12+169=181元 文档中的价格示例仅供参考,实际费用计算请以企业路由器价格详情中的价格为准。
  • 计费周期 连接费用:连接按小时计费,整点结算,不足一小时以一小时计算。以“虚拟私有云(VPC)”连接为例,计费时长示例如下: 场景一:2022年7月6日12:36,您在企业路由器中添加了一个“虚拟私有云(VPC)”连接,并于2022年7月6日12:57删除了该连接,此时按照一小时进行结算。 场景二:2022年7月6日12:59,您在企业路由器中添加了一个“虚拟私有云(VPC)”连接,并于2022年7月6日13:01分删除了该连接,由于实际使用时间跨整点,因此按照两个小时进行结算。 流量费用:根据实际流经连接的流量收取费用,统计从连接发送到企业路由器的每GB流量,即入方向的流量。
  • 适用计费项 按需计费的企业路由器实例本身不收取费用,当您在企业路由器中添加连接时,会收取连接费用、以及流经连接的流量费用。 表1 企业路由器计费项说明 计费项 收取该项费用的连接类型 计费说明 连接费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “对等连接(Peering)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会收取连接费用,连接添加成功后开始计费,连接删除后停止计费。 对于共享企业路由器内的连接,接受者创建的连接只有被企业路由器的所有者接受后,才会开始计费。 流量费用 “虚拟私有云(VPC)”连接 “虚拟网关(VGW)”连接 “VPN网关(VPN)”连接 “全球接入网关(DGW)”连接 当您将连接添加到企业路由器中时,会根据实际流经连接的流量收取费用,统计从连接发送到企业路由器的每GB流量,即入方向的流量。 “对等连接(Peering)”连接收取连接费用,不收取流量费用,流量费用包含在您的全域互联带宽中,全域互联带宽的计费详情请参见中心网络计费项。 “云防火墙(CFW)”连接不收取连接费用和流量费用。 “企业连接网(ECN)”连接处于公测期间,不收取连接费用和流量费用。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为RDS for MySQL。 源数据库已完成SQL流量文件录制,RDS for MySQL录制方式可参考开启SQL审计日志。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为GaussDB(for MySQL)。 源数据库已开启全量SQL功能,GaussDB(for MySQL)全量SQL方式可参考开启全量SQL,开启全量SQL会对源数据库性能产生影响,请评估影响后再进行开启。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 由于GaussDB(for MySQL)之前版本全量SQL文件格式不统一,当前支持GaussDB(for MySQL)2.0.8.3-2.0.28.15版本,以及后续发布的补丁版本2.0.28.xx系列全量SQL的解析。 GaussDB(for MySQL)默认全量SQL记录的最大为4KB,针对单条大小超过默认值的SQL,需参考修改参数模板修改rds_sql_tracer_max_record_size参数,避免超过默认值的SQL没有记录,导致的无法回放。 流量文件SQL内容包含内容分隔符(例如:^^)时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前支持源数据库为自建MySQL或者其他云MySQL(如RDS,POLARDB等),可以开启并能够导出审计日志或者洞察日志的实例。 源数据库已完成SQL流量文件录制,并且上传到华为云OBS桶内,DRS任务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为RDS for MySQL。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 上传的流量文件仅支持.gz和.zip的压缩格式。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 查询回放进度 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 单击“回放进度”页签,查看任务进度。 回放进度模块中,您可以查看任务状态、启动时间、SQL总量以及已回放SQL数量等信息。 录制回放统计图支持选择查看某一时间段内的SQL总量、执行量、异常量以及慢SQL数量情况。 录制回放异常SQL模块中,展示回放异常的SQL对象。 慢SQL模块支持查看SQL原始和回放耗时。 执行SQL模块展示回放过程中正在目标库运行的SQL情况。 图1 回放进度
  • 下载导出报告 对于回放过程中的异常的SQL和慢SQL,DRS支持下载和导出。 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 单击“回放进度”页签,可查看任务进度。 在“回放进度”的录制回放异常SQL和慢SQL模块,可对当前任务的报告进行下载。 单击“录制回放异常SQL”或“慢SQL”模块右侧的,进行报告导出。 在弹出对话框中选择导出字段后,单击“导出”。 图2 导出报告 导出完成后,可单击下载报告。 图3 下载报告
  • 添加标签 在“录制回放管理”界面,选中指定回放任务,单击任务名称,进入“基本信息”页面。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为RDS for MySQL。 源数据库已完成SQL流量文件录制,RDS for MySQL录制方式可参考开启SQL审计日志。 目标数据库要求: 目前仅支持目标数据库为RDS for MySQL。 目前仅支持目标数据库版本等于或高于源数据库版本。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 使用须知 为了确保录制回放任务各个阶段的平顺,在创建任务前,请务必阅读以下使用须知。 表2 使用须知 类型名称 使用和操作限制 任务启动前须知 源数据库要求: 目前支持源数据库为自建MySQL或者其他云MySQL(如RDS,POLARDB等),可以开启并能够导出审计日志或者洞察日志的实例。 源数据库已完成SQL流量文件录制,并且上传到华为云OBS桶内,DRS任务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量还原源数据库录制流量文件时的真实状态,基线数据越接近,录制回放越真实。 流量文件要求: 流量文件SQL内容包含内容分隔符(例如:^^)时,可能存在解析异常导致任务回放失败。 流量文件必须保证全量SQL结构完整,如果头文件被截断,会导致部分SQL解析被忽略。 流量文件单条SQL大小不能超过1MB。 事务中穿插了其他语句可能会导致死锁。 上传的流量文件仅支持.gz和.zip的压缩格式。 其他使用须知: 源数据库和目标数据库的配置参数不一致(例如:innodb_buffer_pool_size,sqlmode等),可能会导致回放进度慢或失败等情况。 再编辑操作如果删除或者新增了流量文件,需要在重置任务时勾选解析重置,再重新进行回放,可参考重置回放任务。 流量回放过程为并发执行,DDL语句和DML语句在同一个batch(10s)内,可能存在顺序打乱执行的情况。 解析阶段须知 解析文件选择完成后,不支持文件重命名操作。 回放阶段须知 回放SQL类型要求:目前仅支持SELECT、INSERT、DELETE、UPDATE、DDL。 结束任务须知 已结束的任务无法再次启动。
  • 操作步骤 在“数据订阅管理”页面,可查看订阅任务的数据范围。 图1 任务列表 选择指定的订阅任务,单击任务名称,页面跳转至“基本信息”页签。 单击“订阅数据”页签,查看订阅数据列表。 当前数据列表默认显示前5分钟的增量订阅数据。若需要查看指定时间段的订阅数据,您可以在页面右上角,根据需求选择显示订阅数据的时间段,设置的时间段必须在订阅任务的数据范围内。 图2 查看订阅数据 订阅数据展示的数据格式为数据复制服务内部的数据格式,数据记录的各个字段含义如表1所示: 表1 数据字段含义 数据字段名称 说明 服务ID RDS实例的IP:PORT。 库名 这条变更记录对应表所在的数据库的库名。 表名 这条变更记录对应的表的表名。 变更类型 这条变更记录的变更类型,包括:UPDATE、DELETE、INSERT、REPLACE、BEGIN、COMMIT、DDL、DML。 位点 这条变更记录在binlog中的位点,格式为binlog_file_offset@binlog_file_id,其中binlog_file_id为binlog文件名的后缀,binlog_file_offset为这条binlog记录在binlog文件中的偏移量。 时间戳 这条变更记录写入到binlog文件中时的时间戳。 如果您想查看指定数据库下指定表的数据详情,可以单击指定表操作列的“查看数据详情”。 图3 字段详情 数据详情可参考表2: 表2 字段详情 字段详情 说明 字段名称 这条变更记录对应的每个字段的名称。 字段类型 这条变更记录对应的每个字段的数据类型。 字段编码 这条变更记录对应的字符集编码。 前镜像 这条变更记录变更之前的各个字段的值。对于insert操作,没有前镜像值。 后镜像 这条变更记录变更之后的各个字段的值。对于delete操作,没有后镜像值。 update操作的前镜像和后镜像都有值。 对于操作类型为DDL的记录,只有字段详情,没有字段名称、字段类型、字段编码、前镜像及后镜像几个字段。
  • 添加标签 在“数据订阅管理”页面,选择指定的数据订阅任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • 操作步骤 停止SDK消费进程。 在修改消费位点之前,需要先确保连接这个订阅通道的所有SDK下游都停掉。 在“数据订阅管理”页面,选择需要修改消费时间点的订阅任务,单击“消费时间点”操作列的“修改”按钮。 图1 修改消费时间点 在弹出框中,设置指定的消费时间点,单击“确认”。 图2 编辑消费时间点 选择的时间消费点必须在订阅任务的时间范围内。 重启SDK消费进程。 当修改完消费位点后,即可重启本地的SDK消费进程,此时SDK会从修改的消费位点开始订阅增量数据。
  • 使用须知 数据订阅功能通过创建订阅任务来获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。数据订阅将其缓存并提供统一的SDK接口,实现下游业务订阅、获取、并消费。 一个完整的数据订阅过程需要通过如下两个阶段来实现: 使用数据复制服务控制台创建数据订阅任务。 数据订阅任务成功后,使用数据复制服务提供的SDK接口,访问数据订阅通道,订阅并消费增量数据。 数据复制服务提供的数据订阅功能在使用上有一些固定的限制,在进行正式的数据订阅之前,请先阅读以确保各存储引擎已满足使用限制条件。 表2 使用须知 类型名称 使用和操作限制 订阅对象约束 只支持RDS For MySQL实例。 数据订阅的对象目前只支持表级订阅。 binlog的binlog_row_image格式必须为full。 MySQL存储引擎只支持MyISAM,InnoDB。 MySQL字符集只支持LATIN1、GBK、UTF8、UTF8MB4、BINARY。 按事务维度提供订阅数据,只支持单个事务小于10MB数据量的场景。 操作须知 数据订阅过程中,不允许删除订阅对象。 一个订阅任务同时只能被一个下游SDK订阅消费,如果用户有多个下游需要订阅同一个RDS实例时,需要创建多个订阅通道。这些订阅任务订阅的RDS实例均为同一个实例ID。 一个下游SDK不可以订阅消费多个订阅任务。 目前支持VPC网络,但是不支持VPC内的容器网络。 由于源库异常、网络中断等造成的DRS订阅任务异常,需要在数据订阅界面续传订阅任务,详细参考续传订阅任务。 由于订阅任务当前存在较多订阅对象和操作约束,推荐使用性能、稳定性更高的MySQL到Kafka同步链路进行数据订阅。数据订阅与MySQL到Kafka同步的区别可参考这里。 勾选结构更新和数据更新后,DRS将展示整个实例(非所选库)的DDL和DCL更新操作,不进行过滤。如有需要,可使用SDK过滤所需的数据。
  • 操作步骤 在“数据订阅管理”页面的任务列表中,选择要修改的任务,单击操作列“编辑”按钮。 进入“选择订阅对象”页面,填写订阅类型和订阅对象信息,单击“下一步”。 在“任务确认”页面,设置任务异常通知设置、SMN主题,并确认订阅任务信息无误后,勾选协议,单击“启动任务”,提交订阅任务。 图1 任务启动设置 表1 任务启动设置 参数 描述 任务异常通知设置 该项为可选参数,开启之后,选择对应的SMN主题。当订阅任务状态或时延指标异常时,系统将发送通知。 SMN主题 “任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。 时延阈值 源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。 时延阈值设置是指时延超过一定的值后(时延阈值范围为0到3600s),DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。 说明: 设置时延阈值之前,需要设置任务异常通知。 当时延阈值设置为0时,不会发送通知给收件人。 订阅任务提交后,您可在“数据订阅管理”页面,查看并管理自己的任务。 您可查看任务提交后的状态,状态请参见任务状态说明。 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。 当订阅任务创建完成后,需要使用SDK实时订阅订阅任务中的增量数据。具体的操作及注意事项请参考SDK使用说明。
  • 网络配置流程 创建DRS公网网络任务,为DRS实例绑定弹性公网IP。 在创建公网网络的DRS任务时,可在实例信息页面为DRS实例绑定弹性公网IP。 本地数据中心的防火墙设置。 本地数据中心防火墙需要放通DRS实例弹性公网IP的访问,使得DRS可以正常访问本地数据中心自建数据库。 入方向放行:放通DRS实例弹性公网IP到数据库监听端口的访问。 出方向放行:放通数据库监听端口到实例弹性公网IP的数据传输。 本地数据中心自建数据库添加白名单。 本地数据中心自建数据库需要添加DRS弹性公网IP远程访问数据库的权限。 各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入本地数据中心的数据库IP、端口、用户名、密码进行测试连接。
  • 网络配置流程 创建DRS公网网络任务,为DRS实例绑定弹性公网IP。 在创建公网网络的DRS任务时,可在实例信息页面为DRS实例绑定弹性公网IP。 其他云申请弹性公网IP并绑定到数据库。 不同数据库对应方法不同,具体操作步骤可参考其他云官网资料进行设置。 其他云数据库添加白名单。 其他云数据库需要添加DRS弹性公网IP远程访问数据库的权限。 各厂商云数据库添加白名单的方法不同,请参考各厂商云数据库官方文档进行操作。 测试连接。 登录DRS控制台,单击已经创建的DRS任务操作列的“编辑”,重新进入“源库及目标库”界面,输入其他云的数据库IP、端口、用户名、密码进行测试连接。
  • 支持的源和目标数据库 表1 支持的数据库 备份文件版本 目标数据库版本 RDS for SQL Server全量备份文件版本: Microsoft SQL Server 2008 Microsoft SQL Server 2012 Microsoft SQL Server 2014 Microsoft SQL Server 2016 Microsoft SQL Server 2017 Microsoft SQL Server 2019 RDS for SQL Server Microsoft SQL Server 2008(存量版本) Microsoft SQL Server 2012 Microsoft SQL Server 2014 Microsoft SQL Server 2016 Microsoft SQL Server 2017 Microsoft SQL Server 2019 说明: 仅支持目标库大版本等于或高于源库大版本。 仅支持目标库功能性版本等于或高于源库功能性版本,如web版到标准版、标准版到企业版、企业版到企业版
  • 操作场景 标签管理服务(Tag Management Service,TMS)用于用户在云平台,通过统一的tag标签管理各种资源。TMS服务与各服务共同实现标签管理能力,TMS提供全局标签管理能力,各服务维护自身标签管理 。当用户资源较多时,可通过不同的标签标识和查找任务。 建议您先在TMS系统中设置预定义标签。 标签由“键”和“值”组成,每个标签中的一个“键”只能对应一个“值”。 每个实例最多支持20个标签配额。
  • 添加标签 在“备份迁移管理”页面,选择指定的备份迁移任务,单击任务名称进入“基本信息”页签。 在左侧导航栏,单击“标签”。 在“标签”页签单击“添加/编辑标签”,在“添加/编辑标签”弹出框中,输入标签的键和值,单击“添加”,然后单击“确定”。 输入标签的键和值时,系统会自动联想当前用户的所有实例(除当前实例外)的所有关联的预定义标签。 标签的键不能为空且必须唯一,长度为1~128个字符,可以包含任意语种字母、数字、空格和_.:=+-@字符,但首尾不能含有空格,不能以_sys_开头。 标签的值可以为空字符串,长度为0~255个字符,可以包含任意语种字母、数字、空格和_.:/=+-@字符,但首尾不能含有空格。 添加成功后,您可在当前任务的所有关联的标签集合中,查询并管理自己的标签。
  • 处理建议 如果确认未使用相关的加解密函数去操作业务,可以选择跳过该检查项。 如果需要修改数据库block_encryption_mode参数,可参考以下操作。 源数据库为本地自建MySQL库 方法一:执行以下命令,然后重启数据库使设置生效。 SET GLOBAL block_encryption_mode = '对应的加密模式' 方法二:在my.cnf或my.ini配置文件添加一行,然后重启数据库使设置生效。 block_encryption_mode = '对应的加密模式' 源数据库为云上RDS for MySQL实例,可参考修改实例参数修改数据库block_encryption_mode参数。
  • Oracle为源同步场景 表1 源库表字段类型检查 预检查项 源库表字段类型检查。 描述 对源数据库待同步表字段进行检查。 不通过提示及处理建议 不通过原因:源数据库表含有不支持的表字段类型。支持的表字段类型有: VARCHAR,VARCHAR2,NVARCHAR2,NUMBER,FLOAT,LONG,DATE,BINARY_FLOAT,BINARY_DOUBLE,RAW,LONG RAW,CHAR,NCHAR,CLOB,NCLOB,BLOB,ROWID,TIMESTAMP,TIMESTAMP WITH TIME ZONE,TIMESTAMP WITH LOCAL TIME ZONE。 处理建议:请选择其他可同步的表。
  • 可能原因 报错信息中包含detail:Read timed out:DRS启动任务后,DRS增量抓取在源端数据库创建逻辑复制槽时由于长事务阻塞,或者创建逻辑复制槽的过程中数据库未找到一致性位点,等待创建超时。 报错信息中包含slot [***] is active: DRS启动任务后,DRS增量抓取在源端数据库创建逻辑复制槽时由于长事务阻塞,复制槽未创建成功,此时状态会显示被占用(active),DRS自动重试时会出现此类报错。
共100000条