华为云计算 云知识 PostgreSQL数据库同步_本地PostgreSQL数据库的数据同步
PostgreSQL数据库同步_本地PostgreSQL数据库的数据同步

数据复制服务 (Data Replication Service,简称DRS)支持将本地PostgreSQL 数据库 的数据同步至本云 云数据库 PostgreSQL实例。通过DRS提供的实时迁移任务,实现在数据库同步过程中业务和数据库不停机,业务中断时间最小化。

本章节主要介绍了通过DRS将本地PostgreSQL数据库实时迁移至本云云数据库PostgreSQL的任务配置流程。支持以下网络类型:

· VPN( Virtual Private Network 虚拟专用网络 )网络

· 公网网络

网络示意图

图1 VPN网络
 
图2 公网网络+SSL安全连接

同步流程

图3 同步流程图
 

同步建议(重要)

· 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题,如何最小化对数据库的影响请参考如下建议。

· 强烈建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。

 

同步须知(重要)

须知:在创建实时同步任务之前,请您务必仔细阅读同步使用须知。参考《 数据复制 服务快速入门》中的“使用须知”章节。

 

同步准备

1、权限准备:

当使用 DRS 将本地PostgreSQL数据库的数据同步到本云云数据库PostgreSQL实例时,在不同同步类型情况下,对源数据库和目标数据库的帐号权限要求如表1所示:

表1 同步帐号权限

同步类型

全量同步

全量+增量同步

· 源数据库

· 数据库:CONNENT

· 模式:USAGE

· 有主键表:SELECT

· 无主键表:SELECT、UPDATE、DELETE、TRUNCATE

· 序列:SELECT

· 账户:REPLICATION

· 数据库:CONNENT

· 模式:USAGE

· 有主键表:SELECT

· 无主键表:SELECT、UPDATE、DELETE、TRUNCATE

· 序列:SELECT

目标数据库

CREATEDB

CREATEDB、CREATEROLE

· 源数据库的权限设置:

需要确保源数据库PostgreSQL的帐号具备表1的权限,若权限不足,需要在源数据库端开通高权限的帐号。

· 目标数据库的权限设置:

本云云数据库PostgreSQL使用初始帐号即可。

 

1、网络准备:

· 源数据库的网络设置:

本地PostgreSQL数据库实时同步至本云云数据库PostgreSQL的场景,一般可以使用VPN、专线网络和公网网络两种方式进行同步,您可以根据实际情况为本地PostgreSQL数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行同步,该方式下的数据同步过程较为方便和经济。

· 目标数据库的网络设置:

a)若通过VPN访问,请先开通华为VPN服务,确保源数据库PostgreSQL和目标端本云云数据库PostgreSQL的网络互通。

b)若通过公网网络访问,目标端不需要进行任何设置。

 

2、安全规则准备:

a)源数据库的安全规则设置:

· 若通过公网网络进行同步,源数据库PostgreSQL需要将DRS同步实例的 弹性公网IP 添加到其网络白名单内,使源数据库与本云的网络互通。在设置网络白名单之前,需要获取DRS同行实例的弹性 公网IP ,具体方法如下:

DRS同步实例创建成功后,可在“源库及目标库”页面获取DRS同步实例的弹性公网IP。
 
图4 同步实例弹性公网IP

· 若通过VPN网络进行同步,源库需要将DRS的私有IP添加到其网络白名单内,使源端与目标端的网络互通。

DRS同步实例创建成功后,可在“源库及目标库”页面获取DRS同步实例的私有IP。

以上白名单是为了进行同步针对性设置的,同步结束后可以删除。

b)目标 数据库安全 规则设置:

目标数据库默认与DRS同步实例处在同一个VPC,网络是互通的,DRS可以直接写入数据到目标数据库,不需要进行任何设置。

 

3、其他事项准备:

DRS仅支持同步PostgreSQL部分类型的DDL语句,具体支持范围请参考相关指导。请合理规划源数据库业务,不要在同步期间产生支持范围外的DDL操作。

 

同步步骤

1、创建同步任务

a)登录管理控制台,在服务列表中选择数据库 > 数据复制服务,进入数据复制服务信息页面。

b)在“实时同步管理”页面,单击右上角“创建同步任务”,进入同步任务信息页面。

c)在“同步实例”页面,填选任务名称、任务异常通知信息、描述和同步实例信息。

图5 同步实例信息
 
表2 任务和描述

参数

描述

区域

当前所在区域,可进行切换。

任务名称

任务名称在4-50位之间,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。

描述

描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。

任务异常通知设置

该项为可选参数,开启之后,选择对应的 SMN 主题,。当同步任务状态异常时,系统将发送通知。

SMN主题

“任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。

SMN主题申请和订阅可参考 消息通知 服务用户指南》。

时延阈值

在增量同步阶段,源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。

时延阈值设置是指时延超过一定的值后(时延阈值范围为1—3600s),DRS可以发送告警通知给指定收件人。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。

说明:

· 首次进入增量同步阶段,会有较多数据等待同步,存在较大的时延,属于正常情况,不在此功能的监控范围之内。

· 设置时延阈值之前,需要设置任务异常通知。

任务异常自动结束时间(天)

设置任务异常自动结束天数,输入值必须在14-100之间。

说明:

异常状态下的任务仍然会计费,而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后,异常且超时的任务将会自动结束,以免产生不必要的费用。

 

表3 同步实例信息

参数

描述

数据流动方向

选择“入云”

源数据库引擎

选择“PostgreSQL”

目标数据库引擎

选择“PostgreSQL” 。

网络类型

选择“公网网络”。建议您开启SSL安全连接,SSL约降低20-30%的同步性能,但保证了数据的安全性。

目标数据库实例

选择您所创建的目标PostgreSQL实例

同步类型

全量+增量:

该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。

说明:

选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。

 

d)在“源库及目标库”信息页面,同步实例创建成功后,填选源库信息和目标库信息,建议您单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”

图6 源库及目标库信息
 
表4 源库信息

参数

描述

IP地址或域名

配置源数据库PostgreSQL实例的访问地址或域名。

端口

配置源数据库PostgreSQL实例的服务端口,可输入范围为1~65535间的整数。

数据库用户名

访问源数据库PostgreSQL的用户名。

数据库密码

访问源数据库PostgreSQL的用户名所对应的密码。

SSL安全连接

在选择公网网络进行同步任务时,为了提升数据在网络传输过程中的安全性,建议您开启SSL安全连接,对同步链路进行加密,如果开启,需要您上传CA证书。

 

表5 目标库信息

参数

描述

数据库实例名称

默认为创建同步任务时选择的已创建的PostgreSQL实例,不可进行修改。

数据库用户名

访问目标端PostgreSQL实例的用户名。

数据库密码

访问目标端PostgreSQL实例的用户名所对应的密码。

 

e)在“同步设置”页面,选择同步对象和同步用户。

图7 同步模式
 
表6 同步对象

参数

描述

增量阶段冲突策略

数据复制服务提供的实时同步功能使用了主键或唯一键冲突策略,这些策略可以由您自主选择,尽可能保证源数据库中有主键约束或唯一键约束的表同步到目标数据库是符合预期的。

冲突策略目前支持如下三种形式:

· 忽略

当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。

· 报错

当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。

· 覆盖

当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。

当数据发生冲突时,针对如下情况,建议选择“忽略”或者“覆盖”,否则建议选择“报错”:

· 目标数据库存在数据

· 多对一同步场景

· 目标数据库手动更新数据

对象同步范围

对象同步范围支持增量DDL同步。如果同步期间源数据库不会发生表结构的变化,建议不勾选此项,否则请勾选此项。

快照模式

如果您选择的是全量同步模式的任务,数据复制服务支持设置快照模式。

· 非快照式

适用于停止业务数据写入的导出,如果全量同步中仍然有业务数据的修改,则导出数据为时间点非水平一致。稳定性和性能要优于快照式全量同步。

· 快照式

可以在业务运行时产生一份时间水平一致的快照数据,具有业务数据分析价值,过程中的数据变化不会体现在导出数据中。

说明:全量阶段使用快照模式导出能够有效提升全量+增量场景下的数据同步效率,但PostgreSQL的快照机制会使导出期间数据库的历史数据不能被回收,可能有空间膨胀的现象。建议在全量或增量数据量大且源库磁盘空间充足的情况下使用该方式。

同步对象

同步对象选择的粒度可以为库级或表级,您可以根据业务需求,选择同步整个数据库或者只同步部分表,单个任务只能选择实例中的一个数据库中的对象进行同步,支持库名映射。

· 库级同步:将源数据库中的所有对象全部同步至目标数据库。

· 表级同步:将自定义选择的表对象同步至目标数据库。

说明:若选择表级同步时,由于选择的表可能与数据库的其他对象存在依赖关系,若所依赖的对象没有被同时选择且未存在于目标库中,则会导致任务失败。建议您在同步之前进行确认,或选择库级同步。

同步用户

数据库的同步过程中,同步用户需要进行单独处理。

同步用户一般分为两类:可同步的用户和不支持同步的用户。对于不支持同步的用户,在备注列的查看详情中会提示具体的原因,您可以根据业务需求选择是否同步用户和权限。

 

f)在“预检查”页面,进行同步任务预校验,校验是否可进行实时同步。

· 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。

预检查不通过项处理建议请参见《数据复制服务用户指南》中的“预检查不通过项修复方法”。

· 预检查完成后,且所有检查项结果均通过时,单击“下一步”

 

图8 预检查

说明:所有检查项结果均通过时,若存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。

g)在“任务确认”页面,选择同步任务的启动时间,勾选协议,单击“启动任务”,提交同步任务。

说明:

· 同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。

· 预计同步任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置同步任务的启动时间。

h)同步任务提交后,开始启动同步任务,您可以返回“实时同步管理”页面,查看同步任务状态。

 

2、任务管理

同步任务启动后,会经历全量同步和增量同步两个阶段,对于不同阶段的同步任务,您可以进行任务管理。

· 全量同步

查看同步进度:全量同步中的任务,您可单击任务名称,在“同步进度”页签下,查看全量同步进度,您可以查看结构、数据、索引同步的进度,也查看具体同步对象的同步进度。当全量同步进度显示为100%,表示全量同步已经完成。

· 增量同步

【查看时延监控】全量同步完成后,开始进行增量同步。对于增量同步中的任务,您可单击任务名称,在“同步进度”页签下,查看增量同步同步时延,当时延为0s时,说明源数据库和目标数据库的数据是实时同步的。您也可以使用“同步对比”页签进行一致性对比。

图9 查看时延监控

【查看同步对比】为了尽可能减少业务的影响和业务中断时间,增量同步中的任务,您可单击任务名称,在“同步对比”页签下创建对比任务。

具体的同步对比操作及注意事项请参考《数据复制服务用户指南》中“对比同步项”章节。

 

3、割接建议。

建议您选择一个业务低峰期,开始正式系统割接流程。割接前,请您确认至少在业务低峰期有过一次完整的数据对比。可以结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。

a)先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。

b)在源数据库端执行如下语句,并观察在1-5分钟内若无任何新会话执行SQL ,则可认为业务已经完全停止。

select * from pg_stat_activity;

说明:上述语句查询到的进程列表中,包括DRS同步实例的连接,您需要确认除DRS同步实例的连接外无任何新会话执行SQL,即可认为业务已经完全停止。

c)通过DRS同步任务监控页面进行观察同步时延,保持实时同步时延为0,并稳定保持一段时间;同时,您可以使用数据级对比功能,进行割接前的最后一次数据级对比,耗时可参考之前的对比记录。

· 如果时间允许,则选择全部对比。

· 如果时间不允许,则推荐对比活跃表,关键业务表,第二步对比多次存在差异的表等。

d)确定系统割接时机,业务系统指向本云数据库,业务对外恢复使用,同步完成。

 

4、同步结束。

a)结束同步任务:业务系统和数据库切换至本云后,为了防止源数据库的操作继续同步到目标数据库,造成数据覆盖问题,此时您可选择结束同步任务,该操作仅删除了同步实例,同步任务仍显示在任务列表中,您可以进行查看或删除。结束同步任务后,DRS将不再计费。

b)删除同步任务:对于已结束的同步任务,您可选择删除任务。该操作将一并删除同步任务,删除同步任务后,该任务将不会出现在任务列表中。

上一篇:重试函数流RetryWorkFlow 下一篇:如何创建部署任务

云数据库 RDS for PostgreSQL 

 

华为云数据库 RDS for PostgreSQL是一种典型的开源关系型数据库,在保证数据可靠性和完整性方面表现出色,支持互联网电商、地理位置应用系统、金融保险系统、复杂数据对象处理等场景

 

华为云数据库新用户特惠,首单5元起,RDS for MySQL 1年1.8折起,助力企业加速数字化转型。即开即用,云端完全托管,数据安全不丢失。