逻辑解码-华为云

云数据库 GAUSSDB-逻辑解码概述:功能描述

功能描述 GaussDB对数据复制能力的支持情况为：支持通过数据迁移工具定期向异构数据库（如Oracle等）进行数据同步，不具备实时数据复制能力。不足以支撑与异构数据库间并网运行实时数据同步的诉求。 GaussDB提供了逻辑解码功能，通过反解xlog的方式生成逻辑日志。目标数据库解析逻辑日志以实时进行数据复制。具体如图1所示。逻辑复制降低了对目标数据库的形态限制，支持异构数据库、同构异形数据库对数据的同步，支持目标库进行数据同步期间的数据可读写，数据同步时延低。图1 逻辑复制逻辑复制由两部分组成：逻辑解码和数据复制。逻辑解码会输出以事务为单位组织的逻辑日志。业务或数据库中间件将会对逻辑日志进行解析并最终实现数据复制。GaussDB当前只提供逻辑解码功能，因此本章节只涉及逻辑解码的说明。逻辑解码为逻辑复制提供事务解码的基础能力，GaussDB使用SQL函数接口进行逻辑解码。此方法调用方便，不需使用工具，对接外部工具接口也比较清晰，不需要额外适配。

云数据库 GAUSSDB 逻辑解码

云数据库 GAUSSDB-逻辑解码概述:性能

性能在Benchmarksql-5.0的100warehouse场景下，采用pg_logical_slot_get_changes时：单次解码数据量4K行（对应约5MB～10MB日志），解码性能0.3MB/s～0.5 MB/s。单次解码数据量32K行（对应约40MB～80MB日志），解码性能3MB/s～5MB/s。单次解码数据量256K行（对应约320MB～640MB日志），解码性能3MB/s～5MB/s。单次解码数据量再增大，解码性能无明显提升。如果采用pg_logical_slot_peek_changes + pg_replication_slot_advance方式，解码性能相比采用pg_logical_slot_get_changes时要下降30%～50%。

云数据库 GAUSSDB 逻辑解码

云数据库 GAUSSDB-使用SQL函数接口进行逻辑解码:操作步骤

操作步骤以具有REPLICATION权限的用户登录GaussDB集群任一主机。使用如下命令通过CN端口连接数据库。 gsql -U user1 -d gaussdb -p 40000 -r 其中，user1为用户名，gaussdb为需要连接的数据库名称，40000为数据库DN端口号，用户可根据实际情况替换。复制槽是建立在DN上的，因此需要通过DN端口连接数据库。创建名称为slot1的逻辑复制槽。 1 2 3 4 5 gaussdb=# SELECT * FROM pg_create_logical_replication_slot('slot1', 'mppdb_decoding'); slotname | xlog_position ----------+--------------- slot1 | 0/601C150 (1 row) 在数据库中创建表t，并向表t中插入数据。 1 2 gaussdb=# CREATE TABLE t(a int PRIMARY KEY, b int); gaussdb=# INSERT INTO t VALUES(3,3); 读取所有DN上复制槽slot1解码结果，解码条数为4096。逻辑解码选项可参考逻辑解码选项。 1 2 3 4 5 6 7 8 9 10 gaussdb=# EXECUTE DIRECT ON DATANODES 'SELECT * FROM pg_logical_slot_peek_changes(''slot1'', NULL, 4096);'; location | xid | data -----------+-------+------------------------------------------------------------------------------------------------------------------------------------------------- ------------------------------------------- 0/601C188 | 1010023 | BEGIN 1010023 0/601ED60 | 1010023 | COMMIT 1010023 CSN 1010022 0/601ED60 | 1010024 | BEGIN 1010024 0/601ED60 | 1010024 | {"table_name":"public.t","op_type":"INSERT","columns_name":["a","b"],"columns_type":["integer","integer"],"columns_val":["3","3"],"old_keys_name":[],"old_keys_type":[],"old_keys_val":[]} 0/601EED8 | 1010024 | COMMIT 1010024 CSN 1010023 (5 rows) 删除逻辑复制槽slot1。 1 2 3 4 5 gaussdb=# SELECT * FROM pg_drop_replication_slot('slot1'); pg_drop_replication_slot -------------------------- (1 row)

云数据库 GAUSSDB 逻辑解码

云数据库 GAUSSDB-使用SQL函数接口进行逻辑解码:操作步骤

操作步骤以具有REPLICATION权限的用户登录GaussDB集群任一主机。使用如下命令通过DN端口连接数据库。 gsql -U user1 -d gaussdb -p 40000 -r 其中，user1为用户名，gaussdb为需要连接的数据库名称，40000为数据库DN端口号，用户可根据实际情况替换。复制槽是建立在DN上的，因此需要通过DN端口连接数据库。创建名称为slot1的逻辑复制槽。 1 2 3 4 5 openGauss=# SELECT * FROM pg_create_logical_replication_slot('slot1', 'mppdb_decoding'); slotname | xlog_position ----------+--------------- slot1 | 0/601C150 (1 row) 在数据库中创建表t，并向表t中插入数据。 1 2 openGauss=# CREATE TABLE t(a int PRIMARY KEY, b int); openGauss=# INSERT INTO t VALUES(3,3); 读取复制槽slot1解码结果，解码条数为4096。 1 2 3 4 5 6 7 8 9 10 openGauss=# SELECT * FROM pg_logical_slot_peek_changes('slot1', NULL, 4096); location | xid | data -----------+-------+------------------------------------------------------------------------------------------------------------------------------------------------- ------------------------------------------- 0/601C188 | 1010023 | BEGIN 1010023 0/601ED60 | 1010023 | COMMIT 1010023 CSN 1010022 0/601ED60 | 1010024 | BEGIN 1010024 0/601ED60 | 1010024 | {"table_name":"public.t","op_type":"INSERT","columns_name":["a","b"],"columns_type":["integer","integer"],"columns_val":["3","3"],"old_keys_name":[],"old_keys_type":[],"old_keys_val":[]} 0/601EED8 | 1010024 | COMMIT 1010024 CSN 1010023 (5 rows) 删除逻辑复制槽slot1。 1 2 3 4 5 openGauss=# SELECT * FROM pg_drop_replication_slot('slot1'); pg_drop_replication_slot -------------------------- (1 row)

云数据库 GAUSSDB 逻辑解码

云数据库 GaussDB-逻辑解码概述:功能描述

功能描述 GaussDB对数据复制能力的支持情况为：支持通过数据迁移工具定期向异构数据库进行数据同步，不具备实时数据复制能力。不足以支撑与异构数据库间并网运行实时数据同步的诉求。 GaussDB提供了逻辑解码功能，通过反解xlog的方式生成逻辑日志。目标数据库解析逻辑日志以实时进行数据复制。具体如图1所示。逻辑复制降低了对目标数据库的形态限制，支持异构数据库、同构异形数据库对数据的同步，支持目标库进行数据同步期间的数据可读写，数据同步时延低。图1 逻辑复制逻辑复制由两部分组成：逻辑解码和数据复制。逻辑解码会输出以事务为单位组织的逻辑日志。业务或数据库中间件将会对逻辑日志进行解析并最终实现数据复制。GaussDB当前只提供逻辑解码功能，因此本章节只涉及逻辑解码的说明。逻辑解码为逻辑复制提供事务解码的基础能力，GaussDB使用SQL函数接口进行逻辑解码。此方法调用方便，不需使用工具，对接外部工具接口也比较清晰，不需要额外适配。

云数据库 GaussDB 逻辑解码

云数据库 GaussDB-逻辑解码概述:注意事项

注意事项不支持DDL语句解码，在执行特定的DDL语句（如普通表truncate或分区表exchange）时，可能造成解码数据丢失。不支持列存、数据页复制的解码。当执行DDL语句（如alter table）后，该DDL语句前尚未解码的物理日志可能会丢失。单条元组大小不超过1GB，考虑解码结果可能大于插入数据，因此建议单条元组大小不超过500MB。 GaussDB支持解码的数据类型为：INTEGER、BIGINT、SMALLINT、TINYINT、SERIAL、SMALLSERIAL、BIGSERIAL、FLOAT、DOUBLE PRECISION、DATE、TIME[WITHOUT TIME ZONE]、TIMESTAMP[WITHOUT TIME ZONE]、CHAR(n)、VARCHAR(n)、TEXT。如果需要ssl连接需要保证前置条件GUC参数ssl=on。逻辑复制槽名称必须小于64个字符，且只包含小写字母、数字或者下划线中的一种或几种。当逻辑复制槽所在数据库被删除后，这些复制槽变为不可用状态，需要用户手动删除。对多库的解码需要分别在库内创建流复制槽并开始解码，每个库的解码都需要单独扫一遍日志。不支持强切，强切后需要重新全量导出数据。如需进行备机解码，需在对应主机上设置guc参数enable_slot_log = on。备机解码时，switchover和failover时可能出现解码数据变多，需用户手动过滤。Quorum协议下，switchover和failover选择升主的备机，需要与当前主机日志同步。不允许主备，多个备机同时使用同一个复制槽解码，否则会产生数据不一致。只支持主机创建删除复制槽。数据库故障重启或逻辑复制进程重启后，解码数据可能存在重复，用户需自己过滤。计算机内核故障后，解码可能存在乱码，需手动或自动过滤。当前备机逻辑解码，不支持开启极致RTO。请确保在创建逻辑复制槽过程中长事务未启动，启动长事务会阻塞逻辑复制槽的创建。不支持interval partition表复制。不支持全局临时表。在事务中执行DDL语句后，该DDL语句与之后的语句不会被解码。禁止在使用逻辑复制槽时在其他节点对该复制槽进行操作，删除复制槽的操作需在该复制槽停止解码后执行。为解析某个astore表的UPDATE和DELETE语句，需为此表配置REPLICA IDENITY属性，在此表无主键时需要配置为FULL，具体配置方式参照▪REPLICA IDENTITY { DEFA...。禁止在使用逻辑复制槽时在其他节点对该复制槽进行操作，删除复制槽的操作需在该复制槽停止解码后执行。基于目标库可能需要源库的系统状态信息考虑，逻辑解码仅自动过滤模式'pg_catalog'和'pg_toast'下OID小于16384的系统表的逻辑日志。若目标库不需要复制其他相关系统表的内容，逻辑日志回放过程中需要对相关系统表进行过滤。在开启逻辑复制的场景下，如需创建包含系统列的主键索引，必须将该表的REPLICA IDENTITY属性设置为FULL或是使用USING INDEX指定不包含系统列的、唯一的、非局部的、不可延迟的、仅包括标记为NOT NULL的列的索引。

云数据库 GaussDB 逻辑解码

云数据库 GaussDB-逻辑解码概述:性能

性能在Benchmarksql-5.0的100warehouse场景下，采用pg_logical_slot_get_changes时：单次解码数据量4K行（对应约5MB～10MB日志），解码性能0.3MB/s～0.5 MB/s。单次解码数据量32K行（对应约40MB～80MB日志），解码性能3MB/s～5MB/s。单次解码数据量256K行（对应约320MB～640MB日志），解码性能3MB/s～5MB/s。单次解码数据量再增大，解码性能无明显提升。如果采用pg_logical_slot_peek_changes + pg_replication_slot_advance方式，解码性能相比采用pg_logical_slot_get_changes时要下降30%～50%。

云数据库 GaussDB 逻辑解码

云服务器内容精选

逻辑解码

7*24

备案

专业服务

退订

建议反馈

售前咨询热线