使用外表并行导出-华为云

云数据库 GAUSSDB-创建GDS外表:示例

示例示例1：创建GDS导出外表foreign_tpcds_reasons，待导出数据格式为CSV，用于接收数据服务器上的数据。其中设置的导出模式信息如下所示：规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，待导出的数据文件格式为CSV，选择并行导出模式为Remote模式。假定启动GDS时，规划导出的数据文件存放目录为“/output_data/”，GDS侦听端口为5000，所以设置参数“location”为“gsfs://192.168.0.90:5000/”。设置导出的数据格式信息，参数设置如下所示：导出数据文件格式（format）为CSV。编码格式（encoding）为UTF-8。字段分隔符（delimiter）为E'\x08'。引号字符（quote）为0x1b。数据文件中空值（null）为没有引号的空字符串。逃逸字符（escape）为默认值双引号。数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。导出数据文件换行符样式（EOL）为0X0A。创建的外表如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV', DELIMITER E'\x08', QUOTE E'\x1b', NULL '', EOL '0x0a' ) WRITE ONLY; 示例2：创建GDS导出外表foreign_tpcds_reasons，导出数据格式为FIXED，用于接收数据服务器上的数据。其中设置的导出模式信息如下所示：规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，计划导出的数据文件格式为CSV，选择并行导出模式为Remote模式。假定启动GDS时，规划导出的数据文件存放目录为“/output_data/”，GDS侦听端口为5000，所以设置参数“location”为“gsfs://192.168.0.90:5000/”。设置导出的数据格式信息，参数设置如下所示：导出数据文件格式（format）为FIXED。编码格式（encoding）为UTF-8。数据文件是否包含标题行（header）为默认值false，即指定导出数据文件是不包含标题行。定义每一个字段在数据文件中的位置POSITION(offset,length)。其中offset为该字段在文件中的起始位置，length为该字段的长度，单位为字节。字段“r_reason_sk”，数据类型为integer，使用以下查询所得占用的最大字节数为2，所以设置的起始位置为1，长度为2。字段“r_reason_id”，数据类型为character varying(16)，使用以下查询所得占用的最大字节数为16，所以设置的起始位置为字段“r_reason_sk”的offset+length=1+2=3，长度为16。字段“r_reason_desc”，数据类型为character varying(100)，使用以下查询所得占用的最大字节数为100，所以设置的起始位置为字段“r_reason_id”的offset+length=3+16=19，长度为100。 1 2 3 4 5 postgres=# SELECT max(lengthb(r_reason_sk)),max(lengthb(r_reason_id)),max(lengthb(r_reason_desc)) FROM reasons; max | max | max -----+-----+----- 2 | 16 | 100 (1 row) 导出数据文件换行符样式（EOL）为0X0A。创建的外表如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer position(1,2), r_reason_id char(16) position(3,16), r_reason_desc char(100) position(19,100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'FIXED', ENCODING 'utf8', EOL '0x0a' ) WRITE ONLY;

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-创建GDS外表:操作步骤

操作步骤根据规划导出数据中规划的路径确定外表参数location的值。 Remote模式请通过URL方式设置参数“location”，用于指定导出的数据文件存放路径。不需要指定文件名。当有多个路径时，只有第一个路径有效。示例： GDS数据服务器IP为192.168.0.90，假定启动GDS时设置的侦听端口为5000，设置的导出后文件存放目录为“/output_data/”。根据以上情况，在创建外表时，指定参数“location”为“gsfs://192.168.0.90:5000/”。 Local模式设置参数“location”，用于指定导出的数据文件存放路径，不需要指定文件名。示例：数据源文件可通过本地文件方式访问，计划将导出数据文件存放在“/output_data/”目录中。根据以上情况，在创建外表时，指定参数“location”为“file:///output_data/”。梳理待导出数据的格式信息，确定创建外表时使用的数据格式参数的值。格式参数详细介绍，请参见数据格式参数。根据前面步骤确定的参数，创建GDS外表。外表的创建语法以及详细使用，请参考CREATE FOREIGN TABLE (导入导出)。

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-执行导出数据:任务示例

任务示例示例1：将表reasons的数据通过外表foreign_tpcds_reasons导出到数据文件中。 1 postgres=# INSERT INTO foreign_tpcds_reasons SELECT * FROM reasons; 示例2：通过条件过滤（r_reason_sk =1），向数据文件中导出部分数据。 1 postgres=# INSERT INTO foreign_tpcds_reasons SELECT * FROM reasons WHERE r_reason_sk=1; 示例3：对于特殊的数据类型如RAW类型，在导出之后是一个二进制文本，导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 1 postgres=# INSERT INTO foreign_blob_type_tab SELECT RAWTOHEX(c) FROM blob_type_tab;

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-执行导出数据:操作步骤

操作步骤执行数据导出。 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本，实现并发批量导出数据。并发量视机器资源使用情况而定。可通过几个表测试，监控资源利用率，根据结果提高或减少并发量。常用资源监控命令有：内存和CPU监控top命令，IO监控命令iostat，网络监控命令sar等。仅支持单个内表导出，不支持多表Join联合导出，不支持单表的聚集、排序、子查询、limit等操作结果导出。本版本中GDS导出已经支持CN RETRY，当出现DN故障或者GTM故障导致的网络错误发生时会触发CN RETRY。注意要保证GDS 和内核版本一致或者都高于此版本。

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-创建GDS外表:操作步骤

操作步骤根据规划导出数据中规划的路径确定外表参数location的值。 Remote模式请通过URL方式设置参数“location”，用于指定导出的数据文件存放路径。不需要指定文件名。当有多个路径时，只有第一个路径有效。示例： GDS数据服务器IP为192.168.0.90，假定启动GDS时设置的侦听端口为5000，设置的导出后文件存放目录为“/output_data/”。根据以上情况，在创建外表时，指定参数“location”为“gsfs://192.168.0.90:5000/”。 Local模式设置参数“location”，用于指定导出的数据文件存放路径，不需要指定文件名。示例：数据源文件可通过本地文件方式访问，计划将导出数据文件存放在“/output_data/”目录中。根据以上情况，在创建外表时，指定参数“location”为“file:///output_data/”。梳理待导出数据的格式信息，确定创建外表时使用的数据格式参数的值。格式参数详细介绍，请参见数据格式参数。根据前面步骤确定的参数，创建GDS外表。外表的创建语法以及详细使用，请参考CREATE FOREIGN TABLE (导入导出)。

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-创建GDS外表:示例

示例示例1：创建GDS导出外表foreign_tpcds_reasons，待导出数据格式为CSV，用于接收数据服务器上的数据。其中设置的导出模式信息如下所示：规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，待导出的数据文件格式为CSV，选择并行导出模式为Remote模式。假定启动GDS时，规划导出的数据文件存放目录为“/output_data/”，GDS侦听端口为5000，所以设置参数“location”为“gsfs://192.168.0.90:5000/”。设置导出的数据格式信息，参数设置如下所示：导出数据文件格式（format）为CSV。编码格式（encoding）为UTF-8。字段分隔符（delimiter）为E'\x20'。引号字符（quote）为0x1b。数据文件中空值（null）为没有引号的空字符串。逃逸字符（escape）为默认值双引号。数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。导出数据文件换行符样式（EOL）为0X0A。创建的外表如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV', DELIMITER E'\x20', QUOTE E'\x1b', NULL '', EOL '0x0a' ) WRITE ONLY; 示例2：创建GDS导出外表foreign_tpcds_reasons，导出数据格式为FIXED，用于接收数据服务器上的数据。其中设置的导出模式信息如下所示：规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，计划导出的数据文件格式为CSV，选择并行导出模式为Remote模式。假定启动GDS时，规划导出的数据文件存放目录为“/output_data/”，GDS侦听端口为5000，所以设置参数“location”为“gsfs://192.168.0.90:5000/”。设置导出的数据格式信息，参数设置如下所示：导出数据文件格式（format）为FIXED。编码格式（encoding）为UTF-8。数据文件是否包含标题行（header）为默认值false，即指定导出数据文件是不包含标题行。定义每一个字段在数据文件中的位置POSITION(offset,length)。其中offset为该字段在文件中的起始位置，length为该字段的长度，单位为字节。字段“r_reason_sk”，数据类型为integer，使用以下查询所得占用的最大字节数为2，所以设置的起始位置为1，长度为2。字段“r_reason_id”，数据类型为character varying(16)，使用以下查询所得占用的最大字节数为16，所以设置的起始位置为字段“r_reason_sk”的offset+length=1+2=3，长度为16。字段“r_reason_desc”，数据类型为character varying(100)，使用以下查询所得占用的最大字节数为100，所以设置的起始位置为字段“r_reason_id”的offset+length=3+16=19，长度为100。 1 2 3 4 5 openGauss=# SELECT max(lengthb(r_reason_sk)),max(lengthb(r_reason_id)),max(lengthb(r_reason_desc)) FROM reasons; max | max | max -----+-----+----- 2 | 16 | 100 (1 row) 导出数据文件换行符样式（EOL）为0X0A。创建的外表如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer position(1,2), r_reason_id char(16) position(3,16), r_reason_desc char(100) position(19,100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'FIXED', ENCODING 'utf8', EOL '0x0a' ) WRITE ONLY;

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-示例:示例：Local模式导出

示例：Local模式导出集群总共有8个DN，其中每2个DN位于同一个物理节点上，共有4个物理节点，且磁盘空间足够且集群节点IO性能好，所以选择的并行导出模式为local模式。 Local模式导出数据操作示例如下所示：登录集群的每个物理节点，创建导出数据文件存放目录“/output_data”，并修改数据文件目录“/output_data”的属主为omm。以下以IP为192.168.0.11的节点为例，进行操作。 mkdir -p /output_data chown -R omm:dbgrp /output_data 在数据库上创建外表foreign_tpcds_reasons，用于导出数据。其中设置的导出模式信息如下所示：由于上一步中创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“file:///output_data/”。设置导出的数据文件格式信息如下所示：数据文件格式（format）为CSV。编码格式（encoding）为UTF-8。字段分隔符（delimiter）为E'\x20'。引号字符（quote）为0x1b。数据文件中空值（null）为没有引号的空字符串。逃逸字符（escape）为默认值双引号。数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。根据以上信息，创建的外表foreign_tpcds_reasons如下所示： 1 2 3 4 5 6 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (LOCATION 'file:///output_data/', FORMAT 'CSV',ENCODING 'utf8', DELIMITER E'\x20', QUOTE E'\x1b', NULL '') WRITE ONLY; 在数据库中执行数据导出。 1 openGauss=# INSERT INTO foreign_tpcds_reasons SELECT * FROM reasons; 查看导出的数据文件。数据文件将生成在集群各节点的“/output_data/YYYYMMDD/DN实例名”目录下。其中，“YYYYMMDD”为系统当前日期，“DN实例名”可通过以下语句查询。 1 2 3 4 5 6 7 8 9 10 11 12 openGauss=# SELECT node_name,node_host FROM pgxc_node WHERE node_type='D'; node_name | node_host --------------+---------------- dn_6001_6002 | 192.168.0.11 dn_6003_6004 | 192.168.0.11 dn_6005_6006 | 192.168.0.12 dn_6007_6008 | 192.168.0.12 dn_6009_6010 | 192.168.0.13 dn_6011_6012 | 192.168.0.13 dn_6013_6014 | 192.168.0.14 dn_6015_6016 | 192.168.0.14 (8 rows) 以IP为192.168.0.11的节点为例，该节点上的DN实例名为“dn_6001_6002”和“dn_6003_6004”，则导出的数据文件存放在该节点“/output_data/20160101/dn_6001_6002”和“/output_data/20160101/dn_6003_6004”目录下。

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-示例:示例：多线程导出

示例：多线程导出规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，导出的数据文件格式为CSV，同时导出2个目标表，所以规划使用Remote模式进行多线程导处。 Remote模式多线程导出数据操作示例如下所示：登录GDS数据服务器，创建数据库用户及所属的用户组。 groupadd gdsgrp useradd -g gdsgrp gds_user 切换用户gds_user，创建导出文件存放目录“/output_data”。 su - gds_user mkdir -p /output_data 修改数据服务器上数据文件目录“/output_data”的属主为gds_user。 chown -R gds_user:gdsgrp /output_data 以gds_user用户登录数据服务器上启动GDS。其中GDS安装路径为“/opt/bin/gds”，导出数据文件存放在“/output_data/”目录下，数据服务器所在IP为192.168.0.90，GDS侦听端口为5000，以后台方式运行，设定并发度为2。 /opt/bin/gds/gds -d /output_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D -t 2 在GaussDB上，创建外表foreign_tpcds_reasons1和foreign_tpcds_reasons2用于接收数据服务器上的数据。其中设置的导出模式信息如下所示：由于启动GDS时，设置的导出数据文件存放目录为“/output_data/”，GDS侦听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192.168.0.90:5000/”。设置导出的数据文件格式信息如下所示：数据文件格式（format）为CSV。编码格式（encoding）为UTF-8。字段分隔符（delimiter）为E'\x20'。引号字符（quote）为0x1b。数据文件中空值（null）为没有引号的空字符串。逃逸字符（escape）为默认值双引号。数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。根据以上信息，创建的外表foreign_tpcds_reasons1如下所示： 1 2 3 4 5 6 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons1 ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV',ENCODING 'utf8', DELIMITER E'\x20', QUOTE E'\x1b', NULL '') WRITE ONLY; 参考以上设置，创建的外表foreign_tpcds_reasons2如下所示： 1 2 3 4 5 6 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons2 ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV', DELIMITER E'\x20', QUOTE E'\x1b', NULL '') WRITE ONLY; 在数据库中通过外表foreign_tpcds_reasons1和foreign_tpcds_reasons2，将表reasons1和reasons2中的数据导出到目录“/output_data”中。 1 openGauss=# INSERT INTO foreign_tpcds_reasons1 SELECT * FROM reasons1; 1 openGauss=# INSERT INTO foreign_tpcds_reasons2 SELECT * FROM reasons2; 待数据导出完成后，以gds_user用户登录数据服务器，停止GDS。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0 15:03 ? 00:00:00 gds -d /output_data -p 192.168.0.90:5000 -D -t 2 gds_user 129003 118723 0 15:04 pts/0 00:00:00 grep gds kill -9 128954

云数据库 GAUSSDB 使用外表并行导出

云数据库 GAUSSDB-示例:示例：Remote模式导出

示例：Remote模式导出规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，导出数据文件格式为CSV，所以规划的并行导出模式为Remote模式。 Remote模式并行导出数据操作示例如下所示：（可选）创建用户及其所属的用户组。此用户用于启动GDS。若该类用户及所属用户组已存在，可跳过此步骤。 groupadd gdsgrp useradd -g gdsgrp gds_user 切换用户gds_user，创建数据文件存放目录“/output_data”，启动gds_user用户及所属的用户组。 su - gds_user mkdir -p /output_data 修改数据服务器上数据文件目录“/output_data”的属主为gds_user。 chown -R gds_user:gdsgrp /output_data 以gds_user用户登录数据服务器上分别启动GDS。其中GDS安装路径为“/opt/bin/gds”，导出数据文件存放在“/output_data/”目录下，数据服务器所在IP为192.168.0.90，GDS侦听端口为5000，以后台方式运行。 /opt/bin/gds/gds -d /output_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D 在数据库中创建外表foreign_tpcds_reasons用于接收数据服务器上的数据。其中设置的导出模式信息如下所示：由于启动GDS时，设置的导出数据文件存放目录为“/output_data/”，GDS侦听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192.168.0.90:5000/”。设置导出的数据文件格式信息如下所示：数据文件格式（format）为CSV。编码格式（encoding）为UTF-8。字段分隔符（delimiter）为E'\x20'。引号字符（quote）为0x1b。数据文件中空值（null）为没有引号的空字符串。逃逸字符（escape）为默认值双引号。数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。根据以上信息，创建的外表如下所示： 1 2 3 4 5 6 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.90:5000/', FORMAT 'CSV',ENCODING 'utf8',DELIMITER E'\x20', QUOTE E'\x1b', NULL '') WRITE ONLY; 在数据库上，通过外表foreign_tpcds_reasons，将数据导出到数据文件中。 1 openGauss=# INSERT INTO foreign_tpcds_reasons SELECT * FROM reasons; 待数据导出完成后，以gds_user用户登录数据服务器，停止GDS。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0 15:03 ? 00:00:00 gds -d /output_data -p 192.168.0.90:5000 -D gds_user 129003 118723 0 15:04 pts/0 00:00:00 grep gds kill -9 128954

云数据库 GAUSSDB 使用外表并行导出

云数据库 GaussDB-规划导出数据:规划导出路径

规划导出路径 Remote模式（可选）创建用户及所属的用户组。此用户为启动GDS的用户，该用户需要拥有导出数据文件存放目录的写权限。 groupadd gdsgrpuseradd -g gdsgrp gdsuser 若出现以下提示，说明数据库用户及所属用户组已存在，可跳过本步骤。 useradd: Account 'gdsuser' already exists.groupadd: Group 'gdsgrp' already exists. 创建导出的数据文件存放目录“/output_data”。 mkdir -p /output_data 修改数据文件目录属主为gdsuser。 chown -R gdsuser:gdsgrp /output_data Local模式在集群的每个DN上创建导出数据文件存放目录“/output_data”。 mkdir -p /output_data 修改数据文件目录属主为omm。 chown -R omm:dbgrp /output_data 将参数“location”设为本地路径，不需要指定文件名。例如：计划将导出数据文件存放在“/output_data/”目录中。根据以上情况，在创建外表时，指定参数“location”为“file:///output_data/”。

云数据库 GaussDB 使用外表并行导出

云服务器内容精选

使用外表并行导出

7*24

备案

专业服务

退订

建议反馈

售前咨询热线