通过外表并行导入-华为云

云数据库 GAUSSDB-创建GDS外表:操作步骤

操作步骤收集数据源格式信息、GDS服务的访问信息。需要收集的主要数据源格式信息如下： format：GDS外表导入支持CSV、TEXT和FIXED格式。请确认存放在数据服务器上待入库数据的格式。例如，假设待入库的数据为CSV格式。 header（仅支持CSV,FIXED格式）：确认数据文件是否包含标题行。 delimiter：确认数据文件中，字段间的分隔符。例如，假设是以英文逗号分隔的。 encoding：数据源文件的数据编码格式。例如，假设为UTF-8。 eol：确认数据文件中，行间的换行符。例如，默认的换行符，如0x0D0A、0X0A，或者自定义的换行符，如字符串!@#。该参数仅支持TEXT格式导入。外表可识别的其他更多格式信息请参见数据格式参数。需要收集的GDS服务的访问信息如下： location：GDS服务的访问地址。例如以安装配置和启动GDS中的GDS信息为例。非SSL模式下的location为：gsfs://192.168.0.90:5000/input_data/ 。SSL模式下的location为：gsfss://192.168.0.90:5000/input_data/ 。其中，“192.168.0.90:5000”为GDS服务的IP及端口号；“input_data”为GDS服务管理的数据源文件所在的路径。请根据实际情况替换。依据数据源文件中的数据情况，设计导入容错机制。 GaussDB支持如下的数据容错性处理，相当于数据入库前对数据做初步的简单清洗。 fill_missing_fields：数据入库时，数据源文件中某行的最后一个字段缺失时，请选择是直接将字段设为Null，还是在错误表中报错提示。 ignore_extra_data：数据源文件中的字段比外表定义列数多时，请选择是忽略多出的列，还是在错误表中报错提示。 per node reject_limit：本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量。如果有一个DN实例上录入错误表中的错误数量超过设定值时，本次导入失败，报错退出。可以选择不做限制，也可以根据所能容忍的错误数量选择一个上限值。 compatible_illegal_chars：导入时遇到非法字符，选择如何处理。是将非法字符按照转换规则转换后入库，还是报错中止导入。非法字符容错转换规则如下：对于'\0'，容错后转换为空格。对于其他非法字符，容错后转换为问号。对非法字符进行容错转换时，如遇NULL、DELIMITER、QUOTE、ESCAPE也设置成了空格或问号，GaussDB会通过如"illegal chars conversion may confuse COPY escape 0x20"等报错信息提示用户修改可能引起混淆的参数以避免导入错误。 error_table_name：用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表，能够获取详细的错误信息。 remote log 'name'：数据导入过程中的数据格式错误信息是否同时在GDS服务器上以文件方式保存。name为错误数据文件的文件名前缀。关于容错性参数的更多信息请参考容错性参数。使用gsql连接数据库后，根据前面步骤所收集和规划的信息参数，创建GDS外表。示例如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS ( LOCATION 'gsfs://192.168.0.90:5000/input_data | gsfs://192.168.0.91:5000/input_data', FORMAT 'CSV' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited'; 示例中的各项说明如下：外表字段需与数据库中即将存储数据的目标表保持一致。对于GDS导入，SERVER gsmpp_server请保持不变。 location参数请根据1中收集的GDS服务访问信息修改。注意GDS使用SSL加密传输时，需要将“gsfs”替换为“gsfss”。 FORMAT、DELIMITER、ENCODING、HEADER请根据1中收集的数据源格式信息填写。 FILL_MISSING_FIELDS、IGNORE_EXTRA_DATA、LOG INTO及PER NODE REJECT LIMIT请根据2中设计的导入容错机制填写。注意LOG INTO是指将数据格式错误录入哪个错误表，即其取值为错误表表名。 CREATE FOREIGN TABLE语法的更多信息，请参考CREATE FOREIGN TABLE (导入导出)。

云数据库 GAUSSDB 通过外表并行导入

云数据库 GAUSSDB-创建GDS外表:任务示例

任务示例除了以下示例，更多外表创建的示例请参考示例。示例1：创建GDS外表foreign_tpcds_reasons，数据格式为CSV。 1 2 3 4 5 6 7 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x08', QUOTE E'\x1b', NULL ''); 示例2：创建GDS导入外表foreign_tpcds_reasons_SSL，使用SSL加密传输的模式传输，数据格式为CSV。 1 2 3 4 5 6 7 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons_SSL ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfss://192.168.0.90:5000/* | gsfss://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x08', QUOTE E'\x1b', NULL ''); 示例3：创建GDS外表foreign_tpcds_reasons，数据格式为TEXT。 1 2 3 4 5 6 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'TEXT', delimiter E'\x08', null '',reject_limit '2',EOL '0x0D') WITH err_foreign_tpcds_reasons; 示例4：创建GDS外表foreign_tpcds_reasons，数据格式为FIXED。 1 2 3 4 5 6 postgres=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer position(1,2), r_reason_id char(16) position(3,16), r_reason_desc char(100) position(19,100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/*', FORMAT 'FIXED', ENCODING 'utf8',FIX '119');

云数据库 GAUSSDB 通过外表并行导入

云数据库 GAUSSDB-安装配置和启动GDS:背景信息

背景信息 GDS支持在x86/ARM平台如下的操作系统中安装：EulerOS 2.5/2.8。 GDS的版本需与集群版本保持一致，否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。数据库版本升级后，请按照操作步骤中的办法下载新版本的GDS进行安装配置和启动。在导入导出开始时，GaussDB也会进行两端的版本一致性检测，不一致时会打屏显示报错信息并终止对应操作。 GDS的版本号的查看办法为：在GDS工具的解压目录下执行如下命令。 gds -V 数据库版本的查看办法为：连接数据库后，执行如下SQL命令查看。 1 SELECT version();

云数据库 GAUSSDB 通过外表并行导入

云数据库 GAUSSDB-安装配置和启动GDS:gds.conf参数说明

gds.conf参数说明表1 gds.conf配置说明属性说明取值范围 name 标识名。 - ip 侦听ip地址。 IP需为合法IP地址。 IP的默认值：127.0.0.1 port 侦听端口号。取值范围：1024~65535，正整数。默认值：8098。 data_dir 数据文件目录。 - err_dir 错误日志文件目录。默认值：数据文件目录 log_file 日志文件路径。 - host 设置允许连接到GDS的主机IP地址（参数为CIDR格式，仅支持linux系统）。 - recursive 是否递归数据文件目录。取值范围： true：递归。 false：不递归。默认值：false。 daemon 是否以DAEMON（后台）模式运行。取值范围： true：以DAEMON模式运行。 false：不以DAEMON模式运行。默认值：false。 parallel 导入工作线程并发数目。取值范围：0~32，正整数。默认值：1。

云数据库 GAUSSDB 通过外表并行导入

云数据库 GAUSSDB-创建GDS外表:操作步骤

操作步骤收集数据源格式信息、GDS服务的访问信息。需要收集的主要数据源格式信息如下： format：GDS外表导入支持CSV、TEXT和FIXED格式。请确认存放在数据服务器上待入库数据的格式。例如，假设待入库的数据为CSV格式。 header（仅支持CSV,FIXED格式）：确认数据文件是否包含标题行。 delimiter：确认数据文件中，字段间的分隔符。例如，假设是以英文逗号分隔的。 encoding：数据源文件的数据编码格式。例如，假设为UTF-8。 eol：确认数据文件中，行间的换行符。例如，默认的换行符，如0x0D0A、0X0A，或者自定义的换行符，如字符串!@#。该参数仅支持TEXT格式导入。外表可识别的其他更多格式信息请参见数据格式参数。需要收集的GDS服务的访问信息如下： location：GDS服务的访问地址。例如以安装配置和启动GDS中的GDS信息为例。非SSL模式下的location为：gsfs://192.168.0.90:5000/input_data/ 。SSL模式下的location为：gsfss://192.168.0.90:5000/input_data/ 。其中，“192.168.0.90:5000”为GDS服务的IP及端口号；“input_data”为GDS服务管理的数据源文件所在的路径。请根据实际情况替换。依据数据源文件中的数据情况，设计导入容错机制。 GaussDB支持如下的数据容错性处理，相当于数据入库前对数据做初步的简单清洗。 fill_missing_fields：数据入库时，数据源文件中某行的最后一个字段缺失时，请选择是直接将字段设为Null，还是在错误表中报错提示。 ignore_extra_data：数据源文件中的字段比外表定义列数多时，请选择是忽略多出的列，还是在错误表中报错提示。 per node reject_limit：本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量。如果有一个DN实例上录入错误表中的错误数量超过设定值时，本次导入失败，报错退出。可以选择不做限制，也可以根据所能容忍的错误数量选择一个上限值。 compatible_illegal_chars：导入时遇到非法字符，选择如何处理。是将非法字符按照转换规则转换后入库，还是报错中止导入。非法字符容错转换规则如下：对于'\0'，容错后转换为空格。对于其他非法字符，容错后转换为问号。对非法字符进行容错转换时，如遇NULL、DELIMITER、QUOTE、ESCAPE也设置成了空格或问号，GaussDB会通过如"illegal chars conversion may confuse COPY escape 0x20"等报错信息提示用户修改可能引起混淆的参数以避免导入错误。 error_table_name：用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表，能够获取详细的错误信息。 remote log 'name'：数据导入过程中的数据格式错误信息是否同时在GDS服务器上以文件方式保存。name为错误数据文件的文件名前缀。关于容错性参数的更多信息请参考容错性参数。使用gsql连接数据库后，根据前面步骤所收集和规划的信息参数，创建GDS外表。示例如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS ( LOCATION 'gsfs://192.168.0.90:5000/input_data | gsfs://192.168.0.91:5000/input_data', FORMAT 'CSV' , DELIMITER ',', ENCODING 'utf8', HEADER 'false', FILL_MISSING_FIELDS 'true', IGNORE_EXTRA_DATA 'true' ) LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited'; 示例中的各项说明如下：外表字段需与数据库中即将存储数据的目标表保持一致。对于GDS导入，SERVER gsmpp_server请保持不变。 location参数请根据1中收集的GDS服务访问信息修改。注意GDS使用SSL加密传输时，需要将“gsfs”替换为“gsfss”。 FORMAT、DELIMITER、ENCODING、HEADER请根据1中收集的数据源格式信息填写。 FILL_MISSING_FIELDS、IGNORE_EXTRA_DATA、LOG INTO及PER NODE REJECT LIMIT请根据2中设计的导入容错机制填写。注意LOG INTO是指将数据格式错误录入哪个错误表，即其取值为错误表表名。 CREATE FOREIGN TABLE语法的更多信息，请参考CREATE FOREIGN TABLE (导入导出)。

云数据库 GAUSSDB 通过外表并行导入

云数据库 GAUSSDB-创建GDS外表:任务示例

任务示例除了以下示例，更多外表创建的示例请参考示例。示例1：创建GDS外表foreign_tpcds_reasons，数据格式为CSV。 1 2 3 4 5 6 7 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x20', QUOTE E'\x1b', NULL ''); 示例2：创建GDS导入外表foreign_tpcds_reasons_SSL，使用SSL加密传输的模式传输，数据格式为CSV。 1 2 3 4 5 6 7 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons_SSL ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfss://192.168.0.90:5000/* | gsfss://192.168.0.91:5000/*', FORMAT 'CSV',MODE 'Normal', ENCODING 'utf8', DELIMITER E'\x20', QUOTE E'\x1b', NULL ''); 示例3：创建GDS外表foreign_tpcds_reasons，数据格式为TEXT。 1 2 3 4 5 6 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer not null, r_reason_id char(16) not null, r_reason_desc char(100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', FORMAT 'TEXT', delimiter E'\x20', null '',reject_limit '2',EOL '0x0D') WITH err_foreign_tpcds_reasons; 示例4：创建GDS外表foreign_tpcds_reasons，数据格式为FIXED。 1 2 3 4 5 6 openGauss=# CREATE FOREIGN TABLE foreign_tpcds_reasons ( r_reason_sk integer position(1,2), r_reason_id char(16) position(3,16), r_reason_desc char(100) position(19,100) ) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/*', FORMAT 'FIXED', ENCODING 'utf8',FIX '119');

云数据库 GAUSSDB 通过外表并行导入

云数据库 GAUSSDB-处理错误表:处理数据导入错误

处理数据导入错误根据获取的错误信息，请对照下表，处理数据导入错误。表2 处理数据导入错误错误信息原因解决办法 missing data for column "r_reason_desc" 数据源文件中的列数比外表定义的列数少。对于TEXT格式的数据源文件，由于转义字符（\）导致delimiter（分隔符）错位或者quote（引号字符）错位造成的错误。示例：目标表存在3列字段，导入的数据如下所示。由于存在转义字符“\”，分隔符“|”被转义为第二个字段的字段值，导致第三个字段值缺失。 BE|Belgium\|1 由于列数少导致的报错，选择下列办法解决：在数据源文件中，增加列“r_reason_desc”的字段值。在创建外表时，将参数“fill_missing_fields”设置为“on”。即当导入过程中，若数据源文件中一行数据的最后一个字段缺失，则把最后一个字段的值设置为NULL，不报错。对由于转义字符导致的错误，需检查报错的行中是否含有转义字符（\）。若存在，建议在创建外表时，将参数“noescaping”（是否不对'\'和后面的字符进行转义）设置为true。 extra data after last expected column 数据源文件中的列数比外表定义的列数多。在数据源文件中，删除多余的字段值。在创建外表时，将参数“ignore_extra_data”设置为“on”。即在导入过程中，若数据源文件比外表定义的列数多，则忽略行尾多出来的列。 invalid input syntax for type numeric: "a" 数据类型错误。在数据源文件中，修改输入字段的数据类型。根据此错误信息，请将输入的数据类型修改为numeric。 null value in column "staff_id" violates not-null constraint 非空约束。在数据源文件中，增加非空字段信息。根据此错误信息，请增加“staff_id”列的值。 duplicate key value violates unique constraint "reg_id_pk" 唯一约束。删除数据源文件中重复的行。通过设置关键字“DISTINCT”，从SELECT结果集中删除重复的行，保证导入的每一行都是唯一的。 1 openGauss=# INSERT INTO reasons SELECT DISTINCT * FROM foreign_tpcds_reasons; value too long for type character varying(16) 字段值长度超过限制。在数据源文件中，修改字段值长度。根据此错误信息，字段值长度限制为VARCHAR2(16)。

云数据库 GAUSSDB 通过外表并行导入

云数据库 GaussDB-关于并行导入:导入流程

导入流程图3 并行导入流程表2 流程说明流程说明准备源数据准备需要导入数据库的源数据文件，并上传至数据服务器。详细内容请参见准备源数据。启动GDS 在数据服务器上安装配置并启动GDS。详细内容请参见安装配置和启动GDS。创建外表创建外表用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。详细内容请参见创建GDS外表。执行导入数据在创建好外表后，通过INSERT语句，将数据快速、高效地导入到目标表中。详细内容请参见执行导入数据。处理错误表在数据并行导入发生错误时，请根据具体的错误信息进行处理，以保证导入数据的完整性。详细内容请参见处理错误表。优化查询效率导入数据后，通过ANALYZE语句生成表统计信息。ANALYZE语句会将统计结果自动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据，以生成最有效的查询执行计划。详细内容请参见分析表。停止GDS 待数据导入完成后，登录每台数据服务器，分别停止GDS。 GDS的停止请参见停止GDS。

云数据库 GaussDB 通过外表并行导入

云数据库 GaussDB-关于并行导入:概述

概述并行导入将存储在服务器普通文件系统中的数据导入到GaussDB数据库中。并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。如图1所示： CN只负责任务的规划及下发，把数据导入的工作交给了DN，释放了CN的资源，使其有能力处理其他外部请求。所有DN都参与数据导入，这样可以充分利用各设备的计算能力及网络带宽，提升导入效率。外表灵活的OPTION设置，有利于在数据入库前对数据做预处理，例如非法字符替换、容错处理等。更多信息请参考CREATE FOREIGN TABLE (导入导出)。图1 数据并行导入示意图上图中所涉及的相关概念说明如下： CN（Coordinator Node）：GaussDB协调节点。在导入场景下，接收到应用或客户端的导入SQL指令后，负责任务的规划及下发到DN。 DN（Data Node）：GaussDB数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB集群处于同一内网。外表Foreign Table：用于识别数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。是关联数据文件与数据库实表（目标表）的对象。目标表：数据库中的实表。数据源文件中的数据最终导入到这些表中存储，包括行存表和列存表。

云数据库 GaussDB 通过外表并行导入

云数据库 GaussDB-关于并行导入:GDS并发导入

GDS并发导入数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。如图2所示。图2 多数据服务器并行导入 GDS进程数目不能超过DN数目。如果超过，会出现一个DN连接多个GDS进程的情形，可能会导致部分GDS异常运行，并有可能出现“Session doesn't exists”报错。若参与某次导入的GDS数量大于DN数量，则在导入执行开始时，会返回“It is recommanded that the number of GDS should not be greater than the number of datanode”的warning。数据存储在一台数据服务器上时，如果GaussDB及数据服务器上的I/O资源均还有可利用空间时，可以采用GDS多线程来支持并发导入。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程，也并不会加速单个导入事务。未做过人为事务处理时，一条INSERT语句就是一个导入事务。综上，多线程的使用场景如下：多表并发导入时，采用多线程充分利用资源及提升并发导入效率。对数据量大的某一数据表的导入进行提速。将该数据表对应的数据拆分为多个数据文件，通过多外表同时入库的方式实现多线程并发导入。注意需确保每个外表所能读取的数据文件不重复。

云数据库 GaussDB 通过外表并行导入

云服务器内容精选

通过外表并行导入

7*24

备案

专业服务

退订

建议反馈

售前咨询热线