数据仓库服务 GAUSSDB(DWS)-GDS导入示例:多数据服务器并行导入

时间：2023-11-22 14:18:15

多数据服务器并行导入

规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90和192.168.0.91。数据源文件格式为CSV。

以root用户登录每台GDS数据服务器，在两台数据服务器上，分别创建数据文件存放目录“/input_data”。以下以IP为192.168.0.90的数据服务器为例进行操作，剩余服务器上的操作与它一致。
```
mkdir -p /input_data
```
（可选）创建用户及其所属的用户组。此用户用于启动GDS。若该类用户及所属用户组已存在，可跳过此步骤。
```
groupadd gdsgrp
useradd -g gdsgrp gds_user
```
将准备好的CSV格式数据源文件均匀分发至相应数据服务器的“/input_data”目录中。
修改每台数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。以下以IP为192.168.0.90的数据服务器为例，进行操作。
```
chown -R gds_user:gdsgrp /input_data 
```
以gds_user用户登录每台数据服务器上分别启动GDS。
其中GDS安装路径为“/opt/bin/dws/gds”，数据文件存放在“/input_data/”目录下，数据服务器所在IP为192.168.0.90和192.168.0.91，GDS监听端口为5000，以后台方式运行。
在IP为192.168.0.90的数据服务器上启动GDS。
```
/opt/bin/dws/gds/bin/gds -d /input_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D
```
在IP为192.168.0.91的数据服务器上启动GDS。
```
/opt/bin/dws/gds/bin/gds -d /input_data -p 192.168.0.91:5000 -H 10.10.0.1/24  -D
```
使用工具连接数据库。详见连接数据库。

创建导入的目标表tpcds.reasons。

CREATE TABLE tpcds.reasons
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
);

创建外表tpcds.foreign_tpcds_reasons用于接收数据服务器上的数据。

其中设置导入模式信息如下所示：

导入模式为Normal模式。
由于启动GDS时，设置的数据源文件存放目录为“/input_data”，GDS监听端口为5000，所以设置参数“location”为“gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*”。

设置数据格式信息是根据导出时设置的详细数据格式参数信息指定的，参数设置如下所示：

数据源文件格式（format）为CSV。
编码格式（encoding）为UTF-8。
字段分隔符（delimiter）为E'\x08'。
引号字符（quote）为E'\x1b'。
数据文件中空值（null）为没有引号的空字符串。
逃逸字符（escape）默认和quote相同。
数据文件是否包含标题行（header）为默认值false，即导入时数据文件第一行被识别为数据。

设置导入容错性如下所示：

允许出现的数据格式错误个数（PER NODE REJECT LIMIT 'value'）为unlimited，即接受导入过程中所有数据格式错误。
将数据导入过程中出现的数据格式错误信息（LOG INTO error_table_name）写入表err_tpcds_reasons。

根据以上信息，创建的外表如下所示：

CREATE FOREIGN TABLE tpcds.foreign_tpcds_reasons
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
)
SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', format 'CSV',mode 'Normal', encoding 'utf8', delimter E'\x08', quote E'\x1b', null '', fill_missing_fields 'false') LOG INTO err_tpcds_reasons PER NODE REJECT LIMIT 'unlimited';

通过外表tpcds.foreign_tpcds_reasons，将数据导入目标表tpcds.reasons。
1

INSERT INTO tpcds.reasons SELECT * FROM tpcds.foreign_tpcds_reasons;
查询错误信息表err_tpcds_reasons，处理数据导入错误。详细请参见处理错误表。
1

SELECT * FROM err_tpcds_reasons;

待数据导入完成后，以gds_user用户登录每台数据服务器，分别停止GDS。

以下以IP为192.168.0.90的数据服务器为例，停止GDS。其中GDS进程号为128954。

ps -ef|grep gds
gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /input_data -p 192.168.0.90:5000 -D
gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds
kill -9 128954

上一篇：数据仓库服务 GAUSSDB(DWS)-GDS导入示例:多线程导入

下一篇：数据仓库服务 GAUSSDB(DWS)-GDS导入示例:多线程导入