数据仓库服务 GaussDB(DWS)-GDS管道文件常见问题:注意事项

时间：2023-11-01 16:19:26

注意事项

GDS支持并发导入导出，gds -t参数用于设置gds的工作线程池大小，控制并发场景下同时工作的工作线程数且不会加速单个sql任务。gds -t缺省值为8，上限值为200。在使用管道功能进行导入导出时，-t参数应不低于业务并发数。如果是双集群互联互通场景，-t参数应不低于业务并发数的两倍。
由于管道“读取即删除”的特点，需确保导入或导出过程中除GDS程序外无其他程序读取管道文件，避免导入过程中数据丢失或者任务报错及导出的文件内容混乱。
不支持对具有相同location的外表并发导入导出，即GDS的多个线程同时读取管道文件或者同时写入管道文件。

GDS的单个导入导出任务只识别一个管道文件，因此不要对GDS外表设置带有通配符({}[]?)的location地址。如：

CREATE FOREIGN TABLE foreign_test_pipe_tr( like test_pipe ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.1:7789/foreign_test_*', FORMAT 'text', DELIMITER ',',  NULL '', EOL '0x0a' ,file_type 'pipe',auto_create_pipe 'false');

上一篇：数据仓库服务 GaussDB(DWS)-无权限角色导出数据:示例

下一篇：数据仓库服务 GaussDB(DWS)-无权限角色导出数据:示例