数据仓库服务 GaussDB(DWS)-关于OBS并行导入:导入流程图

时间:2023-11-01 16:16:34

导入流程图

图2 并行导入流程
表1 流程说明

流程

说明

子任务

上传数据至OBS。

在OBS服务器上规划存储路径,并上传数据文件。

详细请参见上传数据到OBS

-

创建OBS外表。

创建外表用于识别OBS服务器上的数据源文件。在OBS外表中保存了数据源在OBS服务器上的桶名、对象名,文件格式、存放位置、编码格式、数据间的分隔符等信息。

详细请参见创建OBS外表

-

执行导入数据。

在创建好外表后,通过INSERT语句,将数据快速、高效地导入到目标表中。

详细请参见执行导入数据

-

处理错误表。

在数据并行导入发生错误时,请根据错误信息,处理错误表,以保证导入数据的完整性。

说明:

使用外表从OBS并行导入数据中方式二的导入方式,不支持错误表。

-

优化查询效率。

导入数据后,通过ANALYZE语句生成表统计信息。ANALYZE语句会将统计结果自动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据,以生成最有效的查询执行计划。

-

support.huaweicloud.com/devg-820-dws/dws_04_0182.html