华为云首页用户手册

数据仓库服务 GAUSSDB(DWS)-关于OBS并行导出:相关原理

数据仓库服务 GAUSSDB(DWS)-关于OBS并行导出:相关原理

时间：2023-11-22 14:18:15

数据仓库服务 GAUSSDB(DWS) 使用外表导出数据到OBS

相关原理

下面分别从以下两类表介绍从集群导出数据到OBS的原理。

Hash分布表：在建表语句中指定了DISTRIBUTE BY HASH (Column_Name)的表。
对于Hash分布表而言，在存储表数据时，采用的是散列（Hash）方式的存储原理，如图1所示，图中以将表（T2）导出到OBS为例。

在存储表数据时，将表（T2）中指定的Hash字段（col2）进行Hash运算后，生成相应的Hash值（value），根据DN与Hash值的映射关系，将该元组分发到相应的DN上进行存储。

在导出数据到OBS时，每一个存储了导出表的（T2）数据的DN会直接向OBS导出属于自己的数据文件。多个节点将并行导出原始数据。

图1 Hash分布原理
Replication表：在建表语句中指定了DISTRIBUTE BY REPLICATION的表。
Replication表在GaussDB(DWS)集群的每个节点上都会存储一份完整的表数据。因此，在导出数据到OBS时，GaussDB(DWS)只会随机选择一个DN节点向OBS导出数据。

上一篇：数据仓库服务 GAUSSDB(DWS)-关于OBS并行导出:导出流程

下一篇：数据仓库服务 GAUSSDB(DWS)-关于OBS并行导出:导出文件的命名规则

数据仓库服务 GAUSSDB(DWS)-关于OBS并行导出:相关原理

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题