数据仓库服务 GAUSSDB(DWS)-性能优化之业务降IO优化:场景3:表存储倾斜

时间:2024-05-07 20:29:47

场景3:表存储倾斜

例如表Scan的A-time中,max time DN执行耗时6554ms,min time DN耗时0s,DN之间扫描差异超过10倍以上,这种集合Scan的详细信息,基本可以确定为表存储倾斜导致。

通过table_distribution发现所有数据倾斜到了dn_6009单个DN,修改分布列使得表存储分布均匀后,max dn time和min dn time基本维持在相同水平400ms左右,Scan时间从6554ms优化到431ms。

触发因素:分布式场景,表分布列选择不合理会导致存储倾斜,同时导致DN间压力失衡,单DN IO压力大,整体IO效率下降。

解决办法:修改表的分布列使表的存储分布均匀,分布列选择原则参见选择分布列

support.huaweicloud.com/trouble-dws/dws_09_0111.html