数据仓库服务 GAUSSDB(DWS)-性能优化之业务降IO优化:场景8:大量数据带索引导入

时间:2024-05-07 20:29:47

场景8:大量数据带索引导入

某客户场景数据往DWS同步时,延迟严重,集群整体IO压力大。

后台查看等待视图有大量wait wal sync和WALWriteLock状态,均为xlog同步状态。

触发因素:大量数据带索引(一般超过3个)导入(insert/copy/merge into)会产生大量xlog,导致主备同步慢,备机长期Catchup,整体IO利用率飙高。历史案例参考:实例长期处于catchup问题分析

解决方案

  • 严格控制每张表的索引个数,建议3个以内。
  • 大量数据导入前先将索引删除,导数完毕后再重新建索引。
support.huaweicloud.com/trouble-dws/dws_09_0111.html