数据仓库服务 GAUSSDB(DWS)-性能优化之业务降IO优化:场景10:小文件多IOPS高

时间:2024-05-07 20:29:47

场景10:小文件多IOPS高

某业务现场一批业务起来后,整个集群IOPS飙高,另外当出现集群故障后,长期Building不成功,IOPS飙高,相关表信息如下:

SELECT relname,reloptions,partcount FROM pg_class c INNER JOIN ( SELECT parentid,count(*) AS partcount FROM pg_partition GROUP BY parentid ) s ON c.oid = s.parentid ORDER BY partcount DESC;

触发因素:某业务库大量列存多分区(3000+)的表,导致小文件巨多(单DN文件2000w+),访问效率低,故障恢复Building极慢,同时Building也消耗大量IOPS,反向影响业务性能。

解决办法

  • 整改列存分区间隔,减少分区个数来降低文件个数。
  • 列存表修改为行存表,行存的存储特征决定其文件个数不会像列存那么膨胀严重。
support.huaweicloud.com/trouble-dws/dws_09_0111.html