MAPREDUCE服务 MRS-ClickHouse性能调优:数据表报错Too many parts解决方法:问题排查步骤

时间:2024-04-29 12:43:42

问题排查步骤

  1. 登录ClickHouse客户端,需要排查是否存在异常的Merge。

    select database, table, elapsed, progress, merge_type from system.merges;

  2. 业务上建议insert频率不要太快,不要小批量数据的插入,适当增大每次插入的时间间隔。
  3. 数据表分区分配不合理,导致产生太多的区分,需要重新划分分区。
  4. 如果没有触发Merge,或者Merge较慢,需要调整参数加快Merge。

    加速Merge,需要调整如下参数,请参考加速Merge操作

    配置项

    参考值

    max_threads

    CPU核数*2

    background_pool_size

    CPU核数

    merge_max_block_size

    8192的整数倍,根据CPU内存资源大小调整

    cleanup_delay_period

    适当小于默认值 30

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24849.html