MAPREDUCE服务 MRS-Spark On Hudi性能调优:调整Spark调度参数优化OBS场景下Spark调度时延

时间:2024-05-15 22:32:40

调整Spark调度参数优化OBS场景下Spark调度时延

  • 开启对于OBS存储,可以关闭Spark的本地性进行优化,尽可能提升Spark调度效率

    配置项

    集群默认值

    调整后

    --conf spark.locality.wait

    3s

    0s

    --conf spark.locality.wait.process

    3s

    0s

    --conf spark.locality.wait.node

    3s

    0s

    --conf spark.locality.wait.rack

    3s

    0s

support.huaweicloud.com/devg-rule-mrs/zh-cn_topic_0000001826372990.html