MAPREDUCE服务 MRS-Spark On Hudi性能调优:Spark加工Hudi表时其他参数优化

时间:2024-05-16 10:54:25

Spark加工Hudi表时其他参数优化

  • 设置spark.sql.enableToString=false,降低Spark解析复杂SQL时候内存使用,提升解析效率。
  • 设置spark.speculation=false,关闭推测执行,开启该参数会带来额外的cpu消耗,同时Hudi不支持启动该参数,启用该参数写Hudi有概率导致文件损坏。

    配置项

    集群默认值

    调整后

    --conf spark.sql.enableToString

    true

    false

    --conf spark.speculation

    false

    false

support.huaweicloud.com/devg-rule-mrs/mrs_07_450136.html