MAPREDUCE服务 MRS-Spark常用配置参数:配置Stage失败重试次数

时间:2025-06-10 14:43:27

配置Stage失败重试次数

Spark任务在遇到FetchFailedException时会触发Stage重试。为了防止Stage无限重试,对Stage重试次数进行限制。重试次数可以根据实际需要进行调整。

在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中配置如下参数。

表1 参数说明

参数

参数说明

取值示例

spark.stage.maxConsecutiveAttempts

用于控制一个Stage在失败后可以连续重新尝试的最大次数。

4

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1931.html
提示

您即将访问非华为云网站,请注意账号财产安全