MAPREDUCE服务 MRS-Spark常用配置参数:配置Stage失败重试次数
配置Stage失败重试次数
Spark任务在遇到FetchFailedException时会触发Stage重试。为了防止Stage无限重试,对Stage重试次数进行限制。重试次数可以根据实际需要进行调整。
在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中配置如下参数。
参数 |
参数说明 |
取值示例 |
---|---|---|
spark.stage.maxConsecutiveAttempts |
用于控制一个Stage在失败后可以连续重新尝试的最大次数。 |
4 |