MAPREDUCE服务 MRS-常用参数:配置Stage失败重试次数
配置Stage失败重试次数
Spark任务在遇到FetchFailedException时会触发Stage重试。为了防止Stage无限重试,对Stage重试次数进行限制。重试次数可以根据实际需要进行调整。
在Spark客户端的“spark-defaults.conf”文件中配置如下参数。
参数 |
说明 |
默认值 |
---|---|---|
spark.stage.maxConsecutiveAttempts |
Stage失败重试最大次数。 |
4 |