MAPREDUCE服务 MRS-常用参数:EventLog的周期清理

时间:2023-11-02 19:23:18

EventLog的周期清理

JobHistory上的Event log是随每次任务的提交而累积的,任务提交的次数多了之后会造成太多文件的存放。Spark提供了周期清理Evnet log的功能,用户可以通过配置开关和相应的清理周期参数来进行控制。

表17 参数说明

参数

描述

默认值

spark.history.fs.cleaner.enabled

是否打开清理功能。

true

spark.history.fs.cleaner.interval

清理功能的检查周期。

1d

spark.history.fs.cleaner.maxAge

日志的最长保留时间。

4d

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1931.html