MAPREDUCE服务 MRS-Spark日志介绍:日志描述

时间：2024-06-12 19:16:40

MAPREDUCE服务 MRS

日志描述

日志存储路径：

Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”

运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。
其他日志：“/var/log/Bigdata/spark2x”

日志归档规则：

使用yarn-client或yarn-cluster模式提交任务时，Executor日志默认50MB滚动存储一次，最多保留10个文件，不压缩。
JobHistory2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
JDBCServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
IndexServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
JDBCServer2x审计日志默认20MB滚动存储一次，最多保留20个文件，压缩存储。
日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。

表1 Spark2x日志列表
日志类型	日志文件名	描述
SparkResource2x日志	spark.log	Spark2x服务初始化日志。
	prestart.log	prestart脚本日志。
	cleanup.log	安装卸载实例时的清理日志。
	spark-availability-check.log	Spark2x服务健康检查日志。
	spark-service-check.log	Spark2x服务检查日志
JDBCServer2x日志	JDBCServer-start.log	JDBCServer2x启动日志。
	JDBCServer-stop.log	JDBCServer2x停止日志。
	JDBCServer.log	JDBCServer2x运行时，Driver端日志。
	jdbc-state-check.log	JDBCServer2x健康检查日志。
	jdbcserver-omm-pid**-gc.log..current	JDBCServer2x进程gc日志。
	spark-omm-org.apache.spark.sql.hive.thriftserver.HiveThriftProxyServer2-**.out	JDBCServer2x进程启动信息日志。如果进程停止，会打印jstack信息。
JobHistory2x日志	jobHistory-start.log	JobHistory2x启动日志。
	jobHistory-stop.log	JobHistory2x停止日志。
	JobHistory.log	JobHistory2x运行过程日志。
	jobhistory-omm-pid**-gc.log..current	JobHistory2x进程gc日志。
	spark-omm-org.apache.spark.deploy.history.HistoryServer-**.out	JobHistory2x进程启动信息日志。如果进程停止，会打印jstack信息。
IndexServer2x日志	IndexServer-start.log	IndexServer2x启动日志。
	IndexServer-stop.log	IndexServer2x停止日志。
	IndexServer.log	IndexServer2x运行时，Driver端日志。
	indexserver-state-check.log	IndexServer2x健康检查日志。
	indexserver-omm-pid**-gc.log..current	IndexServer2x进程gc日志。
	spark-omm-org.apache.spark.sql.hive.thriftserver.IndexServerProxy-**.out	IndexServer2x进程启动信息日志。如果进程停止，会打印jstack信息。
审计日志	jdbcserver-audit.log ranger-audit.log	JDBCServer2x审计日志。