MAPREDUCE服务 MRS-提交Spark任务时Driver端提示运行内存超限:原因分析

时间：2023-11-09 20:24:38

MAPREDUCE服务 MRS 使用Spark

原因分析

在Driver日志中直接打印申请的executor memory超过集群限制。

... INFO Client: Verifying our application has not requested more than the maximum memory capability of the cluster (6144 MB per container)
... ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (10240+1024 MB) is above the max threshold (6144 MB) of this cluster!

Spark任务提交至Yarn上面，运行task的executor使用的资源受yarn的管理。从报错信息可看出，用户申请启动executor时，指定10G的内存，超出了Yarn设置的每个container的最大内存的限制，导致任务无法启动。

上一篇：MAPREDUCE服务 MRS-提交Spark任务时提示参数格式错误:处理步骤

下一篇：MAPREDUCE服务 MRS-通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误:处理步骤