MAPREDUCE服务 MRS-配置Spark Executor堆内存参数:配置描述

时间:2024-05-30 16:45:21

配置描述

参数入口:

在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。

表1 参数说明

参数

说明

默认值

spark.executor.memoryOverhead

用于指定每个executor的堆外内存大小(MB),增大该参数值,可以防止物理内存超限。该值是通过max(384,executor-memory*0.1)计算所得,最小值为384。

1024

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1947.html