MAPREDUCE服务 MRS-常用参数:Storage

时间:2024-04-10 09:06:18

Storage

内存计算是Spark的最大亮点,Spark的Storage主要管理内存资源。Storage中主要存储RDD在Cache过程中产生的数据块。JVM中堆内存是整体的,因此在Spark的Storage管理中,“Storage Memory Size”变成了一个非常重要的概念。

表20 参数说明

参数

描述

默认值

spark.storage.memoryMapThreshold

超过该块大小的Block,Spark会对该磁盘文件进行内存映射。这可以防止Spark在内存映射时映射过小的块。一般情况下,对接近或低于操作系统的页大小的块进行内存映射会有高开销。

2m

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1931.html