MAPREDUCE服务 MRS-配置SparkSQL的分块个数:配置场景
时间：2025-05-12 17:09:42
下载MAPREDUCE服务 MRS用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
配置场景
SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误：
Adjusted frame length exceeds 2147483647: 2717729270 - discarded
例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1952.html
