数据湖探索 DLI-OBS表压缩率较高

时间:2023-11-01 16:18:11

OBS表压缩率较高

当Parquet/Orc格式的OBS表对应的文件压缩率较高时(跟文本相比,超过5倍压缩率),建议在提交导入数据到DLI表作业时,在submit-job请求体conf字段中配置“dli.sql.files.maxPartitionBytes=33554432”,该配置项默认值为128MB,将其配置成32MB,可以减少单个任务读取的数据量,避免因过高的压缩比,导致解压后单个任务处理的数据量过大。

support.huaweicloud.com/dli_faq/dli_03_0013.html