数据湖探索 DLI-OBS表压缩率较高
OBS表压缩率较高
当Parquet/Orc格式的OBS表对应的文件压缩率较高时(跟文本相比,超过5倍压缩率),建议在提交导入数据到DLI表作业时,在submit-job请求体conf字段中配置“dli.sql.files.maxPartitionBytes=33554432”,该配置项默认值为128MB,将其配置成32MB,可以减少单个任务读取的数据量,避免因过高的压缩比,导致解压后单个任务处理的数据量过大。
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- GaussDB(DWS)服务_什么是IoT数仓_如何使用IoT数仓
- 什么是跨源连接-数据湖探索DLI跨源连接
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- GaussDB行列混合存储_GaussDB规划存储模型_高斯数据库行列混合存储-华为云
- 什么是弹性资源池_数据湖探索DLI弹性资源池
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程
- GaussDB列转行_gaussdb是关系型数据库吗_高斯数据库列转行_华为云
- GaussDB行转列_数据中台架构pdf_高斯数据库行转列_华为云