MAPREDUCE服务 MRS-Spark On Hudi性能调优:初始化Hudi表时，可以使用BulkInsert方式快速写入数据

时间：2024-05-16 10:54:25

MAPREDUCE服务 MRS Spark on Hudi开发规范

初始化Hudi表时，可以使用BulkInsert方式快速写入数据

示例：

set hoodie.combine.before.insert=true;                // 入库前去重，如果数据没有重复 该参数无需设置
set hoodie.datasource.write.operation = bulk_insert;  // 指定写入方式为bulk insert方式。
set hoodie.bulkinsert.shuffle.parallelism = 4;        // 指定bulk_insert写入时的并行度，等于写入完成后保存的分区parquet文件数
insert into dsrTable select * from srcTabble

上一篇：MAPREDUCE服务 MRS-Spark On Hudi性能调优:优化Spark Shuffle参数提升Hudi写入效率

下一篇：MAPREDUCE服务 MRS-Spark On Hudi性能调优:优化shuffle并行度，提升Spark加工效率