MAPREDUCE服务 MRS-Flink性能调优建议:如果不能使用broardcast join应该尽量减少shuffle数据

时间:2024-05-20 14:54:49

如果不能使用broardcast join应该尽量减少shuffle数据

不能broadcast join那么必定会发生shuffle,可通过各种手段来减少发生shuffle的数据量,例如谓词下推,Runtime Filter等等。

【示例】

# Runtime filter配置
table.exec.runtime-filter.enabled: true
# 下推
table.optimizer.source.predicate-pushdown-enabled: true
support.huaweicloud.com/devg-rule-mrs/mrs_07_450173.html