MAPREDUCE服务 MRS-Flink性能调优建议:非状态计算提升性能的资源优化

时间:2024-05-20 14:54:49

非状态计算提升性能的资源优化

Flink计算操作分为如下两类:

  • 无状态计算操作:该部分算子不需要保存计算状态,例如:filter、union all、lookup join。
  • 有状态计算操作:该部分算子要根据数据前后状态变化进行计算,例如:join,union、window、group by、聚合算子等。

对于非状态计算主要调优为TaskManager的Heap Size与NetWork。

例如作业仅进行数据的读和写,TaskManage无需增加额外的vCore,off-Heap和Overhead默认为1GB,内存主要给Heap和Network。

support.huaweicloud.com/devg-rule-mrs/mrs_07_450173.html