MAPREDUCE服务 MRS-Flink性能调优建议:网络通信调优

时间：2024-06-17 09:21:36

MAPREDUCE服务 MRS Flink性能调优开发规范

网络通信调优

Flink通信主要依赖Netty网络，所以在Flink应用执行过程中，Netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。

【示例】

# netty的服务端线程数目(-1表示默认参数numOfSlot)
taskmanager.network.netty.server.numThreads -1(numOfSlot)
# netty的客户端线程数目(-1表示默认参数numofSlot)
taskmanager.network.netty.client.numThreads : -1
# netty的客户端连接超时时间
taskmanager.network.netty.client.connectTimeoutSec：120s
# netty的发送和接受缓冲区的大小(0表示netty默认参数，4MB)
taskmanager.network.netty.sendReceiveBufferSize: 0
# netty的传输方式，默认方式会根据运行的平台选择合适的方式
taskmanager.network.netty.transport：auto

上一篇：MAPREDUCE服务 MRS-Flink性能调优建议:数据量大并发数高且有Shuffle时可调整网络内存

下一篇：MAPREDUCE服务 MRS-Flink性能调优建议:吞吐量大场景下使用MiniBatch聚合增加吞吐量