云服务器内容精选

华为云首页用户手册

HDFS性能调优

MAPREDUCE服务 MRS-HDFS网络不稳定场景调优:配置描述

配置描述请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。表1 参数说明参数描述默认值 ha.health-monitor.rpc-timeout.ms zkfc对NameNode健康状态检查的超时时间。增大该参数值，可以防止出现双Active NameNode，降低客户端应用运行异常的概率。单位：毫秒。取值范围：30000~3600000 180000 ipc.client.connect.max.retries.on.timeouts 客户端与服务端建立Socket连接超时时，客户端的重试次数。取值范围：1~256 45 ipc.client.connect.timeout 客户端与服务端建立socket连接的超时时间。增大该参数值，可以增加建立连接的超时时间。单位：毫秒。取值范围：1~3600000 20000

MAPREDUCE服务 MRS HDFS性能调优
MAPREDUCE服务 MRS-优化HDFS DataNode RPC的服务质量:配置步骤

配置步骤引入了新的配置参数“dfs.pipeline.ecn”。当该配置启用时，DataNode会在写入通道超出负荷时从其中发出信号。客户端可以基于该阻塞信号进行退避，从而防止系统超出负荷。引入该配置参数的目的是为了使通道更加稳定，并减少不必要的取消或恢复操作。收到信号后，客户端会退避一定的时间（5000ms），然后根据相关过滤器调整退避时间（单次退避最长时间为50000ms）。请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。表1 DN ECN配置参数描述缺省值 dfs.pipeline.ecn 进行该配置后，DataNode能够向客户端发送阻塞通知。 false

MAPREDUCE服务 MRS HDFS性能调优