MAPREDUCE服务 MRS-HDFS应用开发规则:HDFS提高读取写入性能方式

时间:2024-04-07 13:45:04

HDFS提高读取写入性能方式

写入数据流程:HDFS Client收到业务数据后,从NameNode获取到数据块编号、位置信息后,联系DataNode,并将需要写入数据的DataNode建立起流水线,完成后,客户端再通过自有协议写入数据到Datanode1,再有DataNode1复制到DataNode2、DataNode3(三备份)。写完的数据,将返回确认信息给HDFS Client。
  1. 合理设置块大小,如设置dfs.blocksize为 268435456(即256MB)。
  2. 对于一些不可能重用的大数据,缓存在操作系统的缓存区是无用的。可将以下两参数设置为false:

    dfs.datanode.drop.cache.behind.reads和dfs.datanode.drop.cache.behind.writes

support.huaweicloud.com/devg-rule-mrs/mrs_07_450021.html