华为云首页用户手册

MapReduce服务 MRS-配置HDFS NodeLabel:多余块副本删除选择

MapReduce服务 MRS-配置HDFS NodeLabel:多余块副本删除选择

时间：2023-11-01 16:25:29

MapReduce服务 MRS

多余块副本删除选择

如果块副本数超过参数“dfs.replication”值（即用户指定的文件副本数，可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看），hdfs会删除多余块副本来保证集群资源利用率。

删除规则如下：

优先删除不满足任何表达式的副本。
示例：文件默认副本数为3
/test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”，
/test文件副本分布的四个节点（D1～D4）以及对应标签（LA～LD）：
```
D1:LAD2:LBD3:LCD4:LD
```
则选择删除D4节点上的副本块。
如果所有副本都满足表达式，删除多于表达式指定的数量的副本。
示例：文件默认副本数为3
/test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”，
/test文件副本分布的四个节点以及对应标签：
```
D1:LAD2:LAD3:LBD4:LC
```
则选择删除D1或者D2上的副本块。
如果文件所有者或文件所有者的组不能访问某个标签，则优先删除映射到该标签的DataNode中的副本。

上一篇：MapReduce服务 MRS-配置HDFS NodeLabel:块副本位置选择

下一篇：MapReduce服务 MRS-配置HDFS NodeLabel:配置描述

MapReduce服务 MRS-配置HDFS NodeLabel:多余块副本删除选择

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题