华为云首页用户手册

MapReduce服务 MRS-配置DataNode预留磁盘百分比:配置场景

MapReduce服务 MRS-配置DataNode预留磁盘百分比:配置场景

时间：2023-11-01 16:25:29

MapReduce服务 MRS

配置场景

当YARN本地目录和DataNode目录配置在同一个磁盘时，具有较大容量的磁盘可以运行更多的任务，因此将有更多的中间数据存储在YARN本地目录。

目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小。配置较小的数值不能满足更大的磁盘要求。但对于更小的磁盘配置更大的数值将浪费大量的空间。

为了避免这种情况，添加一个新的参数“dfs.datanode.du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比，那样可以基于总的磁盘空间来预留磁盘百分比。

如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”，则采用这两个参数较大的数值作为DataNode的预留空间大小。
建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”。

上一篇：MapReduce服务 MRS-如何修复Region Overlap:问题

下一篇：MapReduce服务 MRS-如何修复Region Overlap:问题

MapReduce服务 MRS-配置DataNode预留磁盘百分比:配置场景

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题