华为云首页用户手册

MAPREDUCE服务 MRS-HDFS基本原理:HDFS可靠性

MAPREDUCE服务 MRS-HDFS基本原理:HDFS可靠性

时间：2023-11-30 14:22:30

MAPREDUCE服务 MRS HDFS

HDFS可靠性

MRS使用HDFS的副本机制来保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。

当MRS集群中Core节点规格选择为非本地盘（hdd）时，若集群中只有一个Core节点，则HDFS默认副本数为1。若集群中Core节点数大于等于2，则HDFS默认副本数为2。
当MRS集群中Core节点规格选择为本地盘（hdd）时，若集群中只有一个Core节点，则HDFS默认副本数为1。若集群中有两个Core节点，则HDFS默认副本数为2。若集群中Core节点数大于等于3，则HDFS默认副本数为3。

图3 HDFS架构

MRS支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度，有助于扩容节点或扩容磁盘后的HDFS存储性能提升。

关于Hadoop的架构和详细原理介绍，请参见：http://hadoop.apache.org/。

上一篇：MAPREDUCE服务 MRS-访问Ranger WebUI及同步Unix用户到Ranger WebUI:使用Ranger UserSync同步集群节点上的Unix操作系统用户

下一篇：MAPREDUCE服务 MRS-HDFS基本原理:HDFS结构

MAPREDUCE服务 MRS-HDFS基本原理:HDFS可靠性

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题