精选文章 分布式文件系统HDFS(一)

分布式文件系统HDFS(一)

作者:码农的世界,你不懂 时间: 2019-11-07 03:39:13
码农的世界,你不懂 2019-11-07 03:39:13

1、分布式文件系统详细介绍

在hadoop当中,分布式文件系统(HDFS),对文件系统有一个抽象,HDFS属于当中的一个实现类,也就是说分布式文件系统类似于一个接口,定义了标准,下面有很多的实现类,其中HDFS是一个子实现类而已,但是现在很多人都只知道一种就是HDFS的实现,并没有了解过其他的实现类,其实分布式文件系统的实现有很多种,
具体详细参见hadoop权威指南第三版第59页

 

分布式文件系统HDFS(一)1

 

     分布式文件系统HDFS(一)2

 

2、HDFS分布式文件系统设计目标
1、 硬件错误  由于集群很多时候由数量众多的廉价机组成,使得硬件错误成为常态
2、  数据流访问  所有应用以流的方式访问数据,设置之初便是为了用于批量的处理数据,而不是低延时的实时交互处理
3、  大数据集   典型的HDFS集群上面的一个文件是以G或者T数量级的,支持一个集群当中的文件数量达到千万数量级
4、  简单的相关模型  假定文件是一次写入,多次读取的操作
5、  移动计算比移动数据便宜   一个应用请求的计算,离它操作的数据越近,就越高效
6、  多种软硬件的可移植性
 
3、HDFS的来源
HDFS起源于Google的GFS论文(GFS,Mapreduce,BigTable为google的旧的三驾马车)
       发表于2003年10月
       HDFS是GFS的克隆版
Hadoop Distributed  File  system
       易于扩展的分布式文件系统
       运行在大量普通廉价机器上,提供容错机制
       为大量用户提供性能不错的文件存取服务
4、HDFS的架构图之基础架构
 
  分布式文件系统HDFS(一)3


         分布式文件系统HDFS(一)4
 
1、 NameNode是一个中心服务器,单一节点(简化系统的设计和实现),负责管理文件系统的名字空间(namespace)以及客户端对文件的访问
2、 文件操作,namenode是负责文件元数据的操作,datanode负责处理文件内容的读写请求,跟文件内容相关的数据流不经过Namenode,只询问它跟哪个dataNode联系,否则NameNode会成为系统的瓶颈
3、 副本存放在哪些Datanode上由NameNode来控制,根据全局情况作出块放置决定,读取文件时NameNode尽量让用户先读取最近的副本,降低读取网络开销和读取延时
4、 NameNode全权管理数据库的复制,它周期性的从集群中的每个DataNode接收心跳信合和状态报告,接收到心跳信号意味着DataNode节点工作正常,块状态报告包含了一个该DataNode上所有的数据列表
勿删,copyright占位
分享文章到微博
分享文章到朋友圈

上一篇:chrome-功能指令

下一篇:Linux 安装redis以及phpredis扩展

CSDN

CSDN

中国开发者社区CSDN (Chinese Software Developer Network) 创立于1999年,致力为中国开发者提供知识传播、在线学习、职业发展等全生命周期服务。