当前位置:美高梅游戏 > 德军总部新巨人 > HDFS的特点是什么

HDFS的特点是什么

文章作者:德军总部新巨人 上传时间:2019-11-14

引子

为什么需要HDFS?

因为一个物理计算机的存储已经hold不住我们庞大的数据集。

HDFS的特点是什么?

HDFS以流式数据访问模式来存储超大文件,运行于商用硬件集群上

1.超大文件:数量级MB、GB、TB等

2.流式数据访问模式:以块为单位进行读写。一次写入、多次读取。

3.高数据吞吐量,时间延迟不低

4.不能存储大量小文件:namenode的内存中存储HDFS中文件元信息,每个元信息大约占150B,因此HDFS能存储的文件总数受限于namenode的内存大小。

HDFS的特点是什么。5.不支持多用户写入:HDFS中的文件只有一个writer

6.不能任意修改文件:写操作是追加模式


基础概念

数据块

作为独立的存储单元,读写最小单位。默认64MB,可在hdfs-site.xml中自定义。

块要比磁盘块(512B)大得多,是因为最小化寻址开销。磁盘传输数据耗时>定位这个块开始位置的耗时。然而块不能设置过大,是因为MR任务中,map任务通常一次处理一个块,如果块数量少,则并行map任务就少,job运行速度较慢。

再说说......

· 文件所有的块分布式存储在各个datanode上,

· 小于一个块默认大小的文件,不会占据整个块的空间。

namenode和datanode

namenode管理文件系统的命名空间和每个文件中各个块所在的数据节点信息。命名空间是HDFS的文件系统树以及树内所有目录和文件,以fsimage和editlog文件永久保存在本地磁盘上。块的存储信息在内存中,系统启动时由datanode上报。

datanode是HDFS的工作节点,负责存储并检索数据块,定期向namenode发送它们所存储的块的列表。

HDFS的特点是什么。关于配置:

dfs.replication默认3,一个数据块存3份,HDFS会自动备份到3个不同的datanode上。


HDFS读写流程

读文件

【一句话版本】namenode告知客户端数据的块位置,让客户端联系datanode流式检索数据。

好处: namenode内存存储块索引信息,相应快;block分散在集群所有节点上,以便HDFS可扩展大量并发客户端。

瓶颈:随客户端数量增长,namenode的IO成为瓶颈。

1. 【概括版】客户端调用DistributedFileSystem对象的open()方法,RPC调用namenode的GetBlockLocations()方法,namenode返回存有该文件所有block信息,包括其副本所在的HDFS的特点是什么。所有datanode地址

【细节版】客户端调用DistributedFileSystem.open(Path f, int bufferSize),open()函数中new了一个DFSInputStream对象;在DFSInputStream的构造函数中,openInfo()函数被调用,其主要从namenode中得到要打开的文件所对应的blocks的信息,通过callGetBlockLocations()实现,核心代码如下:

// openInfo():

LocatedBlocks newInfo = callGetBlockLocations(namenode, src, 0, prefetchSize);

//callGetBlockLocations()中将发起一个RPC调用,返回 LocatedBlocks 对象

namenode.getBlockLocations(src, start, length);

LocatedBlocks 是一个链表,List<LocatedBlock> blocks,其中每个元素包含以下信息:

Block b:此block的信息

long offset:此block在文件中的偏移量

DatanodeInfo[] locs:此block位于哪些DataNode上

2. namenode接收到请求后,将进行一系列操作。RPC调用NameNode.getBlockLocations(),里面再调用namesystem.getBlockLocations(getClientMachine(), src, offset, length);

namesystem保存着namenode上的命名空间树,具体是一个INode链表,INode有两种子类:INodeFile和INodeDirectory。其中,INodeFile有成员变量BlockInfo blocks[],是此文件包含的block的信息。

getBlockLocations()具体步骤:1) 得到此文件的block信息; 2) 从offset开始,长度为length所涉及的blocks; 3) 找到各个block对应的、健康的datanode机器。返回LocatedBlocks对象。

3~5. 回到客户端,在DFSInputStream的构造函数通过RPC收到一串block信息(即LocatedBlocks对象)之后,DFSInputStream读取文件起始块的datanode地址,随即与距离最近的datanode建立Socket连接和读入流,客户端反复调用FSDataInputStream的read()读取block信息

e.g.对于64M一个block的文件系统来说,欲读取从100M(offset)开始,长度为128M(length)的数据,则block列表包括第2,3,4块block。第2号block从36MB开始读取28MB,第3号block从0MB开始读取64MB....

到达block末端,DFSInputStream关闭与该datanode的连接,寻找下一个block的最佳datanode。

6.到达文件末端时,客户端对FSDataInputStream调用close()方法。

再说说...

遇到读失败,1) DFSInputStream和datanode的连接发生错误时,从距离次近的datanode读取,并将该节点记入“故障节点列表”,以防反复从该节点读。2)读取到一个损坏的block,先通知namenode,再从其他datanode读取该块的另一个副本。

写文件

【一句话版本】客户端向namenode申请创建文件,namenode分配datanode,客户端通过pipeline形式写数据,全部确认正常写入后通知namenode。

1.客户端通过调用DistributedFileSystem对象的create()方法,该方法生成一个FSDataOutputStream用于向新生成的文件中写入数据,其成员变量dfs的类型为DFSClient,DFSClient的create()函数中返回一个DFSOutputStream对象。在DFSOutputStream的构造函数中,做了两件重要的事情:一是通过RPC调用NameNode的create()来创建一个文件;二是streamer.start(),即启动了一个pipeline,用于写数据。

//以下为客户端调用的create                                                                                  public FSDataOutputStream create(Path f, FsPermission permission, boolean overwrite, int bufferSize, short replication, long blockSize, Progressable progress) throws IOException { return new FSDataOutputStream(dfs.create(getPathName(f), permission, overwrite, replication, blockSize, progress, bufferSize), statistics);  }

  1. namenode 先在命名空间(在磁盘)中检查文件是否存在以及客户端是否有权限,再新建一个新文件的元信息到fsimage 中,就是命名空间,此时没有任何块与之对应。

3~5. 客户端调用DFSOutputStream对象的write()方法写数据。按照HDFS的设计,对block的数据写入使用的是pipeline的方式,也即将数据分成一个个的package,如果需要复制三分,分别写入DataNode 1, 2, 3,则会进行如下的过程:

    1) 创建写入流,RPC调用namenode为文件分配block, 并设置block对应的DataNode。

    2) 将block分成若干个chunk(512B),每N个chunk + 校验值形成一个package。package进入dataQueue

    3) 客户端将DataNode 2、3信息和 package 1写入DataNode 1,package 1从dataQueue移至ackQueue,等待确认。

    4) 由DataNode 1负责将DataNode3信息和package1写入DataNode 2,同时客户端可以将pacage 2写入DataNode 1。package 2从dataQueue移至ackQueue,等待确认。

    5) DataNode 2负责将package 1写入DataNode 3, 同时客户端可以将package 3写入DataNode 1,DataNode 1将package 2写入DataNode 2。package 3从dataQueue移至ackQueue,等待确认。

就这样将一个个package排着队的传递下去,直到所有的数据全部写入并复制完毕并且都接收到ACK确认包。

6~7.写完所有块之后,断开与DataNode 1的连接,客户端通知namenode,完成。

再说说....

遇到写失败,DataNode1故障时,1)关闭pipeline,2)把ackQueue中的所有数据包添加到dataQueue的头部, 3)为DataNode2中当前block指定一个新标识,通知namenode,以便DataNode1恢复后删除本block的残缺数据,4)将故障DataNode1从pipeline中删除,然后继续将剩余数据包写入正常节点。异步完成本block的副本复制。

关于“文件一致性”:在文件创建后,写完前,正在写入的block是读取不到的(e.g.读文件内容、获取文件大小)。除非调用HDFS的sync()方法强制所有缓存与数据节点同步。

参考文章:

《Hadoop- The Definitive Guide, 4th Edition》

Hadoop学习总结之二:HDFS读写过程解析

本文由美高梅游戏发布于德军总部新巨人,转载请注明出处:HDFS的特点是什么

关键词: