Hadoop的写流程(微观层面)

发布时间 2023-09-06 14:52:51作者: cloudya

解释:

  步骤1:客户端进行发送存储消息,FileSystem通过rpc调用NameNode的put方法,NameNode对文件的路径,大小以及权限进行校验,

  步骤2:校验成功后,返回FSDateOutputStream对象给客户端进行使用

  步骤3:客户端对文件进行划分,将划分信息返回给NameNode,告诉NameNode需要多少个block块,NameNode就会通过获取的消息

block数量和副本数安排DateNode进行存储

  步骤4:将划分的消息返回给客户端,告诉客户端可以进行存储

  步骤5:客户端通过机架感知,来寻找第一个block块位置

  步骤6:当文件进行存储前DateNode之间会打开pipline通道,当数据进行存储时大小是64M(客户端将block细分了),在该NameNode存储后会返回一个ack状态,当第一个接收到最后一个返回的成功ack状态,那么数据传输完成