首页 / 数码智能 / 正文

hdfs读写数据流程

时间:2024-08-04 16:02:48

简要描述HDFS数据的读写过程 

HDFS数据的读写过程如下:

1. 写入过程:

      - 客户端向NameNode发起请求。

      - NameNode审核权限和剩余空间,满足条件后允许写入,并告知客户端写入的DataNode地址。

      - 客户端指向指定的DataNode发送数据包。

      - 被写入数据的DataNode同时完成数据副本的复制工作,将其接受的数据分发给其他DataNode。

      - 写入完成后,客户端通知NameNode,NameNode做元数据记录工作。

2. 读取过程:

      - 客户端向NameNode申请读取某文件。

      - NameNode判断服务端权限等细节后,允许读取,并返回此文件的block列表。

      - 客户端拿到block列表后自行寻找DataNode读取即可。

需要注意的是,无论读还是写,NameNode都不经手数据,均是客户端和DataNode直接通讯,以减轻NameNode的压力。

《hdfs读写数据流程》不代表本网站观点,如有侵权请联系我们删除

点击排行

战略网  版权所有 粤ICP备2021127029号

联系我们 关于我们 版权申明