推广 热搜: 公司  快速  上海  中国  未来    企业  政策  教师  系统 

大数据常见读写

   日期:2024-10-31     作者:caijiyuan    caijiyuan   评论:0    移动:http://keant.xrbh.cn/news/10618.html
核心提示:1.client访问NameNode,查询元数据信息,获得这个文件的数据块位置列表,返回输入流对象。 2.就近挑选一台dat

1.client访问NameNode,查询元数据信息,获得这个文件的数据块位置列表,返回输入流对象。
2.就近挑选一台datanode服务器,请求建立输入流。
3.DataNode向输入流中中写数据,以packet为单位来校验。
4.关闭输入流

大数据常见读写

1、客户端向NameNode发出写文件请求。
2、检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。
3、client端按128MB的块切分文件。
4、client将NameNode返回的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和多个DataNode构成pipeline管道。

client向第一个DataNode写入一个packet,这个packet便会在pipeline里传给第二个、第三个…DataNode。

在pipeline反方向上,逐个发送ack(命令正确应答),最终由pipeline中第一个DataNode节点将ack发送给client。

5、写完数据,关闭输输出流.
6、发送完成信号给NameNode。

本文地址:http://lianchengexpo.xrbh.cn/news/10618.html    迅博思语资讯 http://lianchengexpo.xrbh.cn/ , 查看更多
 
标签: 读写 数据
 
更多>同类行业资讯
0相关评论

新闻列表
企业新闻
推荐企业新闻
推荐图文
推荐行业资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  粤ICP备2023022329号