永发信息网

hadoop文件存放问题

答案:2  悬赏:0  手机版
解决时间 2021-02-06 18:47
假设我有一个200MB的文件,我将其存在HDFS上,那么hadoop是将文件分块后是怎样选择datanode来存放这些block的呢?(不是问副本的存放机制,是问文件所分的几个块是怎样存的)
最佳答案
(1)文件分割后,会有一个 文件 --> block的映射,这个映射是持久化到硬盘中的,具体的映射关系表是在FSNamesystem.java中构建的(该部分的构建使用的是FSDirectory.java的功能,filename - blockset);
有了文件到块的映射表就可以通过文件找到blocklist;
(2)datanode的选取,hadoop有它本身的机制,一般来说,datanode默认是三个,选取的是不同机架的datanode,同机架里选一台,另一个机架里选取两台(安全性等考虑);
(3)block写入datanodes,选取的三个datanode,比如说是A、B、C,先写给A,A再写给B,B再写给C;然后B收到C的写入成功,A收到B的写入成功,然后告诉namenode 和 client写入成功;
(4)真正写的并不是block,而是比block更小的好像是chunk , 还包括有各种校验。
全部回答
可以的 没问题
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
广东猪脚饭这个地址在什么地方,我要处理点事
明挖地基的主要检验内容有()。A.基础埋置深度
我的乐视1s充满电 开机一直显示双4G双百兆 一
如果是你会怎么形容【梁祝】的爱情
明沣网吧我想知道这个在什么地方
duII什么意思
男性,60岁。咳嗽,反复肺部感染近1年。吸烟
100分帮我设计王伟的个性签名
急求重生网游耽美文
在沈阳乘坐141公交 去陶林居到哪站下车
石锅鱼坊我想知道这个在什么地方
【心得体会作文】我的学习心得 作文
遵义马家湾保健院生宝宝多少钱?还有2天预产
钢厂冷却循环水的标准是什么?
润仟祥黄焖鸡米饭袍江店怎么去啊,有知道地址
推荐资讯
【范本是什么意思】什么是样本?什么是样本容
天津塘沽,到黑龙江的快递邮费是多少?
红安县八里湾镇王家岗村村民委员会这个地址在
新一佳超市我想知道这个在什么地方
电气焊修理利润,现在挣钱吗?
经济法计算题 马上,很急很急
招聘高空作业“蜘蛛人”,长期有效!
真的好想知道我同学的家庭住址,可又不好意思
武安市喜丰汽贸吉利汽车旗舰店地址在什么地方
【感恩作文开头】感恩父母的作文的好开头
无线中继路由器四个天线那个是接收信号那个是
建设糕点加工地址有知道的么?有点事想过去
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?