永发信息网

hadoop的几个问题 1.将本地文件复制到hdfs中,那么在hdfs中这个文件是存放在namenode还是分开放在datanode

答案:1  悬赏:20  手机版
解决时间 2021-04-06 00:36
hadoop的几个问题 1.将本地文件复制到hdfs中,那么在hdfs中这个文件是存放在namenode还是分开放在datanode
最佳答案
试着回答:
先说明一下:
1. namenode负责管理目录和文件信息,真正的文件块是存放在datanode上。
2. 每个map和reduce(即task)都是java进程,默认是有单独的jvm的,所以不可能同一个类的对象会在不同节点上。
看你的描述是把namenode,datanode和jobtracker,tasktracker有点混了。

所以:
问题1. 分块存放在datanode上
问题2.inputformat是在datanode上,确切的说是在tasktracker中。每个map和reduce都会有自己的对象,当多个map读入一个文件时,实际上不同的map是读的文件不同的块,reduce也是一样,各个任务读入的数据是不相交的。
问题3.reduce输出肯定是在hdfs上,和普通文件一样在datanode上。
问题4.每个reducer会有自己的outputformat对象,与前面inputformat原因一样。
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
I don’t like science it’s difficult.A.
超越部的口号大全,求文艺部宣传标语! 要求:
嘉的五笔怎么打
没考起大学 ``应该怎么选择职业?
请大家推荐几个美国有金融学PHD的学校吧
单选题What animals
炎暑的反义词是,僵硬,怀疑,罪恶,平凡,炎暑反
比赛用杠铃尺寸标准(直径和厚度)是多少?
北方美食汇
明天休息准备去太原柳巷看看,选一家定上拍婚
单选题下列有关叙述不正确的是:A.测定有机物
Trados翻译,用WorkBench工作,挂接2个术语库
大天使之剑加天赋点智力点不够加了有用么
人生与选择格言,关于“人生中的选择”的名言
2017年11月mhk成绩出来了吗
推荐资讯
介绍一下【郑州大学(软件职业技术学院)】
我孩子的是被市教育局批准的南方中学中考特招
如图,直线AB与CD相交于O点,则可得到∠AOC=
下列离子方程式正确的是A.钠与水反应:Na+2H2
招商银行理财产品的A款和C款有什么区别?
谐音古诗春夜落地闻苗
单反P档和M档分别用在什么时候
下载用日语怎么说,(在社交软件上)发状态用
高速app是什么意思
无财不好去上官,上了官时定无良,小人言语君
汗颜啥意思?
买哑铃多重的好
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?