永发信息网

怎么在hadoop作map/reduce时输出N种不同类型的value

答案:1  悬赏:50  手机版
解决时间 2021-03-28 10:06
怎么在hadoop作map/reduce时输出N种不同类型的value
最佳答案
在很多时候,特别是处理大数据的时候,我们希望一道MapReduce过程就可以解决几个问题。这样可以避免再次读取数据。比如:在做文本聚类/分类的时候,mapper读取语料,进行分词后,要同时算出每个词条(term)的term frequency以及它的document frequency. 前者对于每个词条来说其实是个向量, 它代表此词条在N篇文档各中的词频;而后者就是一个非负整数。 这时候就可以借助一种特殊的Writable类:GenericWritable.
用法是:继承这个类,然后把你要输出value的Writable类型加进它的CLASSES静态变量里,在后面的TermMapper和TermReducer中我的value使用了三种ArrayWritable,IntWritable和我自已定义的TFWritable,所以要把三者全加入TermWritable的CLASSES中。
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
军师联盟曹丕扮演者是谁 曹丕最后结局是什么
绝地求生怎么换美服
南袁北李,李指的是谁
这是魅簇几?
东芝笔记本电脑按什么键进入u启动
想知道: 淄博市 淄博民政局周六上班吗 在哪
22岁,存款2万2算什么水平
户外LED尺寸为24米*8米、11米*12米、16米*8米
7-8万块钱的投资,怎么创业赚钱?
番茄如何打叉
荣耀9手机卡怎么安装
说明一下德系、法系、日系、韩系、美系车的特
天元围棋地址在什么地方,想过去办事,
如何有效保护著作权?
(x加0.7)除0.5等于9.2
推荐资讯
请问 各位大神 谁知道现在复合肥含25%氮的高
live 和life有什么区别
求教,怎样查看电脑的fps值
如图,请解这道函数数学题,谢谢!
住院总花了6504元,住院时交了押金2000元,出
一诺网络科技有限公司 有谁知道是干嘛的 是骗
附近密约这个东西真的假的
猪肚和什么一起煲汤最好
我们执手陌上,不说永远什么意思
要在给老公的生日礼物上刻字 刻句什么好?
单选题Theseareall________housesforthehom
. -Who will get the job? -___ of the them
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?