永发信息网

如何运行自带wordcount

答案:3  悬赏:0  手机版
解决时间 2021-11-20 17:49
如何运行自带wordcount
最佳答案

  1、在linux系统中,所在目录“/home/kcm”下创建一个文件input
  [ubuntu@701~]$ mkdir input
  2.在文件夹input中创建两个文本文件file1.txt和file2.txt,file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello mapreduce”(分两行)。
  [ubuntu@701~]$ cd input
  [ubuntu@701~]$ vi file1.txt(编辑文件并保存)
  [ubuntu@701~]$ vi file2.txt(编辑文件并保存)
  [ubuntu@701~]$ ls -l /home/kcm/input
  file1.txt file2.txt
  显示文件内容可用:
  [ubuntu@701~]$ cat/home/kcm/input/file1.txt
  hello word
  [ubuntu@701~]$ cat /home/kcm/input/file2.txt
  hello mapreduce
  hello hadoop
  3.在HDFS上创建输入文件夹wc_input,并将本地文件夹input中的两个文本文件上传到集群的wc_input下
  [ubuntu@701~]$ hadoop fs -mkdir wc_input
  [ubuntu@701~]$ hadoop fs -put/home/kcm/input/file* wc_input
  查看wc_input中的文件:
  [ubuntu@701~]$ /hadoop fs -ls wc_input
  Found 2 items
  -rw-r--r-- 1 root supergroup 11 2014-03-13 01:19 /user/hadoop/wc_input/file1.txt
  -rw-r--r-- 1 root supergroup 29 2014-03-13 01:19 /user/hadoop/wc_input/file2.txt
  4.首先,在window下将wordcount进行打包,我们这里把它打包成wordcount.jar;然后,将wordcount.jar拷贝到linux系统中,存放的目录自己决定即可。我们这里存放到/home/kcm目录下面。
  5.运行wordcount.jar包(转到该jar包存放的目录下):
  [ubuntu@701~]$ hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output
全部回答
jobtracker和tasktracker之间通信存在问题

  1.找到examples例子

  我们需要找打这个例子的位置:首先需要找到你的hadoop文件夹,然后依照下面路径:

  /hadoop/share/hadoop/mapreduce会看到如下图:

  hadoop-mapreduce-examples-2.2.0.jar

  第二步:

  我们需要需要做一下运行需要的工作,比如输入输出路径,上传什么文件等。

  1.先在HDFS创建几个数据目录:

  hadoop fs -mkdir -p /data/wordcount

  hadoop fs -mkdir -p /output/

  2.目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,运行这个MapReduce任务的结果输出到/output/wordcount目录中。

  首先新建文件inputWord:

  vi /usr/inputWord


  新建完毕,查看内容:

  cat /usr/inputWord

  将本地文件上传到HDFS中:

  hadoop fs -put /usr/inputWord /data/wordcount/

  可以查看上传后的文件情况,执行如下命令:

  hadoop fs -ls /data/wordcount

  可以看到上传到HDFS中的文件。

  通过命令

  hadoop fs -text /data/wordcount/inputWord

  看到如下内容:

  


  下面,运行WordCount例子,执行如下命令:

  hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount


  

  可以看到控制台输出程序运行的信息

  查看结果,执行如下命令:

  hadoop fs -text /output/wordcount/part-r-00000



结果数据示例如下:


登录到Web控制台,访问链接http.//master:8088/可以看到任务记录情况。

我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
渮泽公交车车占到成武县县城有多少公里
漫步者h265p耳机插头是国标还是美标
元芳武汉有卖cgm-1灌浆料的吗!
腰椎骨晚上睡觉时有时十分疼痛,早上起来等一
谜语.两个瘦子结婚打一城市
这是腊石吗
说火车由北京到上海需要6小时,行使3小时后,火
听下面几个句子,选出与所听句子意思相符的图
两门四座轿跑车都有那些
qq炫舞中秋兔主题暮色之光礼盒怎么得
您好,我是18年毕业的应届生,请问这次省考的
我想详细问下乳房按压或者捏起来是什么感觉
flyme3.7.7是安卓几
我手机下载软件后安装一直出现这个图案,就是
普洱熟茶为什么会发酸?
推荐资讯
黄阿婆干洗店(古城店)地址好找么,我有些事要
我是长 春 的,求解烤瓷牙多少钱?
孟浩然与其他人联句作诗,他的什么诗句一处,
男方现在离婚让我给退彩礼
武汉中线互动科技有限公司是骗子公司吗
2016年郴州宜章公务员考试成绩
两节滑轨抽屉怎么安装
印尼扁安龟多少钱一只
三星note怎么把S健康关闭
求富士康全技员心得,不求内容多只求能混得过
求《东京喰种》百度云
the frypan韩国炸鸡啤酒(宜昌万达店)这个地址
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?