如何记录hadoop mapreduce运行日志

如何记录hadoop mapreduce运行日志

hadoop的日志主要是MapReduce程序，运行过程中，产生的一些数据日志，除了系统的日志外，还包含一些自己在测试时候，或者线上环境输出的日志，这部分日志通常会被放在userlogs这个文件夹下面，可以在mapred-site.xml里面配置运行日志的输出目录，测试文件内容如下:
　　
　　

　　

　　
　　
　　
　　mapred.job.tracker
　　192.168.75.130:9001
　　
　　
　　
　　mapred.local.dir
　　/root/hadoop1.2/mylogs
　　
　　
　　配置好，日志目录后，我们就可以把这个配置文件，分发到各个节点上，然后启动hadoop。
　　下面我们看来下在eclipse环境中如何调试，散仙在setup，map和reduce方法中，分别使用System打印了一些数据，当我们使用local方式跑MR程序时候，日志并不会被记录下来，而是直接会在控制台打印，散仙的测试代码如下：
　　package com.qin.testdistributed;

　　import java.io.File;
　　import java.io.FileReader;
　　import java.io.IOException;
　　import java.net.URI;
　　import java.util.Scanner;

　　import org.apache.hadoop.conf.Configuration;
　　import org.apache.hadoop.filecache.DistributedCache;
　　import org.apache.hadoop.fs.FSDataInputStream;
　　import org.apache.hadoop.fs.FileSystem;
　　import org.apache.hadoop.fs.Path;
　　import org.apache.hadoop.io.IntWritable;
　　import org.apache.hadoop.io.LongWritable;
　　import org.apache.hadoop.io.Text;
　　import org.apache.hadoop.mapred.JobConf;
　　import org.apache.hadoop.mapreduce.Job;
　　import org.apache.hadoop.mapreduce.Mapper;
　　import org.apache.hadoop.mapreduce.Reducer;
　　import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
　　import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
　　import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
　　import org.apache.log4j.pattern.LogEvent;
　　
　　import org.slf4j.Logger;
　　import org.slf4j.LoggerFactory;

　　import com.qin.operadb.WriteMapDB;
　　

　　
　　public class TestDistributed {
　　
　　
　　private static Logger logger=LoggerFactory.getLogger(TestDistributed.class);
　　
　　
　　
　　
　　
　　private static class FileMapper extends Mapper{
　　
　　Path path[]=null;
　　
　　
　　@Override
　　protected void setup(Context context)
　　throws IOException, InterruptedException {
　　logger.info("开始启动setup了哈哈哈哈");
　　// System.out.println("运行了.........");
　　Configuration conf=context.getConfiguration();
　　path=DistributedCache.getLocalCacheFiles(conf);
　　System.out.println("获取的路径是：  "+path[0].toString());
　　//  FileSystem fs = FileSystem.get(conf);
　　FileSystem fsopen= FileSystem.getLocal(conf);
　　// FSDataInputStream in = fsopen.open(path[0]);
　　// System.out.println(in.readLine());
　　//       for(Path tmpRefPath : path) {
　　//           if(tmpRefPath.toString().indexOf("ref.png") != -1) {
　　//               in = reffs.open(tmpRefPath);
　　//               break;
　　//           }
　　//       }
　　
　　// FileReader reader=new FileReader("file://"+path[0].toString());
　　//      File f=new File("file://"+path[0].toString());
　　// FSDataInputStream in=fs.open(new Path(path[0].toString()));
　　//     Scanner scan=new Scanner(in);
　　//       while(scan.hasNext()){
　　//       System.out.println(Thread.currentThread().getName()+"扫描的内容:  "+scan.next());
　　//       }
　　//       scan.close();
　　//
　　// System.out.println("size: "+path.length);
　　
　　
　　}
　　
　　
　　@Override
　　protected void map(LongWritable key, Text value,Context context)
　　throws IOException, InterruptedException {
　　
　　// System.out.println("map    aaa");
　　//logger.info("Map里的任务");
　　System.out.println("map里输出了");
　　// logger.info();
　　context.write(new Text(""), new IntWritable(0));

　　
　　}
　　
　　
　　@Override
　　protected void cleanup(Context context)
　　throws IOException, InterruptedException {
　　
　　
　　logger.info("清空任务了。。。。。。");
　　}
　　
　　}
　　
　　
　　private static class  FileReduce extends Reducer{
　　
　　
　　@Override
　　protected void reduce(Object arg0, Iterable