Example usage for org.apache.hadoop.mapreduce Job toString

Introduction

In this page you can find the example usage for org.apache.hadoop.mapreduce Job toString.

Prototype

@Override
public String toString() 

Source Link

Document

Dump stats to screen.

Usage

From source file:uniandes.bigdata.taller02.WikiJob.java

public static void ejecutarJob(String entrada, String salida, String country, String fromDate, String toDate)
        throws IOException, ClassNotFoundException, InterruptedException {

    /**// w  w  w  . j a  va  2s.  com
     * Objeto de configuracin, dependiendo de la versin de Hadoop 
     * uno u otro es requerido. 
     *
         */
    Configuration conf = new Configuration();
    //conf.set(XmlInputFormat.START_TAG_KEY, "<page>");
    //conf.set(XmlInputFormat.END_TAG_KEY, "</page>");
    conf.set("textinputformat.record.delimiter", "</page>");

    conf.set(FilteringInputParams.COUNTRY_FILTER_PARAM, country);
    conf.set(FilteringInputParams.FROM_DATE_FILTER_PARAM, fromDate);
    conf.set(FilteringInputParams.TO_DATE_FILTER_PARAM, toDate);

    //long milliSeconds = 1000*60*12;
    //conf.setLong("mapred.task.timeout", milliSeconds);
    //conf.set("io.serializations","org.apache.hadoop.io.serializer.JavaSerialization,org.apache.hadoop.io.serializer.WritableSerialization");

    Job wcJob = Job.getInstance(conf, "WikiArticlesExplorer Job");
    wcJob.setJarByClass(WikiJob.class);
    //////////////////////
    //Mapper
    //////////////////////

    wcJob.setMapperClass(WikiMapper.class);
    wcJob.setMapOutputKeyClass(Text.class);
    wcJob.setMapOutputValueClass(Text.class);
    ///////////////////////////
    //Reducer
    ///////////////////////////
    wcJob.setReducerClass(WikiReducer.class);
    wcJob.setOutputKeyClass(Text.class);
    wcJob.setOutputValueClass(Text.class);

    ///////////////////////////
    //Input Format
    ///////////////////////////
    //Advertencia: Hay dos clases con el mismo nombre, 
    //pero no son equivalentes. 
    //Se usa, en este caso, org.apache.hadoop.mapreduce.lib.input.TextInputFormat
    TextInputFormat.setInputPaths(wcJob, new Path(entrada));
    //wcJob.setInputFormatClass(XmlInputFormat.class); 
    wcJob.setInputFormatClass(TextInputFormat.class);

    ////////////////////
    ///Output Format
    //////////////////////
    TextOutputFormat.setOutputPath(wcJob, new Path(salida));
    wcJob.setOutputFormatClass(TextOutputFormat.class);
    wcJob.waitForCompletion(true);
    System.out.println(wcJob.toString());
}

---

From source file:uniandes.lab01.hadoop.NewsHadoopJob.java

public static void ejecutarJob(String entrada, String salida)
        throws IOException, ClassNotFoundException, InterruptedException {
    /**/*  www  .  j a v a2 s.c  o  m*/
     * Objeto de configuracin, dependiendo de la versin de Hadoop 
     * uno u otro es requerido. 
     * */
    Configuration conf = new Configuration();
    Job wcJob = Job.getInstance(conf, "WordCounter Job");
    wcJob.setJarByClass(NewsHadoopJob.class);
    //////////////////////
    //Mapper
    //////////////////////

    wcJob.setMapperClass(WITCMapper.class);

    wcJob.setMapOutputKeyClass(Text.class);
    wcJob.setMapOutputValueClass(IntWritable.class);
    ///////////////////////////
    //Reducer
    ///////////////////////////
    wcJob.setReducerClass(WITCReducer.class);
    wcJob.setOutputKeyClass(Text.class);
    wcJob.setOutputValueClass(IntWritable.class);

    ///////////////////////////
    //Input Format
    ///////////////////////////
    //Advertencia: Hay dos clases con el mismo nombre, 
    //pero no son equivalentes. 
    //Se usa, en este caso, org.apache.hadoop.mapreduce.lib.input.TextInputFormat
    TextInputFormat.setInputPaths(wcJob, new Path(entrada));
    wcJob.setInputFormatClass(TextInputFormat.class);

    ////////////////////
    ///Output Format
    //////////////////////
    TextOutputFormat.setOutputPath(wcJob, new Path(salida));
    wcJob.setOutputFormatClass(TextOutputFormat.class);
    wcJob.waitForCompletion(true);
    System.out.println(wcJob.toString());
}

---