hadoop 1.2.1 Eclipse mapreduce hello word 学习笔记-白红宇

hadoop 1.2.1 Eclipse mapreduce hello word 学习笔记

阅读量：6929 次

发布时间：2019-06-27

本文共 3167 字，大约阅读时间需要 10 分钟。

在 hadoop 1.2.1成功配置了为分布式环境,经过了十一长假,该继续学习了,

这次要在eclipse下运行一个hadoop 应用

开发环境

操作系统:CentOS Linux release 6.0 (Final)

eclipse4.3

java version "1.7.0_25"

第一步运行 start-all.sh 可以参照上一篇文章,启动守护线程

发现启动有问题,原来是ip地址冲突了而我的xml配置中设置的ip地址没有生效,没办法改一下ip

DEVICE="eth0"

BOOTPROTO=static

IPADDR=192.168.2.88

此处改成没有被占用的ip

/etc/rc.d/init.d/network restart 使修改生效

生效后修改vim core-site.xml

vim mapred-site.xml 设置的ip (如果设置成 localhost 就不用改了)

配置eclipse插件

获取插件

参考: 可以自己生成也可以直接下载使用

安装完重新打开eclipse后

在showview里面可以考到选项如果

选择让其显示在控制台旁边

右键新建一个

如图

master 处填写 mapred-site.xml ip和端口 dfs master 处填写 core-site.xml ip和端口

设置hadoop的安装路径如图

设置完后可以看到资源目录下如图

我们可以在这里通过右键对dfs文件进行操作 (增删上传下载)

创建helloword工程

File -> New -> Project 选择“Map/Reduce Project”，然后输入项目名称，创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入

如图

第一个例子准备运行文档中的实例

打开

点击如图

按照例子建立package 和 class 将代码复制

package org.myorg; import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org.apache.hadoop.conf.*;import org.apache.hadoop.io.*;import org.apache.hadoop.mapred.*;import org.apache.hadoop.util.*;public class WordCount {       public static class Map extends MapReduceBase implements Mapper
     
       {         private final static IntWritable one = new IntWritable(1);         private Text word = new Text();                                   public void map(LongWritable key, Text value, OutputCollector
      
        output, Reporter reporter) throws IOException {           String line = value.toString();           StringTokenizer tokenizer = new StringTokenizer(line);           while (tokenizer.hasMoreTokens()) {             word.set(tokenizer.nextToken());             output.collect(word, one);           }         }       }                                 public static class Reduce extends MapReduceBase implements Reducer
       
         {         public void reduce(Text key, Iterator
        
          values, OutputCollector
         
           output, Reporter reporter) throws IOException {           int sum = 0;           while (values.hasNext()) {             sum += values.next().get();           }           output.collect(key, new IntWritable(sum));         }       }          public static void main(String[] args) throws Exception {         JobConf conf = new JobConf(WordCount.class);         conf.setJobName("wordcount");                                   conf.setOutputKeyClass(Text.class);         conf.setOutputValueClass(IntWritable.class);                                   conf.setMapperClass(Map.class);         conf.setCombinerClass(Reduce.class);         conf.setReducerClass(Reduce.class);                                   conf.setInputFormat(TextInputFormat.class);         conf.setOutputFormat(TextOutputFormat.class);                                   FileInputFormat.setInputPaths(conf, new Path(args[0]));         FileOutputFormat.setOutputPath(conf, new Path(args[1]));                                   JobClient.runJob(conf);       }    }