必赢亚洲766net:Eclipse开发环境搭建,Eclipse上搭建

作者:计算机知识

安装Ubuntu 11.04 Desktop系统。

一、安装Eclipse

    下载Eclipse,解压安装,举例设置到/usr/local,即/usr/local/eclipse

    4.3.1本子下载地址:

通过一些列繁杂的配置后,hadoop集群终于得以跑起来了,wordcount例子也能正确运转,好了,我们能够扩充Map-Reduce开采了。作为贰个java程序猿,最轻巧易行的做法是:把在eclipse中写好的mapreduce程序打成jar包,上传至hadoop集群上,然后运营mapreduce职责。这么做当然能够,然而大家不是法师,什么人也不可能保障自身写的代码一回就会正确,大家须求频繁地质衡量试、修正程序,那样的话,每一次改过都要重新打jar包,然后上传至hadoop集群,显得格内地繁缛!
有没有后生可畏种办法能让eclipse连接hadoop集群,使之能够间接在eclipse上运维Map-Reduce职务?答案是确定的,只需求八个eclipse插件就能够完成!
那个插件hadoop自个儿就提供了,在hadoop_home/contrib/eclipse-plugin目录下,你就走访到该插件。可是该插件的装置不是超级轻易,何况还设有和eclipse版本宽容难题。
上边小编就hadoop-0.20.2和eclipse3.5版本说一下自身的安装进度。
率先,hadoop-0.20.2挑eclipse版本,黄金时代初叶自己的eclipse版本是3.6,把hadoop提供的插件放进eclipse后,eclipse死活正是不出新hadoop视窗,后来因而持续查阅资料与尝试,发掘eclipse3.3、3.4、3.5都足以与hadoop0.20.2插件宽容。如下图,当您打开eclipse-window-perferences时风流浪漫旦出现hadoop视窗,表示插件已经基本上安装成功了,为何是大约?是还是不是有种不祥的预见?呵呵,稍后你就能够分晓了~

一、概述
1.实验应用的Hadoop集群为伪布满式方式,Eclipse相关配置已成功;
2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。
 
必赢亚洲766net,二、使用eclipse连接hadoop集群实行支付
1.在开辟主机上配置hadoop
①将hadoop-2.7.3.tar.gz解压到地头主机上

假定是虚构机的话,这几个不留意了,平时只供给配置五个分区就足以。叁个是另三个是HOME 文件格式就用ext4就行了。若是是实机的话提议在分配出一个SWAP分区。

二、在eclipse上安装hadoop插件

    1、下载hadoop插件

        下载地址:http://pan.baidu.com/s/1mgiHFok

     此zip文件蕴涵了源码,大家使用应用编写翻译好的jar就能够,解压后,release文件夹中的hadoop.eclipse-kepler-plugin-2.2.0.jar正是编译好的插件。

 

   2、把插件放到eclipse/plugins目录下

 

    3、重启eclipse,配置Hadoop installation directory    

     借使插件安装成功,展开Windows—Preferences后,在窗口右边会有Hadoop Map/Reduce选项,点击此选项,在窗口侧边设置Hadoop安装路线。

必赢亚洲766net 1

      

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4、配置Map/Reduce Locations

     打开Windows—Open Perspective—Other

必赢亚洲766net 2

 

 

 

 

 

必赢亚洲766net:Eclipse开发环境搭建,Eclipse上搭建Hadoop开发环境。 

 

 

 

 

 

 

 

    

    选择Map/Reduce,点击OK

    

    在右下方见到如下图所示

必赢亚洲766net 3    

 

点击Map/Reduce Location选项卡,点击左侧小象Logo,展开Hadoop Location配置窗口:

    输入Location Name,大肆名称就可以.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的安装同生龙活虎就能够。

必赢亚洲766net 4

必赢亚洲766net 5    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

点击"Finish"按钮,关闭窗口。

 点击右边的DFSLocations—>myhadoop(上一步配置的location name),如能看出user,表示安装成功

   必赢亚洲766net 6

      

      

 

 

 

 

 

 

 

 

 

    固然如下图所示表示安装败北,请检查Hadoop是还是不是运维,以致eclipse配置是还是不是科学。

 

必赢亚洲766net 7

 

 

 

 

 

 

 

 

 

 

 

 

 

必赢亚洲766net 8

必赢亚洲766net 9

假若嫌麻烦提议用wubi安装形式安装。这些相比二货一点。

三、新建WordCount项目

    File—>Project,选拔Map/Reduce Project,输入项目名称WordCount等。

    在WordCount项目里新建class,名称叫WordCount,代码如下:

    

必赢亚洲766net 10

import java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{   private final static IntWritable one = new IntWritable(1);  private Text word = new Text();   public void map(Object key, Text value, Context context) throws IOException, InterruptedException {    StringTokenizer itr = new StringTokenizer(value.toString());      while (itr.hasMoreTokens()) {        word.set(itr.nextToken());        context.write(word, one);      }  }} public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {  private IntWritable result = new IntWritable();   public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {    int sum = 0;    for (IntWritable val : values) {      sum  = val.get();    }    result.set(sum);    context.write(key, result);  }} public static void main(String[] args) throws Exception {  Configuration conf = new Configuration();  String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  if (otherArgs.length != 2) {    System.err.println("Usage: wordcount <in> <out>");    System.exit(2);  }  Job job = new Job(conf, "word count");  job.setJarByClass(WordCount.class);  job.setMapperClass(TokenizerMapper.class);  job.setCombinerClass(IntSumReducer.class);  job.setReducerClass(IntSumReducer.class);  job.setOutputKeyClass(Text.class);  job.setOutputValueClass(IntWritable.class);  FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  System.exit(job.waitForCompletion(true) ? 0 : 1);}}

必赢亚洲766net 11

 

 

然后张开Map/Reduce Locations(window-show view-others,输入map),第一次能够新建贰个,如下:

②使用windows版本的hadoop中的bin替换指标中的bin文件夹

Hadoop下载到阿帕奇的官网下载就行,版本随便,无需安装,只要解压到合适地点就行,作者那边提议解压到$HOMEyourname里。

四、运行

    1、在HDFS上开创目录input

        hadoop fs -mkdir input

    2、拷贝本地README.txt到HDFS的input里

         hadoop fs -copyFromLocal /usr/local/hadoop/README.txt input

    3、点击WordCount.java,右键,点击Run As—>Run Configurations,配置运维参数,即输入和输出文件夹

  hdfs://localhost:9000/user/hadoop/input hdfs://localhost:9000/user/hadoop/output

 

    必赢亚洲766net 12

 

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  点击Run按键,运营程序。

 

    4、运营成功后,查看运转结果        

        方法1:

 

        hadoop fs -ls output

        能够看看有多个出口结果,_SUCCESS和part-r-00000

        执行hadoop fs -cat output/*

        

        

        方法2:

        张开DFS Locations,如下图所示,双击张开part-r00000查看结果

必赢亚洲766net 13    

          

        

 

    

分类: Hadoop

标签: hadoop, eclipse

好文要顶 关注自己 收藏该文 必赢亚洲766net 14 必赢亚洲766net 15

必赢亚洲766net 16

kinglau
关注 - 19
粉丝 - 67

加关注

4

0

« 上一篇:设置hadoop2.4.0遇上的标题
» 下一篇:笔记:PHP查询mysql数据后汉语字符乱码

必赢亚洲766net 17

必赢亚洲766net 18

假诺是Ubuntu 10.10或以上版本是无需装jdk的,因为那一个系统内置openjdk6

点右键能够开展编写制定,如下:

③布局windows上的hadoop意况变量

随意是kubuntu依旧ubuntu大概其余linux版本都足以由此图形化分界面举行解压。建议放手$HOME/youraccountname下并取名称为hadoop.

必赢亚洲766net 19

2.在eclipse上安插hadoop集群新闻
①在eclipse中添加hadoop路径

固然是刚从windows系统恐怕此外系统拷贝过来恐怕会超出权限难题(无法写入)那么那就须求用于下命令来予以权力。

一言九鼎是master的布局(M-ENCORE甚至HDFS),点击Advanced parameters,这里是有的详实的配置,上边的参数填写后也会反映到这里来,必要注意以下几个参数:
fs.defualt.name:与core-site.xml里fs.default.name设置相仿。
mapred.job.tracker:与mapred-site.xml里面mapred.job.tracker设置同大器晚成。 dfs.replication:与hdfs-site.xml里面的dfs.replication黄金时代致。 hadoop.tmp.dir:与core-site.xml里hadoop.tmp.dir设置相像。
hadoop.job.ugi:并不是设置顾客名与密码,是客户与组名,如root,root。假设不填写的话,会以操作系统的顾客名与组名登录hadoop集群,这一块特别轻巧出错。

必赢亚洲766net 20

sudo chown –R yourname:yourname [hadoop]

好了,这一个参数都配好之后,你的eclipse就可以连接hadoop集群了,张开Project Ecplorer,就走访到DFS locations,如下:

②配置hadoop集群访谈消息

比方说作者的正是:

必赢亚洲766net 21

必赢亚洲766net 22

sudo chown –Sportage dreamy:dreamy hadoop 之后将要给它赋予改进权限,那就供给运用:

上边,大家就足以在eclipse上进展Map-Reduce开辟了,当把代码写完,右键接纳run on hadoop,咦,怎么没影响?笔者又重试了好四回,鲜明没反应,不是本身手抖可能看错了。
那是怎么回事呢?这些主题材料当即的确卡了本身比较久,插件是法定提供的,配置也不利了,都能连上HDFS了,那怎么无法运行M-Wrangler代码呢?
后来在英特网搜了深入的资料,开采许三个人都蒙受过这几个标题,给出的疏解是:0.20.2版本官方提供的插件已不适那个时候候宜,必要下载准确的插件,晕!(小编不明了这时候铺面为啥要选拔0.20.2这么二个过于版本,想自定义三个OutputFormat都很难!)
该插件地址:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
把插件下载下来后,重命名叫hadoop-0.20.2-eclipse-plugin,重启eclipse,再一次选择run on hadoop,终于有影响了,弹出对话框:

3.在hadoop集群中撤废权限验证

本文由bwin必赢发布,转载请注明来源

关键词: bwin线上娱乐 大数据 Hadoop