用Hadoop eclipse插件开发程序

原创文档,转载请将原文url地址

采用Hadoop的eclipse插件开发调试程序

Hadoop为采用eclipse开发程序,提供了插件, 本篇文档我们从下载eclipse及hadoop插件开始, 创建开发环境, 然后调试伪分布模式下的hadoop程序

一. Eclipse下载地址如下:

下面地址可以下载到各种eclipse的比较旧的版本

http://wiki.eclipse.org/Older_Versions_Of_Eclipse

Hadoop插件对特定eclipse的版本支持的版本比较好, 不是每个版本都能非常好的运行, 因此选择好的版本是重要的。 在版本不匹配时,可以自己编译eclipse插件, 插件源代码已经随同hadoop一同分发了。

wps_clip_image-9907

我们下载eclipse 3.5.2版本, 下载linux的32位版本, 读者根据您服务器环境选择合适的版本

wps_clip_image-30819

根据我们centos版本下载特定的linux的32位版本

二.下载hadoop的eclipse插件

下载地址如下:

https://code.google.com/p/hadoop-eclipse-plugin/downloads/list

wps_clip_image-26589

我们下载 0.20.3的版本

三.安装hadoop的eclipse插件

拷贝hadoop的eclipse插件到 /work/apps/eclipse/dropins目录中, 拷贝完成后情况如下:

wps_clip_image-14405

启动eclipse程序, 启动后, 选择window 菜单, 选择hadoop map/reduce菜单

wps_clip_image-17718

出现上面,说明我们安装插件基本完成。

然后选择, browse按钮, 然后选择如下目录(配置hadoop环境)

wps_clip_image-21457

四.用hadoop eclipse插件创建项目

创建一个 hadoop的 Map/Reduce Project项目, 如下图

wps_clip_image-14309

项目创建完成如下结构

wps_clip_image-2923

拷贝hadoop的样例源代码到 创建的项目中。

wps_clip_image-17224

拷贝后结构如下:

wps_clip_image-12117

五.测试hadoop 项目

1. 拷贝hadoop的conf目录及里面文件到 hadoop文件系统中

bin/hadoop fs -put conf input

注意:在执行前面的 命令前, 您需要配置成功hadoop的伪分布模式, 并且已经启动了hadoop的程序

2. 配置hadoop项目的启动参数,如下图, 在项目名称上点击右键, 选择run的配置菜单, 然后选择arg菜单, 添加下面的参数

“input ouput ‘dfs[a-z.]+”

wps_clip_image-28524

3. 在项目的名称上右键,选择以hadoop项目方式运行, 如下图

wps_clip_image-9437

在弹出的对话框中,选择Grep 类作为本次启动的状态

wps_clip_image-23576

在下面弹出的对话框中,选择定义一个hadoop的定义, 然后注意配置下面参数

Dfs master,参数输入9000

Map/reduce master 选择:host:localhost

Port:9001

然后选择运行

wps_clip_image-17841

运行过程中,显示下面的运行信息。

wps_clip_image-22840

小结: 本次我们完成了eclipse及hadoop插件的配置, 然后用插件开发了项目, 运行了项目, 没有完成的事调试这个项目, 对项目设置断点,调试程序, 下次我们解决这个问题。

发表评论