原创文档,转载请将原文url地址
采用Hadoop的eclipse插件开发调试程序
Hadoop为采用eclipse开发程序,提供了插件, 本篇文档我们从下载eclipse及hadoop插件开始, 创建开发环境, 然后调试伪分布模式下的hadoop程序
一. Eclipse下载地址如下:
下面地址可以下载到各种eclipse的比较旧的版本
http://wiki.eclipse.org/Older_Versions_Of_Eclipse
Hadoop插件对特定eclipse的版本支持的版本比较好, 不是每个版本都能非常好的运行, 因此选择好的版本是重要的。 在版本不匹配时,可以自己编译eclipse插件, 插件源代码已经随同hadoop一同分发了。
我们下载eclipse 3.5.2版本, 下载linux的32位版本, 读者根据您服务器环境选择合适的版本
根据我们centos版本下载特定的linux的32位版本
二.下载hadoop的eclipse插件
下载地址如下:
https://code.google.com/p/hadoop-eclipse-plugin/downloads/list
我们下载 0.20.3的版本
三.安装hadoop的eclipse插件
拷贝hadoop的eclipse插件到 /work/apps/eclipse/dropins目录中, 拷贝完成后情况如下:
启动eclipse程序, 启动后, 选择window 菜单, 选择hadoop map/reduce菜单
出现上面,说明我们安装插件基本完成。
然后选择, browse按钮, 然后选择如下目录(配置hadoop环境)
四.用hadoop eclipse插件创建项目
创建一个 hadoop的 Map/Reduce Project项目, 如下图
项目创建完成如下结构
拷贝hadoop的样例源代码到 创建的项目中。
拷贝后结构如下:
五.测试hadoop 项目
1. 拷贝hadoop的conf目录及里面文件到 hadoop文件系统中
bin/hadoop fs -put conf input
注意:在执行前面的 命令前, 您需要配置成功hadoop的伪分布模式, 并且已经启动了hadoop的程序
2. 配置hadoop项目的启动参数,如下图, 在项目名称上点击右键, 选择run的配置菜单, 然后选择arg菜单, 添加下面的参数
“input ouput ‘dfs[a-z.]+”
3. 在项目的名称上右键,选择以hadoop项目方式运行, 如下图
在弹出的对话框中,选择Grep 类作为本次启动的状态
在下面弹出的对话框中,选择定义一个hadoop的定义, 然后注意配置下面参数
Dfs master,参数输入9000
Map/reduce master 选择:host:localhost
Port:9001
然后选择运行
运行过程中,显示下面的运行信息。
小结: 本次我们完成了eclipse及hadoop插件的配置, 然后用插件开发了项目, 运行了项目, 没有完成的事调试这个项目, 对项目设置断点,调试程序, 下次我们解决这个问题。