Hadoop源代码分析 之hadoop源代码项目(1)—–创建eclipse下java项目

  categories:hadoop  tags:  author:

原创文档,转载请将原文url地址标明

hadoop 相关视频下载地址: http://pan.baidu.com/share/link?shareid=223046310&uk=3073578852

hadoop是开源项目,他已经提供了完整的源代码。但他的源代码是用ant编译的,没有提供基于ide环境的源代码项目,我们应用ant编译源码很方便,在命令行下分析源代码效率就比较低了,为此我们需要一个ide下java项目来高效分析hadoop的源代码。我们将开始hadoop源代码分析,首先创建java的eclipse项目,主要步骤如下,详情参见附录的 参考视频

系列文章简介,hadoop代表一种新的编程思想,基于hadoop有很多衍生项目,充分利用他们是非常必要的,同时hadoop又是一个复杂系统,若能理解他的工作原理对我们将有非常大的帮助,我们以hadoop 0.1.0版本为基础逐步分析他的基本工作原理、结构、思路等等,本文是系统文章的一部分,系列文章详情参见

一.下载hadoop源代码

下载地址如下

http://archive.apache.org/dist/hadoop/core/

在下载页面中选择需要下载的hadoop源代码,推荐选择下载0.1.0版本

原因如下:

1. 0.1.0版本代码非常少,并且可以运行

2. 经过简单比较,从0.1.0版本到0.20.0版本核心代码及核心结构基本保持不变,对学习hadoop原理无大影响。

3. 我们学习丛简单入手,逐步深入便于学习与入门

具体下载过程可以在附件的视频中看到

 

二. 启动eclipse程序

Hadoop程序是个标准的java程序,他提供了ant编译的脚本, 用户可以采用ant直接编译相关源代码。

但是若分析hadoop的源代码,一个集成的开发环境可以大大提高效率。

另外hadoop程序在linux系统下经过大量生产实践的,并且他本身设计也是主要面向linux环境,因此我们需要一个在linux下的eclipse环境来运行并调试我们的hadoop源程序

在我们提供的虚拟机中提供给的linux环境下已经存在一个eclipse程序。我们可以用如下方法运行它

cd /apps

tar xzvf eclipse.tar.gz

cd eclipse

./eclipse

最后运行eclipse项目

 

三.创建eclipse项目

打开eclipse的file菜单,选择新建,最后选择项目选项,如下:

clip_image001

 

用户选择Project…后会弹出相关项目对话框如下:

image_thumb2[1]

 

我们创建一个java项目,项目名称自己输入,其余选择默认就可以,相关过程参加创建过程视频

 

 

四.添加hadoop的源代码到项目中

1. 将已经下载的hadoop源代码解压缩到文件系统中

2. 打开文件系统相关目录

3. 拷贝src目录到java项目中

4. 打开项目的编译属性目录

5. 修改项目src属性,设置相关源代码目录,具体见参考视频

6. 拷贝lib,bin,conf,webapps等目录到项目中

7. 修改项目的编译属性,导入相关jar文件等

clip_image004

如上图,项目属性对话框操作

1。 在项目名称上 单击鼠标左键,鼠标右键单击, 弹出选择对话框

2. 选择build path项目

3. 选择configure build path。。。

clip_image005

在标签卡1中设置源代码相关项目, 在标签卡2中设置项目依赖的jar文件等,最后点击ok按钮

最后eclipse中,左侧源代码无编译错误(红色x),同时右下角Problems中无错误信息,项目编译无问题,项目创建完毕。

 

题外话: 本次一些列文章全部围绕hadoop展开, 文章中,相对描述较为详细,笔者个人认为已经接近罗嗦了。 但是考虑到为提高学习效果,争取做到读者看到文章以及参考视频等候,能独立根据相关信息进行独立的操作,这样印象才会深刻,也不流于形式。最终希望大家都能有所提高。

 

 

 

clip_image007

hadoop-vmware-0.1.0-www.iigrowing.cn.rar (37.26M, 2012年11月29日 10:33 到期)

进入下载页面

clip_image007[1]

hadoop-0.1.0-java-project.rar (50.17M, 2012年11月29日 10:33 到期)

进入下载页面

 

参考文章
Hadoop源代码分析 之Datanode工作原理(5)—–拷贝文件过程总结

Hadoop源代码分析 之Datanode工作原理(4)—–拷贝本地文件到hadoop的过程

Hadoop源代码分析 之Datanode工作原理(3)—–datanode工作过程总结

hadoop源代码介绍

Hadoop源代码分析 之Datanode工作原理(2)—–datanode基本工作过程

Hadoop源代码分析 之Datanode工作原理(1)—–datanode启动过程代码分析

Hadoop源代码分析 之hadoop配置及启动(4)—–启动过程汇总

Hadoop源代码分析 之hadoop配置及启动(3)—–classpath与hadoop主要组件启动过程

Hadoop源代码分析 之hadoop配置及启动(2)—–classpath与启动shell脚本

Hadoop源代码分析 之hadoop配置及启动(1)—–classpath与配置文件

Hadoop源代码分析 之hadoop源代码项目(1)—–创建eclipse下java项目

Hadoop源代码分析 之环境配置(2)—–虚拟机ip配置

Hadoop源代码分析 之环境配置(1)—–hadoop虚拟机配置

Hadoop源代码分析 之概念介绍(2)—–初学者眼中的hadoop

Hadoop源代码分析 之概念介绍(1)—–服装加工,火车货物检查与hadoop

调试eclipse下hadoop的map reduce程序



快乐成长 每天进步一点点