Hadoop源代码分析 之环境配置(1)—–hadoop虚拟机配置

  categories:hadoop  tags:  author:

 

原创文档,转载请将原文url地址标明

hadoop 相关视频下载地址: http://pan.baidu.com/share/link?shareid=223046310&uk=3073578852

hadoop是个工作集群,是个分布式的复杂系统,我们若直接在hadoop自身系统上分析hadoop系统不是一件容易的事情, 本文及后面几篇文章将引领您构建一个hadoop的分析环境,通过这个环境您将像开发eclipse项目一样研究hadoop程序了,只是稍微复杂了点。同时本文也是hadoop系列文章的一部分,系列文章介绍如下

系列文章简介,hadoop代表一种新的编程思想,基于hadoop有很多衍生项目,充分利用他们是非常必要的,同时hadoop又是一个复杂系统,若能理解他的工作原理对我们将有非常大的帮助,我们以hadoop 0.1.0版本为基础逐步分析他的基本工作原理、结构、思路等等,本文是系统文章的一部分,系列文章详情参见

1. Hadoop工作环境

Hadoop系统工作环境是linux系列的操作系统,在windows下无法进行工作集群的相关工作,尽管可以采用一些方法进行配置,但是仅仅作为开发调试环境使用,并且比较麻烦,相关内容可以到搜索引擎中去搜索,已经有很多文章进行介绍,这里不在多言。

大家可以自行准备一个linux环境,具体要求如下

1) Linux服务器 3台(>=3)

2) 3台处于同一个内网

3) 每台服务器上安装java,ant,eclipse等环境

Linux服务器可以采用vmware虚拟机进行搭建或者模拟,也可以采用其他虚拟机程序进行。

这里为了开发调试hadoop系统方便,采用linux系统搭建了一个linux虚拟机系统,系统中已经包括了,java,ant,eclipse等环境,大家可以直接下载。

2. 虚拟机文件下载

地址如下:

clip_image002

hadoop.0.1.0.part02.rar (700.00M, 2012年11月21日 00:19 到期)

进入下载页面

clip_image002[1]

hadoop.0.1.0.part01.rar (700.00M, 2012年11月21日 00:19 到期)

进入下载页面

clip_image002[2]

hadoop.0.1.0.part04.rar (313.02M, 2012年11月21日 00:16 到期)

进入下载页面

clip_image002[3]

hadoop.0.1.0.part03.rar (700.00M, 2012年11月21日 00:16 到期)

进入下载页面

3. 启动Vmware虚拟机

首先大家需要下载上面的4个压缩文件,下载后放到同一个目录中进行解压缩。

另外,大家首先需要安装一个 vmware虚拟机环境 vmware7以上版本

clip_image003

这里采用这个版本进行的开发测试,推荐用户采用这个版本或者高于这个版本的虚拟机系统

关于vmware软件下载请大家自行在搜索引擎中搜索下载,不提供,请支持正版,哈哈!

解压后参考目录结构如下:

clip_image004

首先运行 u03目录中 u03.Vmx

然后运行u01目录中u01.vmx文件显示如下界面

clip_image005

点击浏览按钮,选择u03目录

clip_image006

选择u03.Vmx

clip_image007

最后点击打开

类似方式打开u02虚拟机

4. 虚拟机环境网络配置

启动虚拟机软件,点击编辑菜单

clip_image008

如上图,选择配置 虚拟网络编辑菜单

图下图,选择vmnet8条目

clip_image009

设置subnet ip中地址 为192.168.100.0 选择应用, 最后点击ok关闭程序

至此虚拟机应该可以运行了,可能ip还有些小问题,我们下篇文章在讨论,今天太晚了,睡觉去啦,886!

 

参考文章
Hadoop源代码分析 之Datanode工作原理(5)—–拷贝文件过程总结

Hadoop源代码分析 之Datanode工作原理(4)—–拷贝本地文件到hadoop的过程

Hadoop源代码分析 之Datanode工作原理(3)—–datanode工作过程总结

hadoop源代码介绍

Hadoop源代码分析 之Datanode工作原理(2)—–datanode基本工作过程

Hadoop源代码分析 之Datanode工作原理(1)—–datanode启动过程代码分析

Hadoop源代码分析 之hadoop配置及启动(4)—–启动过程汇总

Hadoop源代码分析 之hadoop配置及启动(3)—–classpath与hadoop主要组件启动过程

Hadoop源代码分析 之hadoop配置及启动(2)—–classpath与启动shell脚本

Hadoop源代码分析 之hadoop配置及启动(1)—–classpath与配置文件

Hadoop源代码分析 之hadoop源代码项目(1)—–创建eclipse下java项目

Hadoop源代码分析 之环境配置(2)—–虚拟机ip配置

Hadoop源代码分析 之环境配置(1)—–hadoop虚拟机配置

Hadoop源代码分析 之概念介绍(2)—–初学者眼中的hadoop

Hadoop源代码分析 之概念介绍(1)—–服装加工,火车货物检查与hadoop

调试eclipse下hadoop的map reduce程序



快乐成长 每天进步一点点