Hadoop2 HA方案之QJM

  categories:资料  tags:  author:
在Hadoop的分布式文件系统HDFS中,NameNode用来保存文件系统的元数据(包含目录结构/数据块位置等),如果NameNode上的数据丢 失,HDFS上对应的文件数据就无法找回来了。Hadoop在2.0.0之前的版本,使用SecondaryNameNode备份NameNode的数 据,但SecondaryNameNode无法转成NameNode,如果NameNode挂了,整个HDFS就会挂掉,无法实现真正的 failover。 这篇博文 总结了5种Hadoop HA(High Available,高可用)方案,Hadoop2之后官方引入了QJM(Quorum Journal Manager)和NFS用于NameNode的备份和切换。本方将介绍的是QJM方案,它使用第二个NameNode实时同步当前NameNode的数 据,相比于SecondaryNameNode,他可以随时切换成为真正的NameNode(一个可转正的高级备胎)。

先看看没有HA的HDFS的系统架构(用 draw.io 画的,尼马这么好的网站也被墙了):

hadoop-ha-001

然后有HA方案的系统架构:

hadoop-ha-003

以下的实验基于4个节点的Hadoop集群。其中每个节点的运行的进程列表如下:

Role\Hosthd1hd2hd3hd4
NN
DN
JN
ZK

实验环境中,所有节点的运行环境基本相同:

  • Ubuntu14.04 X64
  • 4G内存
阅读全文

Scala构建工具(SBT)

  categories:资料  author:

译者: dilettante 原作者:Martin Odersky

我们使用 sbt 创建、测试、运行和提交作业。该教程会解释你在我们的课程中将会用到的所有 sbt 命令。工具安装页说明了如何安装 sbt。

相关信息参见: http://www.scala-sbt.org/release/tutorial/zh-cn/index.html  里面有详细的介绍, 本文是从网络搜集的一些介绍供参考。

http://www.scala-sbt.org/0.13/tutorial/zh-cn/Basic-Def.html  介绍sbt的使用方法等

启动 sbt

要启动 sbt,打开一个终端(Windows 中的”命令提示符“)并切换到你正在解决的作业所在目录。输入sbt 将会打开 sbt 命令提示符。

shell$ cd /path/to/progfun-project-directory #这是操作系统的壳
shell$ sbt
> _

运行 Scala 解释器

你可以使用 console 任务在 sbt 内启动 … 阅读全文

前端开发资源大全

  categories:资料  author:

来源:http://www.open-open.com/lib/view/open1371950605400.html

一个外国人收集的前端开发资源大全。

前端开发

阅读全文


快乐成长 每天进步一点点