一。 什么flume

YARN程序的执行流程

Yarn是一个资源管理系统，负责整个集群资源的管理和分配。如果需要在一个yarn集群上运行程序:

1. 首先得有个客户端client来提交job到ResourceManager(RM)申请资源。Client通过RMProtocol协议来与 RM通信，将应用程序运行所需的一些信息，比如local file/jars，执行的命令，参数，环境变量等提供给RM来运行应用的第一个container也就是 ApplicationMaster(AppMaster)。
2. 如果申请到了资源，RM就在第一个container上启动AppMaster。AppMaster然后通过AMRMProtocol协议与ResourceManager通讯，注册自身，然后继续申请资源。
3. 如果获得了containers，AppMaster会通过ContainerManager类与NodeManager通信，为任务启动 container。AppMaster同时也会提供启动container需要的一些信息，比如命令行，环境变量等。任务完成后，AppMaster会 通过AMRMProtocol::finishApplicationMaster来通知RM任务完成。同时，client可以通过查询RM来获取job 的状态信息，或者如果AppMaster支持也可以直接从AppMaster查询信息。如果需要，client可以通过 ClientRMProtocol::forceKillApplication来kill掉application。

整个执行流程可以参考下图（来源网络）：

三个角色

1. client 即客户端，负责将应用程序提交到RM。
2. AppMaster 即整个应用程序的核心，负责与RM通信，申请资源，启动containers。并监控containers的执行情况，在container执行失败后做failover的处理。
3. container 就是具体干活的，和具体业务相关的一些处理逻辑。

三个RPC协议

1. ClientRMProtocol(Client<–>ResourceManager)：客户端与RM通信的协议，可以启动AppMater，查询或者kill AppMaster。
2. AMRMProtocol(ApplicationMaster<–>ResourceManager)：AppMaster与RM通信，AppMaster可以向RM注册和注销自己，也可以向RM申请资源以启动container。
3. ContainerManager(ApplicationMaster<–> NodeManager)：AppMaster与NM通信，可以启动或者停止一个container，也可以获取container的执行状态。

Distributed shell

编写yarn应用程序的详细步骤可以直接参考源码自带的distributed shell的例子。distributed shell是在每个节点上执行一条shell命令或者一个脚本，对于理解基本的概念还是很有帮助的。

YARN编程框架的开发

可以看到，一个YARN应用程序的编写，大量的工作是在编写客户端和AppMaster。而AppMaster要处理资源申请，启动和监控container，尤其是container的fail over，这才是真正值得关注的地方。对于大量的应用程序来说，AppMaster的工作机制可能相同，这就可以抽象出一个通用的AppMaster框架。框架的使用者只需要关心自己的具体应用逻辑即container就可以了，可以大大减少开发成本。

其实Yarn已经提供了一个可以直接使用的客户端-MRClienService和AppMaster-MRAppMater。MapReduce 也只是Yarn上的一种通用的框架，所以完全可以参考MRAppMaster来实现自己的框架。如类似storm的流式计算框架，或者调度RPC Service的框架，或者支持MPI的框架。目前github上已经有类似的项目出现了，相信不久就会出现一些通用的框架。

 … 阅读全文

本参照hadoop官方网站的 说明进行操作， 最后在参照文档中遇到一些问题，通过查找百度找到解决方案，把操作过程记录下来。

以前做推荐系统是， 使用了hadoop，顺便也研究了他源代码， 当时是0.20.x

几年过去了hadoop发生了重大提升， 感觉自己落伍了， 在网络上找了几个关于yarn的学习资料看了一下， 感觉很好，分享一下， 视频版权属于原作者，我是在百度网盘搜索到的， 仅仅分享一下。

链接: http://pan.baidu.com/s/1dDhcio5 密码: 6gwp

我看过视频了， 感觉里面更多是分析hadoop1.x系列的问题， 然后讲解些hadoop2.x的一些新特性的， 在会后两集中才涉及yarn的

另外下面是 一个非常好 的介绍yarn的文章，来源：

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

原 Hadoop MapReduce 框架的问题

对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：
图 1.Hadoop 原 MapReduce … 阅读全文

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算

HDFS的关键元素：Block：将一个文件进行分块，通常是64M。

NameNode：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存，当然这台主机如果出错，NameNode就失效了。在Hadoop2.*开始支持activity-standy模式—-如果主NameNode失效，启动备用主机运行NameNode。
DataNode：分布在廉价的计算机上，用于存储Block块文件。

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。
2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) … 阅读全文

天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可 用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability(以下简称HA)和Federation。Cloudera也于7月制作了CDH4.0.1，包含了Hadoop 2.0的诸多新功能和组件，于是我们就基于CDH4.0.1进行了HA和Federation的测试。