一、相关配置情况

关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/reduce task的容器，后面有详细介绍。

1.1  RM的内存资源配置, 配置的是资源调度相关

RM1：yarn.scheduler.minimum-allocation-mb 分配给AM单个容器可申请的最小内存

RM2：yarn.scheduler.maximum-allocation-mb 分配给AM单个容器可申请的最大内存

注：

l 最小值可以计算一个节点最大Container数量

l 一旦设置，不可动态改变

1.2 NM的内存资源配置，配置的是硬件资源相关

NM1：yarn.nodemanager.resource.memory-mb 节点最大可用内存

NM2：yarn.nodemanager.vmem-pmem-ratio 虚拟内存率，默认2.1

注：

l RM1、RM2的值均不能大于NM1的值

l NM1可以计算节点最大最大Container数量，max(Container)=NM1/RM2

l 一旦设置，不可动态改变

1.3 AM内存配置相关参数，配置的是任务相关

AM1：mapreduce.map.memory.mb 分配给map Container的内存大小

AM2：mapreduce.reduce.memory.mb 分配给reduce Container的内存大小

l 这两个值应该在RM1和RM2这两个值之间

l