Yarn内存分配管理机制及相关参数配置

  categories:资料  author:
理解Yarn的内存管理与分配机制,对于我们搭建、部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考。

一、相关配置情况

关于Yarn内存分配与管理,主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念,相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念,现在可以先把它理解为运行map/reduce task的容器,后面有详细介绍。

1.1  RM的内存资源配置, 配置的是资源调度相关

RM1:yarn.scheduler.minimum-allocation-mb 分配给AM单个容器可申请的最小内存

RM2:yarn.scheduler.maximum-allocation-mb 分配给AM单个容器可申请的最大内存

注:

l 最小值可以计算一个节点最大Container数量

l 一旦设置,不可动态改变

1.2 NM的内存资源配置,配置的是硬件资源相关

NM1:yarn.nodemanager.resource.memory-mb 节点最大可用内存

NM2:yarn.nodemanager.vmem-pmem-ratio 虚拟内存率,默认2.1

注:

l RM1、RM2的值均不能大于NM1的值

l NM1可以计算节点最大最大Container数量,max(Container)=NM1/RM2

l 一旦设置,不可动态改变

1.3 AM内存配置相关参数,配置的是任务相关

AM1:mapreduce.map.memory.mb 分配给map Container的内存大小

AM2:mapreduce.reduce.memory.mb 分配给reduce Container的内存大小

l 这两个值应该在RM1和RM2这两个值之间

阅读全文

如何在xshell中激活X11转发功能

  categories:资料  author:

X11转发是TCP/IP端口转发服务的特殊情况,可以轻松的搞定端口转发设置,为操作带来很多便利,本集xshell教程就同大家讲如何在xshell中激活X11转发功能。

X11协议由PC X 服务器软件使用,从远程主机到用户PC建立连接,可以说是与电子邮件或Telnet等的其他客户端程序相反的情况。利用X11转发功能,无需进行复杂的端口转发设置,通过安全的加密隧道在用户PC上使用远程的X11 应用程序。

如要使用X11转发服务,需对Xshell和SSH服务器进行设置,具体操作如下:

1.打开会话对话框。

2.选择要激活X11转发功能的会话。

3.点击[属性]按钮。

4.在[类别]中选择[连接: SSH: 隧道]

1
图1:X11转移连接

5.选择[转发X11连接到]。

6. 如用户的PC上已安装Xmanager,请勾选[Xmanager(M)]。

如使用其他PC X 服务器,请选择[X DISPLAY(D)]后输入适用的DISPLAY。

7.点击[确定]。

* 注释:

Xmanager会把X DISPLAY选项自动查找为Xshell。其他 PC X 服务器程序需由用户进行设置。如果PC X 服务器使用TCP 6000号端口,DISPLAY设置为“localhost:0.0”。

来源: http://www.xshellcn.com/xsh_column/x11-jih4.html

———————————–

Xmanager 安装教程

Xmanager 是Windows平台下强力的Linux/UNIX管理工具,使用Xmanager,能够使安装在远程的基于UNIX系统的X应用程序与一般的Windows应用程序完全一样。本集主题是如何安装xmanager

阅读全文

Linux中sudo的用法和sudoers配置详解

  categories:资料  author:

1.sudo的配置文件是/etc/sudoers ,我们可以用他的专用编辑工具visodu ,此工具的好处是在添加规则不太准确时,保存退出时会提示给我们错误信息;配置好后,可以用切换到您授权的用户下,通过sudo -l 来查看哪些命令是可以执行或禁止的;/etc/sudoers 文件中每行算一个规则,前面带有#号可以当作是说明的内容,并不执行;如果规则很长,一行列不下时,可以用\号来续行,这样看来一个规则也可以拥有多个行。

2./etc/sudoers 的规则可分为两类;一类是别名定义,另一类是授权规则;别名定义并不是必须的,但授权规则是必须的。

3、/etc/sudoers 配置文件中别名规则

别名规则定义格式如下:
Alias_Type NAME = item1, item2, … 或 Alias_Type NAME = item1, item2, item3 : NAME = item4, item5
别名类型(Alias_Type):别名类型包括如下四种
Host_Alias 定义主机别名;
User_Alias 用户别名,别名成员可以是用户,用户组(前面要加%号)
Runas_Alias 用来定义runas别名,这个别名指定的是“目的用户”,即sudo 允许切换至的用户;
Cmnd_Alias 定义命令别名;
NAME … 阅读全文



快乐成长 每天进步一点点