一、前言

来源：http://www.ruanyifeng.com/blog/2011/02/seven_myths_about_https.html

开发网页的时候，往往需要观察HTTP通信。

我使用的工具主要有两个，在Firefox中是Firebug，在IE中是Fiddler。但是，一直听别人说，付费软件HttpWatch是这方面最好的工具。

前几天，HttpWatch的官方网志刊登了一篇好文章，澄清了一些HTTPS协议容易产生误解的地方。学习之后，我增长了不少网页加密通信的知识。

我觉得这篇文章很实用，值得留作参考，就翻译了出来。

误解七：HTTPS无法缓存

许多人以为，出于安全考虑，浏览器不会在本地保存HTTPS缓存。实际上，只要在HTTP头中使用特定命令，HTTPS是可以缓存的。

微软的IE项目经理Eric Lawrence写道：

“说来也许令人震惊，只要HTTP头允许这样做，所有版本的IE都缓存HTTPS内容。比如，如果头命令是Cache-Control: max-age=600，那么这个网页就将被IE缓存10分钟。IE的缓存策略，与是否使用HTTPS协议无关。（其他浏览器在这方面的行为不一致，取决 于你使用的版本，所以这里不加以讨论。）”

Firefox默认只在内存中缓存HTTPS。但是，只要头命令中有Cache-Control: Public，缓存就会被写到硬盘上。下面的图片显示，Firefox的硬盘缓存中有HTTPS内容，头命令正是Cache-Control:Public。

误解六：SSL证书很贵

如果你在网上搜一下，就会发现很多便宜的SSL证书，大概10美元一年，这和一个.com域名的年费差不多。而且事实上，还能找到免费的SSL证书。

在效力上，便宜的证书当然会比大机构颁发的证书差一点，但是几乎所有的主流浏览器都接受这些证书。

误解五：HTTPS站点必须有独享的IP地址

由于IPv4将要分配完毕，所以很多人关心这个问题。每个IP地址只能安装一张SSL证书，这是毫无疑问的。但是，如果你使用子域名通配符SSL证 书（wildcard SSL certificate，价格大约是每年125美元），就能在一个IP地址上部署多个HTTPS子域名。比 如，https://www.httpwatch.com和https://store.httpwatch.com，就共享同一个IP地址。

另外，UCC（统一通信证书，Unified Communications Certificate）支持一张证书同时匹配多个站点，可以是完全不同的域名。SNI（服 务器名称指示，Server Name Indication）允许一个IP地址上多个域名安装多张证书。服务器端，Apache和Nginx支持该技术，IIS不支持；客户端，IE 7+、Firefox 2.0+、Chrome 6+、Safari 2.1+和Opera 8.0+支持。

误解四：转移服务器时要购买新证书

部署SSL证书，需要这样几步：

　　1. 在你的服务器上，生成一个CSR文件（SSL证书请求文件，SSL Certificate Signing

来源：http://shiyanjun.cn/archives/1002.html

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数 据，运行MapReduce Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自尝试使用，下面先通过官网给出的特性，通过翻译原文简单了解一下Hue所支持的功能特性集 合：

• 默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
• 基于文件浏览器（File Browser）访问HDFS
• 基于Hive编辑器来开发和运行Hive查询
• 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
• 支持基于Impala的应用进行交互式查询
• 支持Spark编辑器和仪表板（Dashboard）
• 支持Pig编辑器，并能够提交脚本任务
• 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
• 支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
• 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
• 支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
• 支持Job设计器，能够创建MapReduce/Streaming/Java Job
• 支持Sqoop 2编辑器和仪表板（Dashboard）
• 支持ZooKeeper浏览器和编辑器
• 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器

下面，我们通过实际安装来验证Hue的一些功能。

环境准备

这里，我所基于的基本环境及其配置情况，如下所示：

• CentOS-6.6 (Final)
• JDK-1.7.0_25
• Maven-3.2.1
• Git-1.7.1
• Hue-3.7.0（branch-3.7.1）
• Hadoop-2.2.0
• Hive-0.14
• Python-2.6.6

来源：互联网

课程大纲

壹、 前言

一、 何谓心智图（思维导图）

心智图，又称脑图、思维导图、灵感触发图、概念地图或思维地图，是一种利用图像式思考辅助工具来表达思维的工具。

心智图由英国的托尼·布詹（Tony Buzan）于20世纪70年代提出的一种辅助思考工具。心智图通过在平面上的一个主题出发画出相关联的对象，像一个心脏及其周边的血管图，故称为「心智图」。由于这种表现方式和人思考时的空间想象比单纯的文本更加接近，已经越来越为大家用于创造性思维过程中。心智图在头脑风暴、创意、文档规划和记录笔记等场合中广为应用。Mindjet公司的MindManager是专业的心智图工具，微软的Visio 2002及以上版本提供了画心智图的功能。

二、 何谓FreeMind

FreeMind是一套非常容易上手的简易绘图软件，由Java语言编写并以一个高效率的树形图软件为出发点。这套软件和商业软件MindManager有着意曲同工之妙，但两者的差别在于Mindjet所推出的MindManager是一款付费软件，而FreeMind则是符合GPL的自由软件，以及FreeMind比MindManage多了一些特色，如实时按键缩放资料夹和连结的跟进等。

贰、 FreeMind安装

FreeMind 在安装时必须有Java 1.4 或更新的版本来支援。所以利用计算机→设定→控制台→新增或移除软件，来查看是否已经安装。

如果没有安装，可以到下列网址下载JRE – Java Runtime Environment 的程序(http://java.sun.com/j2se/1.5.0/download.jsp) 。

透过 … 阅读全文

YARN程序的执行流程

Yarn是一个资源管理系统，负责整个集群资源的管理和分配。如果需要在一个yarn集群上运行程序:

1. 首先得有个客户端client来提交job到ResourceManager(RM)申请资源。Client通过RMProtocol协议来与 RM通信，将应用程序运行所需的一些信息，比如local file/jars，执行的命令，参数，环境变量等提供给RM来运行应用的第一个container也就是 ApplicationMaster(AppMaster)。
2. 如果申请到了资源，RM就在第一个container上启动AppMaster。AppMaster然后通过AMRMProtocol协议与ResourceManager通讯，注册自身，然后继续申请资源。
3. 如果获得了containers，AppMaster会通过ContainerManager类与NodeManager通信，为任务启动 container。AppMaster同时也会提供启动container需要的一些信息，比如命令行，环境变量等。任务完成后，AppMaster会 通过AMRMProtocol::finishApplicationMaster来通知RM任务完成。同时，client可以通过查询RM来获取job 的状态信息，或者如果AppMaster支持也可以直接从AppMaster查询信息。如果需要，client可以通过 ClientRMProtocol::forceKillApplication来kill掉application。

整个执行流程可以参考下图（来源网络）：

三个角色

1. client 即客户端，负责将应用程序提交到RM。
2. AppMaster 即整个应用程序的核心，负责与RM通信，申请资源，启动containers。并监控containers的执行情况，在container执行失败后做failover的处理。
3. container 就是具体干活的，和具体业务相关的一些处理逻辑。

三个RPC协议

1. ClientRMProtocol(Client<–>ResourceManager)：客户端与RM通信的协议，可以启动AppMater，查询或者kill AppMaster。
2. AMRMProtocol(ApplicationMaster<–>ResourceManager)：AppMaster与RM通信，AppMaster可以向RM注册和注销自己，也可以向RM申请资源以启动container。
3. ContainerManager(ApplicationMaster<–> NodeManager)：AppMaster与NM通信，可以启动或者停止一个container，也可以获取container的执行状态。

Distributed shell

编写yarn应用程序的详细步骤可以直接参考源码自带的distributed shell的例子。distributed shell是在每个节点上执行一条shell命令或者一个脚本，对于理解基本的概念还是很有帮助的。

YARN编程框架的开发

可以看到，一个YARN应用程序的编写，大量的工作是在编写客户端和AppMaster。而AppMaster要处理资源申请，启动和监控container，尤其是container的fail over，这才是真正值得关注的地方。对于大量的应用程序来说，AppMaster的工作机制可能相同，这就可以抽象出一个通用的AppMaster框架。框架的使用者只需要关心自己的具体应用逻辑即container就可以了，可以大大减少开发成本。

其实Yarn已经提供了一个可以直接使用的客户端-MRClienService和AppMaster-MRAppMater。MapReduce 也只是Yarn上的一种通用的框架，所以完全可以参考MRAppMaster来实现自己的框架。如类似storm的流式计算框架，或者调度RPC Service的框架，或者支持MPI的框架。目前github上已经有类似的项目出现了，相信不久就会出现一些通用的框架。

 … 阅读全文