在构建Hadoop解决方案的时候，不仅是考虑Hadoop自身的安全性（如第10章所讨论的那样）很重要，另外要理解全局安全策略以及以数据为中心，这两点也很重要。

如图12-1所示，你需要理解Hadoop数据的生命周期。在构建Hadoop解决方案的时候，数据的生命周期包括：从信息源提取数据，装载数据到 Hadoop Cluster中，运行查询，以及分析，到最终利用结果数据。当数据到达的时候，安全框架的目标就是确保整个数据的生命周期中所有的安全策略都能被强制执 行。

不管使用到的工具，数据可以从很多数据源中提取数据，转换为通用的数据格式，然后被装载到Hadoop集群中的HDFS上面去，这个过程通常会被称 为：抽取，转换以及装载的过程（ETL）。数据分析师可以接着运行一些列的MapReduce 工作，以及执行能够产生解决集的查询，这也就是企业级应用所典型的利用Hadoop的方式。

这里的挑战是多方面的，你必须能够在数据生命周期之间的迁移过程中，保证数据的安全性，要坚持最初的安全策略。数据被抽取、装载、和集群中其他机器上面的数据组合、以及产生最终会被其他应用使用的结果集，整个过程都是一个挑战。

图12-1给出关于安全考量点的一个很好的一览，这些安全考量会在本章中被检测。要建立牵涉Hadoop的安全的企业级应用，架构师们需要理解信息 安全的基础，以及他们是如何被应用的。利用Hadoop的解决方案中很多安全目标需要解释，要明白最优方法依赖于理解这些安全考量以及相关术语的含义。这 里的讨论没有提供一份详尽的安全考量点的清单或者是关于每一个安全考量的详细解释，只是提供了作为企业架构师需要知道的为了达到安全目标的简略的信息安全 词汇列表。对于每一个术语定义的目标，你会学习在Hadoop环境中，认识到为什么是重要的。

认证就是识别一个主体的身份。一个主体可以是一个用户，一个应用，一个任务，或者系统中其他的角色。就如第10章中所讨论的那样，Hadoop可以 被配置使用Kerberos来认证用户，服务，以及Hadoop集群中服务器。认证确保了用户和服务正如他们的所表明的身份那样是可靠的用户和服务，阻止 了来自于其他恶意系统的模仿的用户、服务、任务。

需要提及的是，并不是所有的企业在Hadoop系统之外都部署了一套企业级的Kerberos系统来作为认证系统。企业级的应用可能需要把其他的身份访问管理基础设施集成进入他们的应用。

授权就是决定一个主体能够拥有什么样的权限，在主体通过了认证之后，系统必须确定主体的特许凭证，并且需要将主体的特许凭证和一个授权策略做比较， 以给主体提供对请求的资源的访问许可。如第10章所述，目前Hadoop提供一种访问控制级别，这种访问控制利用访问控制列表（ACLs）来表述访问控制 策略，非常类似于UNIX的用户-组的用户权限。

除了Hadoop自身提供的授权机制，大多数企业机构都采用了另外的授权机制。例如，一个企业机构可能拥有以下一种，或者多种授权机制：
?轻量级目录访问控制（简称OLAP）目录、或者活动目录（AD）实例，这两种方式都保存了主体的组、角色以及权限。

?属性服务，这种方式使用属性作为主体的特许凭证

?安全令牌服务（Security Token Services简称STS），这种授权机制是分配与主体的特许凭证对应的令牌，并分配授权决策事务。

?策略服务（Policy Services），该机制是用可扩展访问控制标记语言（eXtensibleAccess Control Markup Language 简称XACML），或者安全断言标记语言（Security Assertion Markup Language简称SAML）来表述对资源访问控制策略，并为主体提供访问控制决策。

使用Hadoop的企业应用需要根据他们自身组织的访问控制策略来控制对数据的访问，也就是说要利用其它的机制来补充Hadoop自身的授权控制。

需要记住的是，在数据的整个生命周期中实施授权控制的一致性是很重要的。如果你的初始数据源自身就拥有对于他们的数据的访问控制策略，为查询数据的 数据科学家提供同样的访问控制策略很重要。同样，对于之后产生的需要被导入到企业应用中的结果集来说，采用恰当合适的访问控制更加重要。这确实是一个挑 战。

机密性就是限制敏感数据，用户只能看到被授权了的允许看到的部分数据。当敏感数据在网络上传输的时候，这就需要在数据传输过程中，数据不能被偷听者 读取。这可以用过网络加密来实现。一些企业需要磁盘加密，或者是静态数据加密，静态数据加密就是数据只在被存储地方被加密，减少了未受保护数据的被盗窃的 风险。

在第10章中，我们学习到Hadoop提供了网络加密的功能和机制。然而，Hadoop没有提供对静态数据的加密功能。在本章的后面的章节，你可以学习到达到静态数据加密这一目标的集中策略。

完整性确保了数据在传输过程中或者是落地之后（成为静态数据）不能够被更改。完整性可以通过加密完成，该加密可以利用信息摘要，哈希码，或者是数字签名的副影响。当Hadoop被配置成采用网络加密的时候，Hadoop会在传输过程中保证数据的完整性。

静态数据就是另外一种情况，幸运的是，Hadoop保证了静态数据的完整性，他通过采用副本形式保证数据可靠性。数据的完整性以及可靠性是 Hadoop系统的健壮性，以及他的分布式架构的一个有意的附加影响。由于HDFS被设计成运行在标准化商用硬件上面，用在不同节点上面拷贝数据的方式来 达到容错的目的，正是由于数据副本的数目，校验和检查机制，冲突检测机制，Hadoop为保存在HDFS上面的数据提供了一套保证数据完整性的健壮的机 制。

然而，安全架构师有时会提议一种担心，这就是如果Hadoop当中的一个节点缺乏抵抗能力，一个恶意的用户可能会修改数据，那么这就会歪解数据分析 的结果，这种情况完全可能发生，但是使用Hadoop的安全机制（服务器/服务 认证，数据完整性确认等等），配合深度防御策略，企业级解决方案架构师能够减少这个风险。

大多数的公司都会采用安全审计来保证合规事项的保密性，以及识别潜在的安全缺口。Hadoop当然可以被配置成记录所有的访问日志 -NameNode上面保存一份本地日志，一个审计日志记录器可以被配置将访问信息写入一个特定的安全卷上面以保证日志的完整性。企业当然也可以在授权和 认证方面拥有更多的需求。

除了在HDFS上面的针对用户和组的ACLs（访问控制列表）以及基于POSIX的文件读写权限，Hadoop自身不会跟踪数据的访问控制策略。正 如你在本章学到那样，很多企业机构都会根据不同的策略来限制对数据的访问，而这些策略通常又非常复杂。可能会出现一些情况，Hadoop系统中数据集中的 一部分数据不能被数据分析师访问，这些数据分析师可能不能访问MapReduce工作的结果集以及查询的结果。

下面介绍了一些好的例子：

一个卫生保健机构可能要求医师只能访问和他的相关病人的数据，并且只能在正常的工作时间（早上9点以及下午5点）访问数据。这就意味着需要对病人 的数据提供访问控制，需要一个系统，该系统能够基于角色（医师），以及时间（比如正常的工作时间）来限制数据访问权限，同时还要判断该数据是否属于这个医 师的病人。

一份政府文件可能要根据一个用户的国籍，以及/或者一个安全检查的要求，该安全检查通常被称为强制访问控制。

某公司的金融咨询师不能访问该公司竞争方的计划以及建议。这种情况被称为“利益冲突”或者是“中国长城”策略。

一个大学可以搜集各个部门或者子机构的学生信息，可能涉及金融，医疗记录，校园警察。大学可能需要根据部门或者角色（医疗、警察、金融策略）来控制数据的访问。

这里面的每一个例子当中，Hadoop自身的安全机制不能够轻易的实行这些访问控制策略。一些挑战可能是架构方面的，这需要根据MapReduce 的算法。导入的数据可能在开始的时候和访问控制策略关联好（比如在数据用安全策略标记的例子当中）。然而，当数据分布在HDFS上面或者和其他数据集连接 的时候，这就可能会导致数据和安全策略之间产生裂缝。这可能导致新合成数据上面的访问控制策略就会不那么清晰。

对于需要这种级别的访问控制的机构来说这就是一个问题，本章的后面的内容中会检验该问题。

对于无意泄露的信息的研究工作已经开展了将近40年，包括统计学数据库，到与数据挖掘有关的安全以及隐私关注。在数据科学当中，微软研究院的Cynthia Dwork博士使用差异性隐私（differential privacy）来定义这一领域。

差异性隐私关注于保护来自不同数据集或者数据库的信息，避免其被泄露。由于Hadoop以及其他数据分析平台能够利用大量计算资源来处理众多不同的 大数据集，包含了重要的隐私和法律含义的差异性隐私就变成了热门话题。在诸如美国健康保险携带和责任法案（Health Insurance Portability and Accountability Act 简称HIPAA）等隐私保护数字法当中，差异化隐私显得尤为重要。

即使一个Hadoop数据集的隐私保密信息已经被略去，而该数据集可能只包含（或者配合）其他看起来并不有害的信息，这些看似无害的信息仍然可能被 用来泄露个人的身份或者其他敏感信息，这就导致了违背隐私策略。可能会合成来自多个不同的Hadoop工作中提取的数据信息，这样，数据分析师或者 Hadoop用户就不能看到这部分公开的信息。然而，Hadoop自身是不提供这种差异性隐私的保护功能的。当然，Hadoop包含了为内部用户提供了访 问控制隐含式，对和其他组织共享统计信息以及数据的组织也提供了非常重要的隐含式。

因为被众多组织采用的Hadoop是强大的分析平台，它可以被用来发现你可能不能发现的信息。组织机构需要在向公众或者合作方发布数据之前都需要再 三思考。根据你的实际环境，对你的数据可能会有一些内部的控制，要明白，一些Hadoop用户在他们的分析查询当中可能不允许看到某些结果。这也是NSA 所关注的一点，NSA开发并发布了Accumulo，Accumulo项目是属于Apache的开源项目，他提供单元级别（cell-level）的安 全。

由于对存储在磁盘或者终端用户设备上面信息的机密性有太多的威胁，许多拥有敏感信息的的组织机构都需要对静态数据进行加密。这种需求的原因与来自恶 意软件的威胁有关、也与数据敏感度和机密性有关，或者是与法律条例有关。例如，HIPAA就包含了对静态加密数据的指导条例，这些静态加密数据与电子受保 护的健康信息（ElectronicProtected Health Information简称EPHI）或者其他受法律保护的个人身份信息（Personally Identi?able Information简称PII）。

一些组织机构正在努力对存储于HDFS上面的静态数据进行加密，而这种加密是Hadoop自身并不提供的。然而，第三方库以及其他的产品能够配合Hadoop一起来满足这些需求，Rhino项目（在第10章讨论那样）正致力于解决Hadoop当中的这个问题。

近来，大量的项目，包括Hadoop附属项目，或者是专有的Hadoop发行版都许诺要强化Hadoop的安全。Hortonwork的Knox Gateway项目，Intel的安全加强版Hadoop的发行版，以及一些诸如Rhino等开源项目，Rhino已经发布了并且承诺帮助企业应用开发者 来达到他们安全要求。不管怎样，每一个企业应用都不一样，每一个应用部署所需要的安全要求也不一样，认识到这一点非常重要。

在进入到具体细节之前，你必须理解为使用Hadoop的企业应用而提供的一些通用的基本要素和指导方针。对于这些基本要素和指导方针，很多项目在关注某些安全机制的时候出现了偏移，他们并不按照那些适用于任何项目的通用的指导方针。

确定你的安全需求 -- 理解你的安全需求非常重要。对于认证、访问控制、审计、加密、完整性、以及保密性的需求都取决于你的组织。相对于Hadoop运行时自身的安全 （Hadoop自身的安全提供了针对执行查询或者运行工作的应用以及用户的访问控制），围绕Hadoop MapReduce工作的结果数据集的安全，你可能会提出这样问题。要和合适决策制定者交谈，以理解什么是需要的，这样你才能制定相应的计划。

从开始就围绕安全而设计 -- 这些项目的一个共同的重大的问题是最终还是试图改进安全性--这种做法导致了架构变得短期化并且脆弱，而且使得项目最终注定失败。如果你项目中存在类似于 本章讨论的安全性需求，而你认为你只关注数据分析而在后来才去担心去保护你的方案的时候，那么你就会面临着非常大的风险。重点开发初期的高级安全架构的， 这些架构可以和一些合适的权威专家一起讨论，以获得概念上的赞同。

不要保护你不需要保护的东西 -- 如果你为了达到本章讨论的某些目的而不需要安全性需求是，那么就不要采取安全性保护措施。不要让不必要的需求的加重复杂性，或者是负载的性能。

使用深度防御方法 -- 不要设想通过一个单独的安全性措施或者机制来阻挠或者阻止一次攻击或者是违反安全策略的行为。深度防御方法涉及到过个层次的防御。

记住大局 -- 理解你的数据的生命周期，如图12-1所示的那样。要明白提供安全性保护可能意味着在整个数据生命周期（从原始数据源的数据，到被转载到Hadoop集群中的数据，指导最终的结果数据）当中都要控制访问，以及维护和执行安全策略。

下面的部分就会深入研究满足某些安全性需求以及补充Hadoop自身安全性功能的方法。讨论会关注于三个主要的方法，这些方法配合Hadoop自身的机制构建企业安全的保护墙，在下一个部分当中，将讨论Apache Accumulo。

Apache Accumulo是一个稀疏的、分布式的、分类 、多维的键/值存储方案，他具有单元级别的精细访问控制的特性。他是由NSA在2008年根据Google的BigTable的论文开发的，在2011年 的时候Accumulo被发布到Apache开源社区里面。目前Accumulo已经成为Apache的顶级项目。Accumulo是一个高度可扩展的 NoSQL数据库，他建立在Hadoop和Zookeeper之上。Accumulo被开发的一部分原因是要解决大数据的安全性问题。

Accumulo扩展了BigTable的数据模型，但是添加了一个元素以提供单元级别的强制基于属性的访问控制（Attribute-Based Access Control，简称ABAC）。所有被导入到Accumulo的数据都可以通过可视化的控制来标记，基于访问控制策略当中的可视化控制，数据分析师查询 数据的时候，他们只能查看到被允许看到的那部分。Accumulo的API提供了可供你自由实现客户端，自定义的客户端程序可以认证用户、和企业属性服务 集成，企业属性服务可以拉取用户授权凭证以提供一定程度的访问控制。Accumulo同样提供了存储用户和授权信息的功能。

如图12-2所示，Accumulo是一个key/value的存储方案，Accumulo的key包含了5个元组。Accumulo中的Key是 由RowID、Column Family、Column Quali?er、Column Visibility、Timestamp组合而成，这个5个元素的key关联一个value。

这个5元组的Key提供了原子性、局部性、独特性、访问控制和版本控制。需要注意的是Key当中的Timestamp提供了同一数据包含多个版本的 功能，Timestamp根据不同的时间和日期。在很大程度上，Accumulo借鉴了BigTable的大部分数据模型，但是加入了可视化元素以提供面 向数据的安全性--这就会只返回那些可视化标签满足于执行查询的用户或者应用的凭证的单元。

大多数的开发者都比较熟悉关系型数据库，这些数据库的表结构如表12-1所示，示例的表是一个二维模型。

表12-1:关系型数据库模型示例

在Accumulo结构中，相同的数据如表12-2所示，Accumulo中数据按照比较细的粒度存储，包括可见度（visibility）以及一个timestamp，其中timestamp可以使你跟踪超时的数据的改变。

表12-2:Accumulo数据模型中的数据

需要注意的是，在表12-2中，可见度被用安全标记进行了标记。这些安全标签能够被添加，使用AND/OR的布尔逻辑。例如，你可以提出如表12-3所示的授权策略，表12-3中授权凭证可以被新建以及和用户关联，以限制表中每一个单元的访问。

表12-3:安全策略以及对应的安全标签示例

在Accumulo的安全模型中，需要用户访问信赖的客户端（作为一个开发者，你可以编写这样的客户端）进行认证，客户端要负责认证用户，并且向 Accumulo发送合适的授权信息。你可以选择集成你自己的认证和授权系统，或者你可以使用Accumulo内部的认证/授权的组件，该组件当中存储了 用户和用户的授权凭证。本节当中会提供每种选择的例子。

一个简单的例子

让我们用一个大学的数据库作为例子，该大学从不同的部分和子机构当中搜集学生的信息。在例子当中，你会看到来自校园医疗中心、财务中心、大学管理、 体育设施、大学警备人员的数据。很大范围内的数据都被收集了，并且能够被所有的机构查询，你可能被要求保护这些数据，这些要求包括如下几种：

学生的医疗检查记录只能被医疗人员或者是管理人员浏览。

大学体育课当中学生的与体育记录相关的记录只能对他们的教练、有时一些医疗人员可见

付款记录,成绩，如社会保险号码等敏感信息只能对大学管理人员所见

关于学生的校园警备记录只能对校园警察或者大学管理人员可见。

对于这个例子，让我们加载一些示样数据到Accumulo数据库中，如表12-4所示，在这个简单的例子中，有一个名叫Kirk Rest的学生，他有各种各样的信息，这些信息来自该大学的众多数据源。

表12-4 大学数据示例的Key/Value（待续）

表12-4 大学数据示例的Key/Value（续）

假设装载这部分信息的Accumulo存储是建立在一个测试Hadoop实例上面的。为此，你需要使用Accumulo的shell，该shell 是Accumulo一个简单的客户端，能够被用来创建和修改表，同样能够被用来创建用户以及给用户指定授权凭证。因为本章将关注与安全性而不是 Accumulo的细节，所以不会在本章提及装载数据的细节。

Accumulo被优化成能够快速提取key的value的系统。为此，一个你开发的Accumulo客户端（在这里的情况中，客户端可以是 Accumulo的shell）可以创建scanner，scanner可以迭代value。如你看到Listing 12-1，scan命令使得你迭代查询一张你新建名叫universitydata的表的value值（root用户被授权可以访问表中所有的内容）

为了证明单元可见性的例子，你创建如下几个用户：
一个医生（drhouse），你给他授予了MEDICAL 角色

一个管理员（denyseAccountant），你给他授予了ADMIN角色

一个教练（coachTark），你给他授予了COACH角色

一个警察局长（chiefDoug），你给他授予了Z喎�"http://www.it165.net/pro/pkqt/" target="_blank" class="keylink">QT0xJQ0W9x8mrPC9wPgo8cD7I50xpc3RpbmcgMTItMsv5yr6jrMTjyrnTw0FjY3VtdWxvIHNoZWxsuPjL+dPQ08O7p9a4tqi2wcihse21xMioz96jqMra0+jL+8PHw7+49sjLVGFibGUuUkVBRMioz96jqaOsyLu688q508NzZXRhdXRoc8P8we7Oqsv7w8fWuLaovcfJq6Os1eLSu7K9ysfOqsHLyei2qL/JvPu2yKGjPC9wPgo8cD4gPGltZyBzcmM9"http://www.it165.net/uploadfile/files/2014/0218/20140218191649452.jpg" alt="\">

最后，为了显示Accumulo将会保护表中的数据，你用Accumulo sheel以每一个用户进行登录。你可以scan（或者迭代）整个universitydata表。Listing 12-3，显示了你可能如何用用户coachTark,drHouse,denyseAccountant和chiefDoug，并进行表迭代，表根据每 一个用户的权限进行访问控制。

从Listing 12-3可以看到，Accumulo可以根据每一个用户授权控制来限制访问，这一点可以通过使用Accumulo shell来证明。现在，让我们来使用JAVA建造一个Accumulo Client，来证明本例中同样级别的访问控制，该客户端同时还会和企业内的身份识别和访问管理基础设施集成。

因为Accumulo适合于集成企业的基础设施，Accumulo拥有一个灵活的模型。如前面的提及的那样，Accumulo Client的责任就是认证用户并提取用户的授权凭证，发送凭证给Accumulo以进行处理。只要Accumulo的表中数据的可见性属性被用与你企业 属性存储系统中相同的属性和角色标记了，数据的可见度就会工作良好。如果不是，你会需要在Client端中对这些从属性存储系统中拉取的属性进行一下处 理，以保证他们具有相同的特征。

为了证明这点，让我们通过一个简单的例子，该例子描述了如何编写一个简单的Client来认证用户，认证可以通过你选择的认证机制来完成，以及从由你选择的属性服务或者LDAP目录拉取授权凭证。

Listing 12-4 显示了一个例子，该例子使用JAVA类来连接Accumulo。为了连接，你必须使用Connector来建立一个Accumulo连接。为此，你需要首 先连接到Zookeeper实例上，该Zookeeper实例使用ZookeeperInstance类来跟踪 Accumulo，ZookeeperInstance会返回一个connector。

一旦你建立了一个连接，你想要认证一个用户。在这种情况下，对于这个简单的例子来说，你从命令行获取用户，并且将之传递给一个外部类叫做 CustomAuthenticator，该类简单的显示了你可以使用另外一个在Accumulo外部的认证机制以及授权机制。在 CustomAuthenticator类中，你把从命令行扫描到的用户名和密码传递到authenticate()方法中。如果一个用户成功通过认证， 然后你就可以从外部的存储系统中拉取用户的授权凭证，凭证在Accumulo的类 org.apache.accumulo.core.security.Authorizations类被返回。最后，如在之前的例子中所示的那样，你创 建一个scanner来迭代在同一个表中value值，然后答应结果。

Listing 12-5 显示了命令行的结果。在这个例子中，你设置了一个外部的LDAP目录，该目录中有一个用户名为joeUser，他的角色为ADMIN。

本例中被认证的用户，joeAdmin，并不像之前的那些例子那样被存储在Accumulo当中。如这里表示的那样，你可以编写一个Client来认证一个用户，从企业的存储系统中拉取授权凭证，以及查询Accumulo的数据。

关于Apache Accumulo还有很多东西--很多不能在本章中覆盖到。然而，重穴ky"http://www.it165.net/qq/" target="_blank" class="keylink">qq1xMrHzqrBy8r9vt2wssir0NTKudPDQWNjdW11bG+1xNfp1q+7+rm5o6zSqsjPyra1vUFjY3VtdWxv1rvKx8bz0rWwssirveK+9re9sLjW0LXE0ru49re9w+aho8bz0rWwssir0OjSqsnutsi3wNP5o6yx2NDruLK4x7W9yv2+3bXE1fu49sn6w/zW3MbawO/D5qOstviyu732vfbU2khhZG9vcLWx1tC1xMr9vt2hozwvcD4KPGgzPrzTw9y+ssysyv2+3TwvaDM+CjxwPrzTw9xIYWRvb3DW0L6yzKzK/b7d0tG+rcrHuty24M/uxL/W0LXEyMjDxbuwzOLByy0t1eLQqc/uxL/W0NK70KnKx7+q1LS1xKOs0rvQqcrHyczStbXEoaNIYWRvb3DX1MntsqKyu8zhuanV4tH5tcS808PcuabE3KGjxL/HsKOsuty24Lmry77V/dTasaO7pM6709qyu82st6LQ0LDmtcRIYWRvb3DW0LXEw/S40Mr9vt0ssru99r32ysexo7ukw/S40NDFz6Is0rLTrbrPyOdISVBBQdXi0fm1xLeowsm78tXfxuTL+7CyyKu3qLnmLrrctuDX6davu/q5uc/r0qrA+9PDvNPD3L6yzKzK/b7dwLSxo7uksdzD4rbx0uLTw7unu/HIobbURGF0YU5vZGW1xM60vq3K2siotcS3w87KoaM8L3A+CjxwPsS/x7DS0b6tzOGz9rXE0rvQqb3ivva3vbC41tCjrLD8wKhHYXp6YW5nIHpOY3J5cHSjrLjDt72wuM6qQ2xvdWRlcmG1xLei0NCw5szhuanBy8r9vt2wssir0NSxo7ukoaPT2tTaMjAxM9Tnxtq3orK8tcRJbnRlbLXESGFkb29wt6LQ0LDmo6zS0b6tvq25/dPFu6/AtLzTw9y+ssysyv2+3aOs1eLQ6NKq1NrKudPDuMO5q8u+tcRYZW9utKbA7cb3oaO6w8/xo6zDv8zstrzT0NDCtcS94r72t72wuLP2z9YtLbWryse1vcS/x7DOqta5o6zL+dPQtcS94r72t72wuNKqw7S+zcrHy73T0LXEo6zSqsO00OjSqr2rxOOw87ao1NrEs9K7SGFkb29wtcS3otDQsObW0KGjPC9wPgo8cD7I57XaMTDVwtbQzOG1vbXExMfR+aOsUmhpbm/P7sS/o6jT1kludGVsubHP17j4QXBhY2hlyefH+KOpsPy6rMHL1PbHv7mmxNyjrLD8wKi31rK8yr1LZXm53MDto6y6zb6yzKzK/b7dvNPD3LmmxNyho0hhZG9vcL+qt6LJ58f4xL/HsNX91Nq/vMLHvavV4rmmxNzSsrfF1NrOtMC0tcRIYWRvb3Cw5rG+1tChozwvcD4KPHA+sru53MTj08PKssO0u/rWxsC0zqpIYWRvb3C808PcvrLMrMr9vt2jrMTjsdjQ68P3sNe+ssysvNPD3LmmxNy1xLfHucrS4rXE07DP7KOs1eK147rc1tjSqqGjyOe5+8Tj0OjSqtK71ta808PcvrLMrMr9vt21xL3ivva3vbC4o6y8x9ehvNPD3Lvh07DP7LW9xOO1xNDUxNyho8jnufvE48jPzqrE47XETWFwUmVkdWNluaTX97/JxNyxyMS/x7DUpM/rtcTSqsL9o6zP68/zvNPD3LvhuPjQ1MTctPjAtMqyw7TR+bXE07DP7KGjSW50ZWy1xEhhZG9vcLei0NCw5s2ouf3TxbuvwLTX9rzTw9y6zb3iw9yjrNXi1tbTxbuvysfNqLn9yrnTw8zYtqi0psDtxve1xNOyvP7AtM3qs8m1xKGjvMfXoda709BJbnRlbLXESGFkb29wt6LQ0LDmyse94brPy/vX1Ly6tcTTsrz+vNPL2cb3oaPG89K1vNy5ucqm0OjSqrriwb+808PcvrLMrMr9vt24+NOm08O0+MC0tcTTsM/sLS3I57n7xOPIt8q10OjSqtXi1ta5psTco6zEx8O00qq4+b7d0NTE3MC0vfjQ0Lnmu66hozwvcD4KPHA+xL/HsKOsxOO/ycTcu+HTydPatuC49tSt0vLP67Hcw+LKtcqpvrLMrMr9vt2808Pco6yz/bfHxOO8zND40qrKtc/WoaPK18/Io6y+ssysyv2+3bzTw9zB7NPyyse3x7OjuLTU07XEo6zS8s6qt9ayvLXEyv2+3brNa2V5udzA7aGjwe3N4qOsUmhpbm/P7sS/uPjV4rj2wezT8rT4wLS1xMzhuN+8tL2rtb3AtKOstavKx9TatMvWrsewo6zE47/JxNy74bDztqjU2sSz0rvM2LaotcS3otDQsOa78tXfs6fJzMnPw+aho9fuuvOjrMjnzOG1vbXExMfR+aOstObU2r6yzKzK/b7dvNPD3MC0tPjAtLXE0NTE3MnPw+a1xLrzufuho8jnufvE47XEyv2+3crHyOe0y7XEw/S40NLU1sHT2sTj1f3U2sy9y/e808PcvrLMrMr9vt21xL/JxNzQ1KOsz8LD5rXEsr+31r/JxNy74crH0ru49r3ivva3vbC4oaM8L3A+CjxoMz7N+MLnuPTA67rNt9bA67e9t6g8L2gzPgo8cD7I58eww+bM4bW9tcTEx9H5o6zTtdPQsaPD3LrNw/S40LXEyv2+3bXE1+nWr7v6ubm/ycTc0rvWsbvh08PN+MLnuPTA67XEt723qMC0uPTA68v7w8e1xEhhZG9vcLyvyLqjrNPD1eLW1re9t6jAtML61+PL+8PHtcSwssir0OjH86Gj1eLQqbv6ubnNqLOju+G7+dPa08O7p7y2tcTK2siowLS/2NbGttTEs7j2taW2wLyvyLq1xLfDzsqjrNXi1tbTw7unvLa1xMrayKi7+tbGzaizo8q508PO78DtsLLIq8C01/fOqrGju6S7+tbGoaPG5Mv70rvQqbv6ubm74cq508O1zc/e1sa1xLe9t6ijrLHIyOe31sDrzfjC56OstavKx9TK0O3K3NDFyM63/s7xxve6zbmk1/fVvsTcubvU2sG9uPbN+MLnwO/D5r340NC0q8rkoaM8L3A+CjxwPtXi0Km3vbeoyNTIu8rH0ru49r/J0NC1xNGh1PGjrNSt0vKw/MCoo7o8L3A+CjxwPj88c3Ryb25nPrCyyKvQ1Lyvs8m1xLi01NPQ1Dwvc3Ryb25nPiAtLSDI57n7xOO1xLCyyKuy38LUt8ezo9HPJiMyNjY4NDujrMTjtcTK/b7dt8ezo8P0uNCjrNLU1sHT2sTjsru1w7K70OjSqryvs8m088G/SGFkb29w19TJ7c60zOG5qbXEsLLIq9DUv9jWxrW9SGFkb29wtbHW0KOsv7zCx8q508PN+MLnuPTA66OsvavL/LauxuTL+834wufW0LfWwOuz9sC0o6yyosfSz97Wxta71MrQ7bG7ytrIqLXE08O7p7fDzsqho8jnufvE49f2wcujrMTHw7TE49a70OjSqrWj0MRIYWRvb3C94bn7yv2+3byvtcS3orK8o6y2+LK7ysdIYWRvb3DUy9DQyrG1xLCyyKvQ1KGj1eK+zdfu0KG7r8HLxOO1xNX7zOW358/Vo6yyosfSxNy5u7z1ydm088G/tcS5pNf3oaM8L3A+CjxwPj88c3Ryb25nPtDUxNw8L3N0cm9uZz4gLS0gobCwssirysfQ1MTctcS10MjLobHV4r7ku7C+rbOjsbvM4bywoaPU2tK7uPa94r72t72wuNbQo6zE47zTyOvBy9S9tuC1xLCyyKvQ1Lv61sa1xMqxuvKjrL3ivva3vbC4vs274bHktcPUvcL9oaPU2rGju6RIYWRvb3C1xMqxuvKjrNXitePIt8q1yOe0y6OszNix8MrHyOe5+8Tjv7zCx8q508O12sj9t721xLmkvt/AtLzTw9y6zb3iw9zOu9PaSERGU8nPw+a1xMr9vt21xMqxuvKho9DttuDIy7a8u+HKudPDzfjC57j0wOu1xLe9yr3AtMfh0te1xLHcw+LBy9DUxNzL8LrEoaM8L3A+CjxwPj88c3Ryb25nPsr9vt28r7XEsu7S7LuvsLLIq9DUPC9zdHJvbmc+IC0tIMTj1+nWr7XE0rvQqcr9vt2/ycTc1rvE3Leisry4+MSz0KnM2LaoyMvIuqGj1NrV4tbWx+m/9qOsSGFkb29wuaTX97XEveG5+7yv0rLNrNH5w/S40KGjy+TIu9K70Km6zUhhZG9vcM/gudi1xLmkvt+jqLHIyOdIQmFzZaGiQWNjdW11bG+jqcTcubvM4bmp0rvW1tTawdC8tqOoSEJhc2WjqbrNtaXUqry2o6hBY2N1bXVsb6Opuf3Cy7fDzsq1xLe9yr2jrMbky/vKudPDSGFkb29wtcS5pL7fsru74czhuanV4tbWsLLIq7y2sfCho8jnufvE49X91NrUy9DQSmF2YSBNYXBSZWR1Y2W5pNf30tS9qNTsxLPQqb3hufu8r6OssqLH0sq508PBy7Tzwb+1xLK7zai1xLmkvt+jrNKy0O2/vMLHuPm+3b/Jt8POyrXEyMvIusC0t9bA67yvyLrKx9K7uPaxyL3PtM/D97XE1/a3qKGjPC9wPgo8cD4/PHN0cm9uZz5IYWRvb3Cwssir0NTAts28tcTR3b34PC9zdHJvbmc+IC0tINXrttRIYWRvb3C1xNDttuDQwrXEsvrGt6Ost6KyvMa3oaK3otDQsOaxvra8zOG5qcHL0MK1xLCyyKvM2NX3oaPI57XaMTDVwszhvLC1xKOs1eu21EhhZG9vcLXEsLLIq9DUtcTU9se/1Nq9/Ly4xOq8tL2rtb3AtKGjvLS9q7b4wLS1xLjEseS74dOwz+y1vcq508NIYWRvb3DG89K1tcTTptPDo6zU2sP3sNfV4tCpuMSx5LT4wLS1xLrzufvWrsewo6zT0LrctuDX6davu/q5udX91NrRodTxzfjC57j0wOu1xMSj0M2hozwvcD4KPHA+PzxzdHJvbmc+1Nq8r7PJ1q7HsL340NDK/b7dsLLIq8bAyfM8L3N0cm9uZz4gLS0gINPJ09rN+MLnuPTA67XEt73KvbK7xNy21M6709rG5Mv7zfjC58nPw+bG89K106bTw7XEyv2+3b340NDKtcqxt8POyqOs1NrG89K106bTw8q508PXysHP1q7HsKOszfjC57j0wOvUytDtyfOy6brNuf3Cy9Xi0KnXysHPo6zV4rz10KHBy7/JxNy1xLGjw9zQ1LrN0v7LvbXEx9a3uKGjo6i21NPayrXKsUhhZG9vcMC0y7XN+MLnuPTA67/PtqjKx9K7sNHLq8jQvaOjrLKix9LOqsHLt6KyvMbz0rXTptPDyrnTw7XEyv2+3byvo6y7udDo0qrSu7aotcS0psDto6mhozwvcD4KPHA+xvPStdOm08Owssir1tCjrM34wue49MDrxNzU2rrctuC3vcq9yrXP1qOszbwxMi0zIM/Uyr7By9K71ta3vcq9oaPSu7j21+nWr7v6ubm0tL2owcvSu7j2obBEYXRhIEFuYWx5dGljc6GxzfjC56Osy/vT69fp1q+1xMbz0rXN+LfWzai5/dK7uPbO78DttcShsGFpciBnYXChscDrv6rAtKOs0tTX6Na5yv2+3dTawb249s34wufWrrzkvfjQ0LSryuSho9TaobBEYXRhQW5hbHl0aWNzobHN+MLn1tCjrNPDu6fHobWxt8POyr/Y1sa1xMr9vt231s72yqbU2khhZG9vcLyvyLrW0L340NCy6dGvus1NYXBSZWR1Y2Wy2df3o6y21NPa1eK49s34wue1xLfDzsq/2NbG09bO78DtsLLIq8nosbi78tXfzai5/bbU1rTQ0LLp0a+1xL/Nu6e2y7v6xve9+NDQyM/WpKGjPC9wPgo8cD4gPGltZyBzcmM9"http://www.it165.net/uploadfile/files/2014/0218/20140218191650456.jpg" alt="\">

图 12-3 “Airgap”网络隔离内的导入导出工作流

为了支持使用这些结果数据集的企业应用，需要开发和利用一些非常重要的工作处理：

首先，任何需要被分析的数据都必须从在企业网中数据库和应用中提取到，写入，并带入到这个隔离的网络。一旦数据准备好被分析了，并且也被装载到集群 中，Hadoop MapReduce工作就能运行，直到结果能被检阅。基于最终的结果，结果集必须被用授权策略进行标记，该授权策略也能够被外部的企业应用控制，或者结果 集必须被过滤，保证敏感、机密或者保密的数据被移除掉。一旦数据集被过滤或者被用访问控制策略标记过了，数据集就被写入到介质中，导入到企业应用中。对于许多机构，由于要牵涉到两个网络，这就需要一个笨重的处理，就需要一个从原网络导出数据，并导入到数据分析网络，进行分析，过滤，然后为了企业应用准备结果集。即使这个过程非常笨重，然而，在数据非常敏感的时候，许多组织机构都会采用这种方式。

因为牵涉的复杂性，许多组织都转向一个类似的模型，该模型限制了企业网内的可信赖主机到数据分析网络的流量，如图12-4所示，ETL处理过程可以跨网络进行，移除了之前描述的第一步。

图 12-4 单向传输的网络隔离

有些机构优先选择Apache的Accumulo来对数据进行访问控制，他们把结果集进行数据过滤之后，发布到企业网中--比如，创建一个“企业网 用户”，该用户拥有的凭证等于该网络最低级别的授权。根据该用户过滤数据，通常会使结果集能够很容易的传送，而不用担心信息的非故意的泄露。

网络隔离可以通过其他很多种方式来实现--这只是其中的一些。其他涉及到Hadoop集群网络隔离方式需要根据数据的类型，一些低限制的方式需要允许连接到企业网络中机器或者从企业网络中的机器连接出来，这需要使用访问控制列表（ACLs）来对可信赖的主机进行限制。

你的解决方案中对于企业安全性的每一部分都依赖于你的组织机构的安全需求--两个机构很少一样，无论如何，本章中示例和指导意见应该能够帮助你构建你企业的安全解决方案。

本章从安全策略以及以数据为中心的观点出发，为你提供了关注于数据的生命周期的企业安全视图。安全架构师在能够利用Hadoop和其他补充安全工具来解决企业安全性的不同方面，要理解这个大局，这点很重要。

本章开头介绍了开发使用Hadoop的企业应用的安全关注点的一个总的简图。你学习了Hadoop自身没有解决的一些安全挑战点--包括数据集安 全，差异化隐私，静态数据加密。你看到很多结合Hadoop构建企业安全的解决方案的方法，并且学习了一些指导意见和示例。你学习了如何使用Apache Accumulo来实现单元级的安全，同时了解了静态数据加密和一些可用的选择。你同时还学习了网络隔离的一些方法，这些方法被许多关心敏感数据暴露的机 构所采用。

安全问题目前正成为Hadoop中不管进化的话题，在接下来的几年时间内Hadoop将会成长的领域。第13章关注于其他一些即将到来的Hadoop的增强功能，其讨论趋势正涌现出来，并且将会在未来不断成长。

来源：http://www.it165.net/admin/html/201402/2360.html