从 0 开始使用 Docker 快速搭建 Hadoop 集群环境

  categories:资料  author:

Linux

  • Info:
    • Ubuntu 16.10 x64

Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。

连接服务器

  • 使用 ssh 命令连接远程服务器。
ssh root@[Your IP Address]

ssh root@127.0.0.1

更新软件列表

apt-get update

apt-get update
  • 更新完成。

更新完成

安装 Docker

sudo apt-get install docker.io

sudo apt-get install docker.io
  • 当遇到输入是否继续时,输入「Y/y」继续。

使用docker搭建hadoop分布式集群

  categories:资料  author:

使用docker搭建部署hadoop分布式集群

在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。
一:环境准备:
1:首先要有一个Centos7操作系统,可以在虚拟机中安装。
2:在centos7中安装docker,docker的版本为1.8.2
安装步骤如下:
<1>安装制定版本的dockeryum install -y docker-1.8.2-10.el7.centos
<2>安装的时候可能会报错,需要删除这个依赖

这里写图片描述

rpm -e lvm2-7:2.02.105-14.el7.x86_64

启动docker

service docker start

验证安装结果:
这里写图片描述
<3>启动之后执行docker info会看到下面有两行警告信息
这里写图片描述

需要关闭防火墙并重启系统

systemctl stop firewalld
systemctl disable firewalld
注意:执行完上面的命令之后需要重启系统
reboot -h(重启系统)
阅读全文

ansible入门

  categories:资料  author:

前言

最近看了一下ansible,挺火的一个配置管理工具,对比老大哥puppet,使用起来要简单一些,并且可以批量执行命令,对比同是python语言编写的saltstack,不需要安装客户端(基于paramiko),也更灵活一些,尤其我们现有的登录方式,通过跳板机加密钥,改造成ansible成本很低,准备学习一下以后在生产上使用。

ansible已被红帽收购,目前出到2.0了,和红帽的朋友聊了一下,这个配合现在大火的openstack(红帽是其代码最大贡献者之一),看来以后会成为自动化运维的一个趋势。

官网地址http://docs.ansible.com/

安装

最简单的epel之后,yum install ansible

也可以用pip的方式

pip install ansible即可

如果像我们一样服务器不能连接公网,需要手动下载一下python模块ecdsa, pycrypto, paramiko, MarkupSafe, jinja2, PyYAML, ansible

目前安装的版本是1.9.4

ansible --version
ansible 1.9.4

入门使用

首先把ssh密钥搞好,这里就不说了,保证master和minion之间不通过密码

定义主机和组:

vim /etc/ansible/hosts  #默认的文件位置,也可执行ansible时手动指定hosts文件,通过-i参数

[test]
10.199.2.45
10.199.2.46

[web]
10.199.2.[42:47]  #=10.199.2.42\43\44\45\46\47
test.case.com  #主机名定义

使用第一个模块:

ansible 
阅读全文


快乐成长 每天进步一点点