docker搭建mongo集群

收集到篇关于docker下安装mongodb的文章, 原文地址在后面给出, 记录在这里。

一. 准备工作

  • 安装docker
  • 安装docker-compose

注意

  1. docker通过unix socket通信, 需要sudo权限, 每次操作docker都需要在命令行前添加sudo, 比较烦, 官方给出了方法.安装docker是会创建docker用户组, 也拥有unix socker读写权限, 将当前用户添加至docker用户组, 即可免除命令行前添加sudo. 参考
  2. 容器间默认通过网桥连接内外部网络, 主机需要允许网卡转发
  3. docker 网桥默认网段为172.17.42.1/16, 公司vpn默认对网段172.17.0.0/20路由, 会覆盖docker网段, 导致容器无法与外部网络通信, 修改/etc/default/docker, 添加DOCKER_OPTS="--bip=192.168.1.0/20", 这里网段是容器间的内部网络, 可以自行修改, 改到满意.
  4. 国内使用官方镜像比较慢,建议使用国内第三方镜像加速。如:DaoCloud,阿里云

二. 实验

(一) 主从模式

mongodb主从模式
mongodb主从模式
  • 准备工作
    1. 创建db目录 mkdir -p /data/mongodbtest/master /data/mongodbtest/slaver
    2. `docker-compose.yml内容如下:
      version: '2'
      services:
        master:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/master:/data/db
          command: mongod --dbpath /data/db  --master
        slaver:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/slaver:/data/db
          command: mongod --dbpath /data/db --slave --source master:27017
          links:
           - master
  • 启动容器docker-compose up -d

    注: docker-compose会默认将文件夹名字作为容器名的前缀, 我的文件夹为masterslave, 容器明分别为masterslave_master_1masterslave_slave_1

  • 验证
    在master中插入一条记录:

    docker-compose exec master mongo
    use test
    db.test.insert({msg: "from master", ts: new Date()})

    查看slave中的数据, 执行

    docker-compose exec slaver mongo
    rs.slaveOk()
    use test
    db.test.find()
    db.test.insert({msg: 'from slaver', ts: new Date()})  //报错, slaver只有读权限

    查看slave服务信息

    db.printReplicationInfo()

    测试故障转移:首先, 关闭master, docker-compose stop master; 其次, 重新连接slave,查看服务信息, 插入数据.如下:

    docker-compose exec slaver mongo
    db.printReplicationInfo() //依然是slave, 没有自动切换为master
    use test
    db.testData.insert({msg: "from slave", ts: new Date()}) //插入失败
  • 总结
    简单的master-slave模型仅仅做了一个数据复制, 而且并不可靠, master挂了整体将无法进行写操作

(二) 副本集(Relica set)

  • 介绍

三实例

1主 + 2次要
mongodb主从复制
mongodb主从复制
  • 准备工作
    1. 创建db文件夹
      mkdir -p /data/mongodbtest/replset/rs1 /data/mongodbtest/replset/rs2 /data/mongodbtest/replset/rs2
    2. docker-compose.yml
      version: '3'
      services:
        rs1:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/replset/rs1:/data/db
          command: mongod --dbpath /data/db --replSet myset
        rs2:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/replset/rs2:/data/db
          command: mongod --dbpath /data/db --replSet myset
        rs3:
          image: mongo:2.7.8
          volumes:
            - /data/mongodbtest/replset/rs3:/data/db
          command: mongod --dbpath /data/db --replSet myset
  • 初始化副本级
    docker-compose exec rs1 mongo
    rs.initiate()
    rs.add('rs2:27017')
    rs.add('rs3:27017')
    rs.conf() //查看配置
    rs.status() //查看副本级状态
  • 验证
    • 数据复制功能
      docker-compose exec rs1 mongo
      use test
      db.test.insert({msg: 'from primary', ts: new Date()})
      quit()
      docker-compose exec rs2 mongo
      rs.slaveOk() //副本集默认仅primary可读写
      use test
      db.test.find()
      quit()
      docker-compose exec rs3 mongo
      rs.slaveOk() //副本集默认仅primary可读写
      use test
      db.test.find()
      quit()
    • 故障转移功能
      副本集在 primary 挂掉以后, 可以在 secondary 中选取出新的 primary

      docker-compose stop rs1

      登录 rs2/rs3 中查看可以看到,选出了新的 primary ,这时候我们重新启动 rs1,它成为了 secondary

      docker-compose start rs1
      docker-compose exec rs1 mongo
  • 总结
    通过客户端的设置, 可以进行主副节点读写分离:

    a). primary:默认参数, 只从主节点上进行读取操作;
    b). primaryPreferred:大部分从主节点上读取数据, 只有主节点不可用时从secondary节点读取数据;
    c). secondary:只从secondary节点上进行读取操作, 存在的问题是secondary节点的数据会比primary节点数据"旧";
    d). secondaryPreferred:优先从secondary节点进行读取操作, secondary节点不可用时从主节点读取数据;
    e). nearest:不管是主节点,secondary节点, 从网络延迟最低的节点上读取数据.

    副节点不是越多越好, 因为引主节点做写操作, 其他副节点从主节点复制数据, 副节点越多, 主节点压力越大.

1主 + 1副 + 1仲裁
mongodb主从仲裁
mongodb主从仲裁
  • 准备工作
    1. 删除/data/mongodbtest/replset/rs[1-3]/ 下的内容
    2. docker-compose.yml
      version: '3'
      services:
        rs1:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/replset/rs1:/data/db
          command: mongod --dbpath /data/db --replSet myset --oplogSize 128
        secondary:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/replset/rs2:/data/db
          command: mongod --dbpath /data/db --replSet myset --oplogSize 128
        arbiter:
          image: mongo:latest
          command: mongod --dbpath /data/db --replSet myset --smallfiles --oplogSize 128
  • 启动
    docker-compose up -d
  • 初始化副本级
    mongo rs1:27017  
    rs.initiate()
    rs.add('rs2:27017')
    rs.add('rs3:27017', true) // arbiter only
    rs.conf() //查看配置
    rs.status() //查看副本级状态
  • 验证(同上)
  • 总结
    每个副本集对主节点都是全量拷贝, 数量压力增大的时候, 节点压力随之变大. 无法自动扩张.

限制

在官方文档中提到了副本集的一些限制:

  • 一个副本集成员不能超过12个
  • 副本集最多有50个成员
  • 可以投票的成员最多7个
  • 如果启动 mongod 的时候没有通过 --oplogSize 制定 oplog 的大小,默认 oplog 最大为 50G

分片

mongodb集群分片
mongodb集群分片

MongoDB 提供了水平扩展的功能,其 Sharding 机制使其具备了支撑大数据量和大吞吐量的能力。
在一个 Sharding 集群中,有下面三种角色:

  • shard: 每个 shard 存储整个 sharding 集群数据的一个子集,每一个 shard 都是一个 replset
  • mongos: 查询路由,客户端通过其从 shard 中查询数据,也可以理解为 proxy
  • config servers: 配置服务器,存储整个 sharding 集群的元数据和配置。

    MongoDB 3.4 起,要求 config servers 也是 replset
    MongoDB 提供两种分片策略:hash shardingrange sharding,需要根据自己的业务特征和数据特征进行选择。

测试版

 

ms6
  • 环境
    1 config servers(csrs) + 1 mongos + 1shard(1primary + 1secondary + 1arbiter)
  • 准备工作
    1. 创建文件夹
      mkdir -p /data/mongodbtest/cs/rs1 /data/mongodbtest/cs/rs2 /data/mongodbtest/cs/rs3 # for config server replset
      mkdir -p /data/mongodbtest/sh/rs1 /data/mongodbtest/sh/rs2 /data/mongodbtest/sh/rs3 # for sharding 1
      mkdir -p /data/mongodbtest/mongos
    2. keyfile
      MongoDB 规定 sharding 集群内部必须有授权机制,比如 mongos 去访问 config server的时候,我们这里通过key
    3. docker-compose.yml
      version: '3'
      services:
        csrs1:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/cs/rs1:/data/db
          command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
        csrs2:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/cs/rs2:/data/db
          command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
        csrs3:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/cs/rs3:/data/db
          command: mongod --noauth --configsvr --replSet csrs --dbpath /data/db
        mongos:
          image: mongo:latest
          command: mongos --noauth --configdb csrs/csrs1:27019,csrs2:27019,csrs3:27019
        shrs1:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/sh/rs1:/data/db
          command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
        shrs2:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/sh/rs2:/data/db
          command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
        shrs3:
          image: mongo:latest
          volumes:
            - /data/mongodbtest/sh/rs3:/data/db
          command: mongod --noauth --dbpath /data/db --shardsvr --replSet shrs
  • 启动 docker-compose up -d
  • 配置副本集
    1. 配置 config server
      docker-compose exec csrs1 mongo --port 27019
      rs.initiate()
      
      rs.add('csrs2:27019')
      rs.add('csrs3:27019')
      rs.status() //查看状态
      quit()

      config server 默认端口为 27019

    2. 配置 shard server
      docker-compose exec shrs1 mongo --port 27018
      rs.initiate()
      var cfg = rs.conf()
      cfg.members[0].host = 'shrs1:27018'
      rs.reconfig(cfg)
      rs.add('shrs2:27018')
      rs.add('shrs3:27018')
      quit()

      'shard server' 默认端口号为 27018

  • 配置 mongos
    docker-compose exec mongos mongo
    sh.addShard('shrs/shrs1:27018')
    sh.status() //查看状态

操作记录

文章来源:   http://www.jianshu.com/p/4d86e9c33e0d

发表评论