准备环境:
1.4台CentOS7主机
2.主机名对应的IP地址:
docker1 192.168.113.21
docker2 192.168.113.22
docker3 192.168.113.23
docker4 192.168.113.24
操作步骤:
1.4台主机上关闭防火墙,安装并启动Docker服务
2.在docker1主机上搭建Docker Swarm集群,并创建共享网络。
值得一提的是,我们并不适用Swarm管理容器的技术,仅仅通过共享网络来实现容器跨主机通信,自己搭建Keepalived+Haproxy实现高可用和负载均衡集群
1## docker1主机上的操作 2docker swarm init 3#获取以manager身份加入集群的token 4docker swarm join-token manager 5#获取以worker身份加入集群的token 6docker swarm join-token worker 7 8## 然后docker2、docker3执行worker身份加入集群的命令 9## docker4执行manager身份加入集群的命令 10 11## 在docker1主机上创建共享网络 12docker network create -d overlay --attachable swarm_test
3.创建存储卷,启动容器
1##docker1主机 2# 创建存储卷 3docker volume craete v1 4docker volume create v2 5docker volume create backup 6# 拉取镜像并改名 7docker pull percona/percona-xtradb-cluster 8docker tag percona/percona-xtradb-cluster pxc 9docker rmi percona/percona-xtradb-cluster 10# 启动第一个容器 11docker run -d -p 3306:3306 -v v1:/var/lib/mysql -v backup:/data -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A --privileged --name=node1 --net=swarm_test pxc 12# 启动第二个pxc容器 13docker run -d -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -v v2:/var/lib/mysql -v backup:/data --privileged --name=node2 --net=swarm_test -e CLUSTER_JOIN=node1 pxc 14 15##docker2主机 16#创建存储卷 17docker volume create v3 18docker volume create backup 19# 拉取镜像并改名 20docker pull percona/percona-xtradb-cluster 21docker tag percona/percona-xtradb-cluster pxc 22docker rmi percona/percona-xtradb-cluster 23# 启动容器 24docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v3:/var/lib/mysql -v backup:/data --privileged --name=node3 --net=swarm_test pxc 25 26 27##docker3主机 28#创建存储卷 29docker volume create v4 30docker volume create backup 31# 拉取镜像并改名 32docker pull percona/percona-xtradb-cluster 33docker tag percona/percona-xtradb-cluster pxc 34docker rmi percona/percona-xtradb-cluster 35# 启动容器 36docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v4:/var/lib/mysql -v backup:/data --privileged --name=node4 --net=swarm_test pxc 37 38##docker4主机 39# 创建存储卷 40docker volume create v5 41docker volume create backup 42# 拉取镜像并改名 43docker pull percona/percona-xtradb-cluster 44docker tag percona/percona-xtradb-cluster pxc 45docker rmi percona/percona-xtradb-cluster 46# 启动容器 47docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v5:/var/lib/mysql -v backup:/data --privileged --name=node5 --net=swarm_test pxc
4.docker1和docker4主机部署Haproxy容器,两台机器的操作都一样,这里就只写一台的操作步骤了
1//查看pxc容器信息,确定容器的ip,其他几台都这样查看,然后写到下面的配置文件中集群设置中docker inspect node1//准备haproxy.cfg配置文件,这里我将它放在/root/soft/haproxy目录下 2vim /root/soft/haproxy/haproxy.cfg 3global 4 #工作目录 5 chroot /usr/local/etc/haproxy 6 #日志文件,使用rsyslog服务中local5日志设备(/var/log/local5),等级info 7 log 127.0.0.1 local5 info 8 #守护进程运行 9 daemon 10 11defaults 12 log global 13 mode http 14 #日志格式 15 option httplog 16 #日志中不记录负载均衡的心跳检测记录 17 option dontlognull 18 #连接超时(毫秒) 19 timeout connect 5000 20 #客户端超时 21 timeout client 5000 22 #服务器超时 23 timeout server 50000 24 25#监控界面 26listen admin_stats 27 #监控界面的访问的IP和端口 28 bind 0.0.0.0:8888 29 #访问协议 30 mode http 31 #URI相对地址 32 stats uri /dbs 33 #统计报告格式' 34 stats realm Global\ statistics 35 #登陆帐户信息 36 stats auth admin:123qqq...A 37 38#数据库负载均衡 39listen proxy-mysql 40 #访问的IP和端口 41 bind 0.0.0.0:3306 42 #网络协议 43 mode tcp 44 #负载均衡算法(轮询算法) 45 #轮询算法:roundrobin 46 #权重算法:static-rr 47 #最少连接算法:leastconn 48 #请求源IP算法:source 49 balance roundrobin 50 #日志格式 51 option tcplog 52 #MySQL中创建一个没有权限的haproxy用户,密码为空。Haproxy使用这个账户对MySQL>数据库心跳检测 53 option mysql-check user haproxy 54 server MySQL_1 10.0.0.2:3306 check weight 1 maxconn 2000 55 server MySQL_2 10.0.0.3:3306 check weight 1 maxconn 2000 56 server MySQL_3 10.0.0.4:3306 check weight 1 maxconn 2000 57 server MySQL_4 10.0.0.5:3306 check weight 1 maxconn 2000 58 server MySQL_5 10.0.0.6:3306 check weight 1 maxconn 2000 59 #使用keepalive检测死链 60 option tcpka 61 62 63//拉取并启动容器 64docker run -d -p 4001:8888 -p 4002:3306 -v /root/soft/haproxy:/usr/local/etc/haproxy --name h1 --privileged --net=swarm_test --ip 10.0.0.7 haproxy 65 66//进入容器,加载映射到容器中的配置文件 67docker exec -it h1 bash 68root@d67237ec2c6a:/# haproxy -f /usr/local/etc/haproxy
5.进入Haproxy容器中,搭建keepalived服务。两台主机的配置依旧是一样,keepalived.conf配置文件都是一样,抢占虚拟ip。所以这里就行写一台的配置
1docker exec -it h1 bash 2 3# 因为haproxy容器环境是ubutun系统,我们使用ubutun命令 4# 将系统的镜像更换为国内的镜像源 5mv /etc/apt/sources.list apt-sources-list.ba 6cat << EOF > /etc/apt/sources.list 7> deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse 8> deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse 9> deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse 10> deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse 11> deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse 12> deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse 13> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse 14> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse 15> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse 16> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse12345678910 17> EOF 18 19#更新镜像源 20apt-get update 21#安装keepalived 22apt-get install keepalived 23#安装vim 24apt-get install vim 25 26#修改keepalived配置文件 27vim /etc/keepalived/keepalived.conf 28vrrp_instance VI_1 { 29 state MASTER 30 interface eth0 31 virtual_router_id 51 32 priority 100 33 advert_int 1 34 authentication { 35 auth_type PASS 36 auth_pass 123456 37 } 38 virtual_ipaddress { 39 10.0.0.10 40 } 41} 42 43 44#启动keepalived 45service keepalived restart 46 47#下载ping和ifconfig工具,便于测试 48apt-get install inetutils-ping 49apt-get install net-tools 50 51# 测试 52ping 10.0.0.10
6.后续的配置,就只是需要后端集群访问10.0.0.10这个虚拟ip,来实现访问pxc集群。当然后端集群也得是在swarm_test这个网段上的