Kubernetes笔记：十分钟部署一套K8s环境

Kubernetes是Goole开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理 —— 百度百科。

接触K8s也有半年多了，也基于阿里云平台搭建了包含多级服务、目前运行较为稳定的K8s集群（感兴趣的可参考 [k8s云集群混搭模式，可能帮你节省50%以上的服务成本]， [k8s云集群混搭模式落地分享]，但一直没来得及对其进行系统的学习，本系列文章还像以前Docker系列一样，以笔记的形式进行记录与分享，会包括理论与实践，感兴趣的同学可以关注，一起探索下目前较为流行的容器化及服务编排解决方案。

工欲善其事，必先利其器，本文先介绍如何在本地自行搭建一套k8s集群，并且采用我们前面介绍过的Ansible来提高效率（参考 [Ansible简明教程]

本文所涉及的所有配置文件可在这里找到 github

一. 准备服务器节点

如果还没有服务器，可以参考 [ubuntu18.04上搭建KVM虚拟机环境超完整过程]创建虚拟服务器。

服务器节点IP（hostname）：

192.168.40.111 (kmaster)
192.168.40.112 (knode1)
192.168.40.113 (knode2)
192.168.40.114 (knode3)

操作系统版本：

cat /etc/redhat-release : CentOS Linux release 7.6.1810 (Core)
uname -a : 3.10.0-957.el7.x86_64

二. 配置Ansible

如果还没有Ansible环境，可以参考 [Ansible简明教程]搭建。

1.在Ansible服务器上的/etc/hosts文件中添加k8s服务器节点信息(参考 hosts)

1192.168.40.111 kmaster
2192.168.40.112 knode1
3192.168.40.113 knode2
4192.168.40.114 knode3

2.在Ansible服务器上的/etc/ansible/hosts文件中添加k8s服务器节点（参考 ansible_hosts）

1[k8s-all]
2kmaster
3knode1
4knode2
5knode3
6
7[k8s-master]
8kmaster
9
10[k8s-nodes]
11knode1
12knode2
13knode3

三. 修改k8s集群各节点/etc/hosts（非必须）

修改所有主机/etc/hosts文件，添加IP/主机名映射，方便通过主机名ssh访问

1.创建playbook文件（参考 set_hosts_playbook.yml）

1vim set_hosts_playbook.yml
2---
3- hosts: k8s-all
4  remote_user: root
5
6  tasks:
7    - name: backup /etc/hosts
8      shell: mv /etc/hosts /etc/hosts_bak
9
10    - name: copy local hosts file to remote
11      copy: src=/etc/hosts dest=/etc/ owner=root group=root mode=0644

2.执行ansible-playbook

ansible-playbook set_hosts_playbook.yml

四. 安装Docker

在所有主机上安装Docker

1.创建playbook文件（参考 install_docker_playbook.yml）

1vim install_docker_playbook.yml
2- hosts: k8s-all
3  remote_user: root
4  vars: 
5     docker_version: 18.09.2
6
7  tasks: 
8     - name: install dependencies
9       #shell: yum install -y yum-utils device-mapper-persistent-data lvm2 
10       yum: name={{item}} state=present
11       with_items:
12          - yum-utils
13          - device-mapper-persistent-data
14          - lvm2
15
16     - name: config yum repo
17       shell: yum-config-manager --add-repo https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo
18
19     - name: install docker
20       yum: name=docker-ce-{{docker_version}} state=present
21
22     - name: start docker
23       shell: systemctl enable docker && systemctl start docker

2.执行ansible-playbook

ansible-playbook install_docker_playbook.yml

五. 部署k8s master

1.开始部署之前，需要做一些初始化处理：关闭防火墙、关闭selinux、禁用swap、配置k8s阿里云yum源等，所有操作放在脚本 pre-setup.sh 中，并在2中playbook中通过script模块执行

2.创建playbook文件 deploy_master_playbook.yml，只针对master节点，安装kubectl，kubeadm，kubelet，以及flannel（将kube-flannel.yml文件里镜像地址的quay.io改为quay-mirror.qiniu.com避免超时，参考 kube-flannel.yml）

1vim deploy_master_playbook.yml
2- hosts: k8s-master
3  remote_user: root：q
4  vars:
5    kube_version: 1.16.0-0
6    k8s_version: v1.16.0
7    k8s_master: 192.168.40.111 
8
9  tasks:
10    - name: prepare env
11      script: ./pre-setup.sh      
12
13    - name: install kubectl,kubeadm,kubelet
14      yum: name={{item}} state=present
15      with_items:
16        - kubectl-{{kube_version}}
17        - kubeadm-{{kube_version}}
18        - kubelet-{{kube_version}}
19
20    - name: init k8s
21      shell: kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version {{k8s_version}} --apiserver-advertise-address {{k8s_master}}  --pod-network-cidr=10.244.0.0/16 --token-ttl 0
22
23    - name: config kube
24      shell: mkdir -p $HOME/.kube && cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && chown $(id -u):$(id -g) $HOME/.kube/config
25
26    - name: copy flannel yaml file
27      copy: src=./kube-flannel.yml dest=/tmp/ owner=root group=root mode=0644 
28
29    - name: install flannel
30      shell: kubectl apply -f /tmp/kube-flannel.yml
31
32    - name: get join command
33      shell: kubeadm token create --print-join-command 
34      register: join_command
35    - name: show join command
36      debug: var=join_command verbosity=0

3.执行ansible-playbook

ansible-playbook deploy_master_playbook.yml

4.上述命令执行完成会输出节点加入k8s集群的命令，如下图。记下该命令，后面部署node时会用到

图片

六. 部署k8s node

1.同master一样，开始部署之前，需要做一些初始化处理：关闭防火墙、关闭selinux、禁用swap、配置k8s阿里云yum源等，所有操作放在脚本 pre-setup.sh 中，并在2中playbook中通过script模块执行

2.创建playbook文件 deploy_nodes_playbook.yml，针对除master外的其它集群节点，安装kubeadm，kubelet，并将节点加入到k8s集群中，使用的是前面部署master时输出的加入集群命令

1vim deploy_nodes_playbook.yml
2- hosts: k8s-nodes
3  remote_user: root
4  vars:
5     kube_version: 1.16.0-0
6
7  tasks:
8    - name: prepare env
9      script: ./pre-setup.sh
10
11    - name: install kubeadm,kubelet
12      yum: name={{item}} state=present
13      with_items:
14        - kubeadm-{{kube_version}}
15        - kubelet-{{kube_version}}
16
17    - name: start kubelt
18      shell: systemctl enable kubelet && systemctl start kubelet
19
20    - name: join cluster
21      shell: kubeadm join 192.168.40.111:6443 --token zgx3ov.zlq3jh12atw1zh8r --discovery-token-ca-cert-hash sha256:60b7c62687974ec5803e0b69cfc7ccc2c4a8236e59c8e8b8a67f726358863fa7

3.执行ansible-playbook

ansible-playbook deploy_nodes_playbook.yml

4.稍等片刻，即可在master节点上通过kubectl get nodes看到加入到集群中的节点，并且status为Ready状态，如下

1[root@kmaster ~]# kubectl get nodes
2NAME      STATUS   ROLES    AGE     VERSION
3kmaster   Ready    master   37m     v1.16.0
4knode1    Ready    <none>   7m1s    v1.16.0
5knode2    Ready    <none>   7m1s    v1.16.0
6knode3    Ready    <none>   4m12s   v1.16.0

至此，k8s集群基本部署完成。接下来可安装Ingress与Dashboard。

七. 安装Ingress

Ingress为集群内服务提供外网访问，包括基于Nginx与Traefik两个版本，这里使用比较熟悉的Nginx版本。安装Ingress的操作在master节点进行（因为前面在master节点安装并配置了kubectl，也可在其它安装并配置好了kubectl的节点进行）

1.下载yaml文件（此目录已包含 nginx-ingress.yaml，并修改了镜像地址，可直接进入第3步）

wget -O nginx-ingress.yaml https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/deploy.yaml

2.将里面的quay.io修改为quay-mirror.qiniu.com，避免镜像拉取超时。同时在nginx-ingress-controller的Deployment上添加hostNetwork为true及nginx-ingress的标签，以使用宿主机网络与控制Ingress部署的节点

1vim nginx-ingress.yaml
2:s/quay.io/quay-mirror.qiniu.com/g
3
4vim nginx-ingress.yaml
5
6    spec:
7      hostNetwork: true
8      nodeSelector:
9        nginx-ingress: "true"

3.部署Ingress

首先在knode1节点上打标签nginx-ingress=true，控制Ingress部署到knode1上，保持IP固定。

1[root@kmaster k8s-deploy]# kubectl label node knode1 nginx-ingress=true
2node/knode1 labeled

然后完成nginx-ingress的部署

kubectl apply -f nginx-ingress.yaml

4.部署完成，稍等片刻等Pod创建完成，可通过如下命令查看ingress相关Pod情况

1[root@kmaster k8s-deploy]# kubectl get pods -n ingress-nginx -o wide
2NAME                                        READY   STATUS      RESTARTS   AGE   IP               NODE     NOMINATED NODE   READINESS GATES
3ingress-nginx-admission-create-drpg5        0/1     Completed   0          79m   10.244.2.2       knode1   <none>           <none>
4ingress-nginx-admission-patch-db2rt         0/1     Completed   1          79m   10.244.3.2       knode3   <none>           <none>
5ingress-nginx-controller-575cffb49c-4xm55   1/1     Running     0          79m   192.168.40.112   knode1   <none>           <none>

八. 安装Kubernetes Dashboard

1.下载yaml文件（此目录已包含 kubernetes-dashboard.yaml 文件，可直接进入第3步）

wget -O kubernetes-dashboard.yaml  https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta5/aio/deploy/recommended.yaml

2.修改kubernetes-dashboard.yaml

将Service type改为NodePort，使得可通过IP访问Dashboard。注释掉默认的Secret（默认的secret权限很有限，看不到多少数据）

1kind: Service
2apiVersion: v1
3metadata:
4  labels:
5    k8s-app: kubernetes-dashboard
6  name: kubernetes-dashboard
7  namespace: kubernetes-dashboard
8spec:
9  type: NodePort
10  ports:
11    - port: 443
12      targetPort: 8443
13      nodePort: 30443
14  selector:
15    k8s-app: kubernetes-dashboard

3.部署Dashboard，并创建绑定cluster-admin角色的ServiceAccount —— admin-user (参考 auth.yaml)

1kubectl apply -f kubernetes-dashboard.yaml
2kubectl apply -f kubernetes-dashboard-auth.yaml

4.访问Dashboard

访问 https://集群任意节点IP:30443，打开Dashboard登录页面，执行如下命令获取登录token

kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')

使用token完成登录，如图

图片

九. 解决证书无效问题

安装完后，默认的证书可能无效，在Chrome浏览中无法打开Dashboard，可通过重新生成证书解决。

1.创建自定义证书

1[root@kmaster ~]# cd /etc/kubernetes/pki/
2#生成私钥
3[root@kmaster pki]# openssl genrsa -out dashboard.key 2048
4#生成证书
5[root@kmaster pki]# openssl req -new -key dashboard.key -out dashboard.csr -subj "/O=JBST/CN=kubernetes-dashboard"
6#使用集群的CA来签署证书
7[root@kmaster pki]# openssl x509 -req -in dashboard.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out dashboard.crt -days 3650
8#查看自创证书
9[root@kmaster pki]# openssl x509 -in dashboard.crt -noout -text

2.注释 kubernetes-dashboard.yaml 中默认的Secret，

1#---
2#
3#apiVersion: v1
4#kind: Secret
5#metadata:
6#  labels:
7#    k8s-app: kubernetes-dashboard
8#  name: kubernetes-dashboard-certs
9#  namespace: kubernetes-dashboard
10#type: Opaque

3.重新部署Dashboard，并通过自定义证书创建新的Secret

1[root@kmaster k8s-deploy]# kubectl delete -f kubernetes-dashboard.yaml
2[root@kmaster k8s-deploy]# kubectl apply -f kubernetes-dashboard.yaml 
3[root@kmaster k8s-deploy]# kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.crt=/etc/kubernetes/pki/dashboard.crt --from-file=dashboard.key=/etc/kubernetes/pki/dashboard.key  -n kubernetes-dashboard

十. 在本地（win10）管理k8s集群

1.下载kubectl windows版本： https://storage.googleapis.com/kubernetes-release/release/v1.16.0/bin/windows/amd64/kubectl.exe

2.将kubectl.exe文件所在目录加入系统环境变量的Path中

3.将master节点上 /etc/kubernetes/admin.conf 的内容拷贝到本地用户目录的 .kube/config 文件中，如 C:\Users\Administrator\.kube\config

4.验证

1C:\Users\Administrator>kubectl get nodes
2NAME      STATUS   ROLES    AGE     VERSION
3kmaster   Ready    master   4d19h   v1.16.0
4knode1    Ready    <none>   4d19h   v1.16.0
5knode2    Ready    <none>   4d19h   v1.16.0
6knode3    Ready    <none>   4d19h   v1.16.0