Kubernetes部署ELK并使用Filebeat收集容器日志

本文的试验环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见kubeadm安装kubernetes V1.11.1 集群

1. 环境准备

Elasticsearch运行时要求vm.max_map_count内核参数必须大于262144，因此开始之前需要确保这个参数正常调整过。

$ sysctl -w vm.max_map_count=262144

也可以在ES的的编排文件中增加一个initContainer来修改内核参数，但这要求kublet启动的时候必须添加了--allow-privileged参数，但是一般生产中不会给加这个参数，因此最好在系统供给的时候要求这个参数修改完成。

ES的配置方式

使用Cluster Update Setting API动态修改配置
使用配置文件的方式，配置文件默认在 config 文件夹下，具体位置取决于安装方式。
- elasticsearch.yml 配置Elasticsearch
- jvm.options 配置ES JVM参数
- log4j.properties 配置ES logging参数
使用Prompt方式在启动时输入

最常使用的配置方式为使用配置文件，ES的配置文件为yaml格式，格式要求和Kubernetes的编排文件一样。配置文件中可以引用环境变量，例如node.name: ${HOSTNAME}

ES的节点

ES的节点Node可以分为几种角色：

Master-eligible node，是指有资格被选为Master节点的Node，可以统称为Master节点。设置node.master: true
Data node，存储数据的节点，设置方式为node.data: true。
Ingest node，进行数据处理的节点，设置方式为node.ingest: true。
Trible node，为了做集群整合用的。

对于单节点的Node，默认是master-eligible和data，对于多节点的集群，就要仔细规划每个节点的角色。

2. 单实例方式部署ELK

单实例部署ELK的方法非常简单，可以参考我Github上的elk-single.yaml文件，整体就是创建一个ES的部署，创建一个Kibana的部署，创建一个ES的Headless服务，创建一个Kiana的NodePort服务，本地通过节点的NodePort访问Kibana。

1[root@devops-101 ~]# curl -L -O https://raw.githubusercontent.com/cocowool/k8s-go/master/elk/elk-single.yaml
2[root@devops-101 ~]# kubectl apply -f elk-single.yaml 
3deployment.apps/kb-single created
4service/kb-single-svc unchanged
5deployment.apps/es-single created
6service/es-single-nodeport unchanged
7service/es-single unchanged
8[root@devops-101 ~]# kubectl get all
9NAME                             READY     STATUS    RESTARTS   AGE
10pod/es-single-5b8b696ff8-9mqrz   1/1       Running   0          26s
11pod/kb-single-69d6d9c744-sxzw9   1/1       Running   0          26s
12
13NAME                         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                         AGE
14service/es-single            ClusterIP   None             <none>        9200/TCP,9300/TCP               19m
15service/es-single-nodeport   NodePort    172.17.197.237   <none>        9200:31200/TCP,9300:31300/TCP   13h
16service/kb-single-svc        NodePort    172.17.27.11     <none>        5601:32601/TCP                  19m
17service/kubernetes           ClusterIP   172.17.0.1       <none>        443/TCP                         14d
18
19NAME                        DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
20deployment.apps/es-single   1         1         1            1           26s
21deployment.apps/kb-single   1         1         1            1           26s
22
23NAME                                   DESIRED   CURRENT   READY     AGE
24replicaset.apps/es-single-5b8b696ff8   1         1         1         26s
25replicaset.apps/kb-single-69d6d9c744   1         1         1         26s

可以看看效果如下：

3. 集群部署ELK

3.1 不区分集群中的节点角色

1[root@devops-101 ~]# curl -L -O https://raw.githubusercontent.com/cocowool/k8s-go/master/elk/elk-cluster.yaml
2[root@devops-101 ~]# kubectl apply -f elk-cluster.yaml 
3deployment.apps/kb-single created
4service/kb-single-svc created
5statefulset.apps/es-cluster created
6service/es-cluster-nodeport created
7service/es-cluster created

效果如下

3.2 区分集群中节点角色

如果需要区分节点的角色，就需要建立两个StatefulSet部署，一个是Master集群，一个是Data集群。Data集群的存储我这里为了简单使用了emptyDir，可以使用localStorage或者hostPath，关于存储的介绍，可以参考Kubernetes存储系统介绍。这样就可以避免Data节点在本机重启时发生数据丢失而重建索引，但是如果发生迁移的话，如果想保留数据，只能采用共享存储的方案了。具体的编排文件在这里elk-cluster-with-role

1[root@devops-101 ~]# curl -L -O https://raw.githubusercontent.com/cocowool/k8s-go/master/elk/elk-cluster-with-role.yaml 
2[root@devops-101 ~]# kubectl apply -f elk-cluster-with-role.yaml 
3deployment.apps/kb-single created
4service/kb-single-svc created
5statefulset.apps/es-cluster created
6statefulset.apps/es-cluster-data created
7service/es-cluster-nodeport created
8service/es-cluster created
9[root@devops-101 ~]# kubectl get all
10NAME                             READY     STATUS              RESTARTS   AGE
11pod/es-cluster-0                 1/1       Running             0          13s
12pod/es-cluster-1                 0/1       ContainerCreating   0          2s
13pod/es-cluster-data-0            1/1       Running             0          13s
14pod/es-cluster-data-1            0/1       ContainerCreating   0          2s
15pod/kb-single-5848f5f967-w8hwq   1/1       Running             0          14s
16
17NAME                          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                         AGE
18service/es-cluster            ClusterIP   None             <none>        9200/TCP,9300/TCP               13s
19service/es-cluster-nodeport   NodePort    172.17.207.135   <none>        9200:31200/TCP,9300:31300/TCP   13s
20service/kb-single-svc         NodePort    172.17.8.137     <none>        5601:32601/TCP                  14s
21service/kubernetes            ClusterIP   172.17.0.1       <none>        443/TCP                         16d
22
23NAME                        DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
24deployment.apps/kb-single   1         1         1            1           14s
25
26NAME                                   DESIRED   CURRENT   READY     AGE
27replicaset.apps/kb-single-5848f5f967   1         1         1         14s
28
29NAME                               DESIRED   CURRENT   AGE
30statefulset.apps/es-cluster        3         2         14s
31statefulset.apps/es-cluster-data   2         2         13s

效果如下

4. 使用Filebeat监控收集容器日志

使用Logstash，可以监测具有一定命名规律的日志文件，但是对于容器日志，很多文件名都是没有规律的，这种情况比较适合使用Filebeat来对日志目录进行监测，发现有更新的日志后上送到Logstash处理或者直接送入到ES中。

每个Node节点上的容器应用日志，默认都会在/var/log/containers目录下创建软链接，这里我遇到了两个小问题，第一个就是当时挂载hostPath的时候没有挂载软链接的目的文件夹，导致在容器中能看到软链接，但是找不到对应的文件；第二个问题是宿主机上这些日志权限都是root，而Pod默认用filebeat用户启动的应用，因此要单独设置下。

效果如下

具体的编排文件可以参考我的Github主页，提供了Deployment方式的编排和DaemonSet方式的编排。

对于具体日志的格式，因为时间问题没有做进一步的解析，这里如果有朋友做过，可以分享出来。

主要的编排文件内容摘抄如下。

1kind: List
2apiVersion: v1
3items:
4- apiVersion: v1
5  kind: ConfigMap
6  metadata:
7    name: filebeat-config
8    labels:
9      k8s-app: filebeat
10      kubernetes.io/cluster-service: "true"
11      app: filebeat-config
12  data:
13    filebeat.yml: |
14      processors:
15        - add_cloud_metadata:
16      filebeat.modules:
17      - module: system
18      filebeat.inputs:
19      - type: log
20        paths:
21          - /var/log/containers/*.log
22        symlinks: true
23        # json.message_key: log
24        # json.keys_under_root: true
25      output.elasticsearch:
26        hosts: ['es-single:9200']
27      logging.level: info        
28- apiVersion: extensions/v1beta1
29  kind: DaemonSet 
30  metadata:
31    name: filebeat
32    labels:
33      k8s-app: filebeat
34      kubernetes.io/cluster-service: "true"
35  spec:
36    template:
37      metadata:
38        name: filebeat
39        labels:
40          app: filebeat
41          k8s-app: filebeat
42          kubernetes.io/cluster-service: "true"
43      spec:
44        containers:
45        - image: docker.elastic.co/beats/filebeat:6.4.0
46          name: filebeat
47          args: [
48            "-c", "/home/filebeat-config/filebeat.yml",
49            "-e",
50          ]
51          securityContext:
52            runAsUser: 0
53          volumeMounts:
54          - name: filebeat-storage
55            mountPath: /var/log/containers
56          - name: varlogpods
57            mountPath: /var/log/pods
58          - name: varlibdockercontainers
59            mountPath: /var/lib/docker/containers
60          - name: "filebeat-volume"
61            mountPath: "/home/filebeat-config"
62        nodeSelector:
63          role: front
64        volumes:
65          - name: filebeat-storage
66            hostPath:
67              path: /var/log/containers
68          - name: varlogpods
69            hostPath:
70              path: /var/log/pods
71          - name: varlibdockercontainers
72            hostPath:
73              path: /var/lib/docker/containers
74          - name: filebeat-volume
75            configMap:
76              name: filebeat-config

Kubernetes部署ELK并使用Filebeat收集容器日志

1. 环境准备

ES的配置方式

ES的节点

2. 单实例方式部署ELK

3. 集群部署ELK

3.1 不区分集群中的节点角色

3.2 区分集群中节点角色

4. 使用Filebeat监控收集容器日志

参考资料：

评论区

相关推荐