ELK+Kafka部署指南 (二)

四、安装logstash

安装启动

步骤1、解压安装包、修改配置####

解压安装包：tar -zxvf logstash-7.0.0.tar.gz

进入到解压后的目录：cd logstash-7.0.0

进入到config文件夹：cd config

由于logstash的配置文件在启动的时候指定，编辑创建配置文件：vi springboot_kafka.conf

开发环境修改后的配置如下：

springboot_kafka.conf

1input {
2kafka{
3bootstrap_servers => ["172.18.5.47:9092"]
4#消费者分组
5group_id => "logstash"
6#数组类型，可配置多个topic
7topics => ["kafka-log"]
8#所有插件通用属性,尤其在input里面配置多个数据源时很有用
9type => "kafka"
10consumer_threads => 5
11decorate_events => false
12codec => "json"
13}
14}
15output {
16elasticsearch {
17# ES地址
18hosts => ["http://172.18.5.47:9200"]
19# document_type => "applog"
20# template_name => "app-biz-*"
21# template_overwrite => true
22# manage_template => true
23# 指定索引名字，logType为log4j2.xml指定的应用名称
24index => "wojiacloud-%{logType}-%{+YYYY.MM.dd}"
25codec => json
26}
27# stdout {}
28}

步骤2、启动logstash####

启动logstash：bin/logstash -f config/springboot_kafka.conf 1>/dev/null 2>&1 &

出现下图中日志则说明启动成功了

logstash配置多入多出并互相隔离,主要需要解决如下两个问题：####

1、如何加载多个配置文件？ 普通启动方式：nohup bin/logstash -f /etc/logstash/conf.d/logstash.conf &

多配置文件启动方式：nohup bin/logstash -f /etc/logstash/conf.d &

注意：/etc/logstash/conf.d为目录，将加载该目录下所有配置文件；不要使用/etc/logstash/conf.d/*.conf

2、问题：配置不当，各输入输出会存在交叉，如何隔离各输入输出？ 解决办法：利用type，对输入输出进行筛选，配置参考：

logstash-47-demo.conf

1input {
2kafka{
3bootstrap_servers => ["172.18.5.47:9092"]
4#消费者分组
5group_id => "logstashDemo"
6#当Input有多个输入源的时候,需要配置client_id并且必须唯一
7client_id => "logstash-demo"
8#数组类型，可配置多个topic
9topics => ["demo-log"]
10#从最新的偏移量开始消费
11auto_offset_reset => "latest"
12#所有插件通用属性,尤其在input里面配置多个数据源时很有用
13type => "demo"
14consumer_threads => 2
15decorate_events => false
16codec => "json"
17}
18}
19output {
20if [type] == "demo" {
21elasticsearch {
22# ES地址
23hosts => ["http://172.18.5.47:9200"]
24# document_type => "applog" 
25# template_name => "app-biz-*"
26# template_overwrite => true
27# manage_template => true
28
29# 指定索引名字，logType为log4j2.xml指定的应用名称
30index => "demo-log-%{logType}"
31#
32codec => json
33}
34}
35}

logstash-47-ownercloud.conf

1input {
2kafka{
3bootstrap_servers => ["172.18.5.47:9092"]
4#消费者分组
5group_id => "logstash"
6#当Input有多个输入源的时候,需要配置client_id并且必须唯一
7client_id => "logstash-ownercloud"
8#数组类型，可配置多个topic
9topics => ["kafka-log"]
10#从最新的偏移量开始消费
11auto_offset_reset => "latest"
12#所有插件通用属性,尤其在input里面配置多个数据源时很有用
13type => "ownercloud"
14consumer_threads => 2
15decorate_events => false
16codec => "json"
17}
18}
19output {
20# 判断进行隔离
21if [type] == "ownercloud" {
22elasticsearch {
23# ES地址
24hosts => ["http://172.18.5.47:9200"]
25# document_type => "applog" 
26# template_name => "app-biz-*"
27# template_overwrite => true
28# manage_template => true
29
30# 指定索引名字，logType为log4j2.xml指定的应用名称
31index => "wojiacloud-%{logType}"
32#
33codec => json
34}
35}
36}