Logstash

1#读
2input {
3	file {
4		path => "文件全路径"
5		type => "任意名字最好有意义"#自定义日志区分类型
6		start_position => "beginning" #从文件开始处读写
7	}
8}
9#过滤
10filter {
11	grok {
12        #切割后日期名字叫logdate 
13		match => ["message", "%{TIMESTAMP_ISO8601:logdate}"] 
14	}
15	date {
16        #logdate 从上面过滤后取到的字段名，yyyy-MM-dd HH:mm:ss.SSS 日期格式条件
17		match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
18		#match => ["logdate", "yyyyMMdd","yyyy-MM-dd"]
19        #赋值给那个key
20		target => "@timestamp"
21        #删除不需要的字段
22		remove_field => ["logdate"]
23	}
24       #合并错误日志
25       multiline {
26            pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
27            negate => true
28            what => "previous"
29        }
30}
31#输出
32output{
33    #输出到ES
34	elasticsearch{
35		hosts=>["127.0.0.1:9200"]  
36        #es的index名字，默认就是这个，可以更改
37		index => "logstash-%{+YYYY.MM.dd}"
38	}
39    #输出到控制台
40	stdout{codec => rubydebug}
41}