filebeat 配置
下载安装了 filebeat 之后在 filebeat-7.10.2-linux-x86_64/filebeat.yml 下面编辑
1filebeat.inputs: 2- type: log 3 enabled: true 4 5 # Paths that should be crawled and fetched. Glob based paths. 6 paths: #配置多个日志路径 7 - /home/test/test.log 8 9#output.console: 10# pretty: true 11 12#output.file: 13# path: "/home/test/filebeat" 14# filename: filebeat 15 16output.logstash: 17 hosts: ["127.0.0.1:5044"] 18
/home/test/test.log 内容如下：
11111 2222222222222 3333333333333333o 4444444 5555555 666666 77777 88888888 99999
启动 ./filebeat -e
参考
1https://www.jianshu.com/p/0a5acf831409 2https://www.elastic.co/guide/en/beats/filebeat/current/index.html 3https://www.cnblogs.com/zsql/p/13137833.html 4 5https://www.cnblogs.com/struggle-1216/p/12504866.html 6 7https://my.oschina.net/u/4403077/blog/3910732 8 9filebeat 所谓的断点续传技术，是指 如果输出 网络问题了，那么网络通了就可以接着之前继续传。 10那么如果 filebeat 重启了之后，就会从头开始搞了. 这个是要注意的， 这个从头跑就相当于重做了 11 12同时filebeat 有一个特点，如果输入的比如 log 文件之前已经传输过了。 13如果没有更新，那么 重启 filebeat 是不会 将 log内容再次重新读取传输的。
logstach 存入 mysql
logstash-7.10.2/config/logstash.conf
1#input { stdin {}} # 从控制台输入 2 3input { 4 beats { 5 port => 5044 6 } 7} 8 9output { 10 11 #stdout{} 12 13 jdbc{ 14 driver_jar_path => "/home/soft/logstash-7.10.2/vendor/jar/jdbc/mysql-connector-java-5.1.49.jar" 15 driver_class => "com.mysql.jdbc.Driver" 16 connection_string => "jdbc:mysql://192.168.200.1:3306/test?user=root&password=123456&characterEncoding=utf-8&autoReconnect=true" 17 statement => ["insert into log(host, timestamp, message, version) values(?,?,?,?)","host", "@timestamp", "message","@version"] 18 } 19 20 stdout { codec => rubydebug } 21 22}
out jdbc 安装
参考网友 的离线安装的方式， 发现并不成功
1vi Gemfile 2 3source "https://gems.ruby-china.com" 4 5接着执行安装命令，就成功了 ： ./bin/logstash-plugin install logstash-output-jdbc 6 7参考： 8https://www.cnblogs.com/coldlight/p/12084408.html 9https://github.com/theangryangel/logstash-output-jdbc 10https://blog.csdn.net/goodstudy168/article/details/81364480 11 12安装错误 解决： http://www.fidding.me/article/89 13 14
启动： ./bin/logstash -f config/logstash.conf
通过mysql 发现数据已经 同步到mysql 中
logstach 有一个缺点就是 启动挺久的，而且耗内存。
参考：
https://www.cnblogs.com/yinzhengjie2020/p/13069653.html
https://www.cnblogs.com/struggle-1216/p/12504866.html
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-beats.html
https://blog.csdn.net/sunbin11220904/article/details/106887724/
https://www.jianshu.com/p/77bd458cee6f