ELK初探

EKL

核心组成

1.Elastic Search 开源分布式搜索引擎,他的特点是分布式、零配置、自动发现、索引自动分片,索引副本机制,restful接口,多数据源,自动搜索负载。

安装Elastic Search   高可用,易扩展,支持集群(cluster),分片和复制(sharding和replicas)

验证启动:curl -X GET http://localhost:9200

2.Logstash 完全开源的工具,可以用来对日志进行收集,分析,并将期存储供以后使用。

安装Logstash  实时渠道能力的数据收集引擎。由三部分组成

1.shipper-发送日志数据

2.broker-收集数据,缺省内置redis

3.indexer-数据写入

启动验证: ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

3.Kibala 可以为ES和Logstash提供的日志分析友好的界面,汇总,分析和搜索重要的日志。 可以在Elasticsearch 的索引中查找,交互数据,并生成各种维度的表图

vi kibana.yml  添加下面配置

elasticsearch_url: "http://192.168.1.104:9200"

浏览器访问kinaba  http://39.106.48.25:5601/

在kibana中查找执行超过400ms的记录

"READ_COMMITTED"   AND  message:/[4-9]{1}[0-9][0-9]ms/

四大组件

1.Logstatsh: logstash server 端用来收集日志。

2.Elastic Search:存储各类日志。

3.Kibala: web化查询和可视化接口.

4.Logstash forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server.

ELK工作流程

    在需要收集日志的服务器上部署logstash,作为logstash agent(shipper) 用于监控并过滤收集日志,将过滤后的内容发送到Broker(缺省Redis),然后logstash indexer 将日志收集到一起交给全文搜索引擎Elastic Search,可以用Elastic Search进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )

mysql设置时区

mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0