阅读:5591回复:0
ELK日志分析系统简介
ELK分别是Elasticsearch、Logstash、Kibana三个开源框架缩写。
Elasticsearch:开源分布式搜索引擎,提供存储、分析、搜索功能。特点:分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。 Logstash:开源日志搜集、分析、过滤框架,支持多种数据输入输出方式。 Kibana:开源日志报表系统,对elasticsearch以及logstash有良好的web页面支持。 最简单的ELK日志分析系统架构图如下 图片:20180622001834465.png Logstash部署至服务主机,对各个服务的日志进行采集、过滤、推送。 Elasticsearch存储Logstash传送的结构化数据,提供给Kibana。 kibana提供用户UIweb页面进行,数据展示和分析形成图表等。 该架构的缺陷:logstash消耗性能,所以高并发场景容易遇到流量上的瓶颈,即使使用logstash集群也是如此,所以可以添加中间件进行日志缓存处理,并引入另一个轻量级日志采集框架Beats。改进后的架构如下: 图片:20180622010044876.png
|
|