翁超凡
新手
新手
  • UID177
  • 粉丝0
  • 关注0
  • 发帖数2
  • 社区居民
阅读:5591回复:0

ELK日志分析系统简介

楼主#
更多 发布于:2019-05-31 15:53
ELK分别是Elasticsearch、Logstash、Kibana三个开源框架缩写。

Elasticsearch:开源分布式搜索引擎,提供存储、分析、搜索功能。特点:分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。
Logstash:开源日志搜集、分析、过滤框架,支持多种数据输入输出方式。
Kibana:开源日志报表系统,对elasticsearch以及logstash有良好的web页面支持。
最简单的ELK日志分析系统架构图如下

图片:20180622001834465.png





Logstash部署至服务主机,对各个服务的日志进行采集、过滤、推送。
Elasticsearch存储Logstash传送的结构化数据,提供给Kibana。
kibana提供用户UIweb页面进行,数据展示和分析形成图表等。

该架构的缺陷:logstash消耗性能,所以高并发场景容易遇到流量上的瓶颈,即使使用logstash集群也是如此,所以可以添加中间件进行日志缓存处理,并引入另一个轻量级日志采集框架Beats。改进后的架构如下:

图片:20180622010044876.png






  1. logback出现的业务数据可以通过写入redis或者kafka等中间件进行缓存,再通过合理限制流量阀值输

  2. 至 logstashash进行过滤,beats也可以通过对文件进行监控,从文件中将日志推送至中间件。















游客

返回顶部