基于ELK的可视化监控系统及方法技术方案

本发明专利技术公开了基于ELK的可视化日志监控系统及方法，包括：日志收集模块、日志解析与转化模块、日志存储模块以及日志查询与显示模块。可视化日志监控系统的执行方法包括：S1.使用Filebeat对日志文件进行收集，并传入Logstash中；S2.通过Logstash的事件机制进行解析、过滤并输出为日志数据；S3.将日志数据存入ElasticSearch中；S4.通过显示器在ElasticSearch中查找并显示相应的日志数据。有效地解决了日志管理多为单机模式不支持集群且应用日志分散，无法集中收集及其存储，海量日志存储和检索、文件存储或者db等存储，不便于归档、查看、精确查找和定位等问题。精确查找和定位等问题。精确查找和定位等问题。

【技术实现步骤摘要】
基于ELK的可视化监控系统及方法


[0001]本专利技术涉及日志监控
，具体为基于ELK的可视化日志监控系统及方法。

技术介绍

[0002]日志是业务管理系统中非常重要的信息和数据，通过日志可以了解系统负荷情况，潜在的性能问题及其安全性，它对信息安全整个过程中关键记录信息的监控统计，特别针对偶发性问题、描述模糊的问题、安全事故分析、追踪，日志起到了关键性作用。常见的日志管理系统，包括基于logback日志实现和slf4j日志接口的零配置结构化日志管理组件；基于ELK日志解决方案,由ElasticSearch、Logstash、Kibana三款开源软件组成。
[0003]现有的日志管理系统多为单机模式不支持集群，且应用日志（Nginx日志、慢SQL日志、微服务、安全等日志）分散，无法集中收集及其存储，潜在性能问题和风险无法即时发现。海量日志存储和检索提出了新的挑战，文件存储或者db等存储，不便于归档、查看、精确查找和定位问题。

技术实现思路

[0004]本专利技术提供一种基于ELK的可视化日志监控系统，包括：日志收集模块、日志解析与转化模块、日志存储模块以及日志查询与显示模块。
[0005]进一步地，所述日志收集模块用于收集系统内各个类型的日志文件；日志解析与转化模块用于将收集到的日志文件解析并转化为日志数据；日志存储模块用于存储以及转化后的日志数据；日志查询与显示模块用于从日志存储模块中查询相应日志数据并将查询到的数据通过显示器显示出来。
[0006]一种基于ELK的可视化日志监控方法，包括：S1.使用Filebeat对日志文件进行收集，并传入Logstash中；S2.通过Logstash的事件机制进行解析、过滤并输出为日志数据；S3.将日志数据存入ElasticSearch中；S4.通过显示器在ElasticSearch中查找并显示相应的日志数据。
[0007]进一步地，还包括针对于网关日志、关键行为、业务指标埋点等日志，S1.日志文件通过logback的appender直接导入logstash。
[0008]进一步地，所述S1步骤中日志文件包括：网管请求日志、Log文件日志、业务日志、登录和菜单日志、关键行为日志、慢SQL日志、定时任务日志、消息队列日志、异常日志、导出日志、批量审批日志、搜索帮助日志。
[0009]进一步地，S2步骤中所述的日志数据格式为json。
[0010]进一步地，所述ElasticSearch中的日志数据根据业务的日志量进行按天、按周、按月的多粒度索引管理。
[0011]本专利技术提供基于ELK的可视化日志监控系统及方法，有效地解决了现有技术中日志管理系统多为单机模式不支持集群，且应用日志分散，无法集中收集及其存储，潜在性能问题和风险无法即时发现；海量日志存储和检索、文件存储或者db等存储，不便于归档、查
看、精确查找和定位等问题。
附图说明
[0012]图1为本专利技术所提供的基于ELK的可视化日志监控系统及方法的结构示意图；图2为本专利技术所提供的基于ELK的可视化日志监控系统及方法的流程图。
具体实施方式
[0013]以下结合附图对本专利技术的实施方法进行详细说明，所描述的仅为部分实施例，并非全部实施例，为了清楚的目的，在附图及说明中省略了与本专利技术无关的表示及描述。
[0014]如图1所示，本专利技术提供一种基于ELK的可视化日志监控系统，包括：日志收集模块、日志解析与转化模块、日志存储模块以及日志查询与显示模块。其中，日志收集模块用于收集系统内各个类型的日志文件；日志解析与转化模块用于将收集到的日志文件解析并转化为日志数据；日志存储模块用于存储以及转化后的日志数据；日志查询与显示模块用于从日志存储模块中查询相应日志数据并将查询到的数据通过显示器显示出来。
[0015]如图2所示，本专利技术还提供一种基于ELK的可视化日志监控方法，包括：S1.使用Filebeat对日志文件进行收集，并传入Logstash中；S2.通过Logstash的事件机制进行解析、过滤并输出为日志数据；S3.将日志数据存入ElasticSearch中；S4.通过显示器在ElasticSearch中查找并显示相应的日志数据。其中，针对于网关日志、关键行为、业务指标埋点等日志，S1步骤更改为：日志文件通过logback的appender直接导入logstash。
[0016]随着数据量增大，为了保证查询和写入性能及其防止复杂业务系统ElasticSearch达到索引上限，带来的不稳定因素，限制分片数量和单个分片的大小是必要的，本专利技术所提供的基于ELK 的可视化日志监控系统，根据业务的日志量的不同进行按天、按周、按月的多粒度索引管理策略。
[0017]针对不同粒度的ElasticSearch索引及其业务需求，系统定义了完善的生命周期（hot、warm、cold、delete）管理。例如网关请求索引日志，超过2天，索引进入warm阶段，大于15天索引进入cold阶段，大于30天，索引进入delete删除阶段。
[0018]同时，本系统基于网关，业务API及其数据库SQL等进行埋点，抓取请求URI、入出参、请求时间、耗时、状态、SQL语句、SQL参数、影响记录数、关键业务日志、用户信息等上下文信息，通过SpringcloudSleuth实现了分布式服务的全链路跟踪，并在前端错误和异常消息中添加traceId和请求时间，通过链路Id和时间查询网关和log文件日志用例，可以追踪到整体请求链路的日志及其上下文日志信息，便于快速定位。
[0019]以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ELK的可视化日志监控系统，其特征在于，包括：日志收集模块、日志解析与转化模块、日志存储模块以及日志查询与显示模块。2.根据权利要求1所述的一种基于ELK的可视化日志监控系统，其特征在于，所述日志收集模块用于收集系统内各个类型的日志文件；日志解析与转化模块用于将收集到的日志文件解析并转化为日志数据；日志存储模块用于存储以及转化后的日志数据；日志查询与显示模块用于从日志存储模块中查询相应日志数据并将查询到的数据通过显示器显示出来。3.一种基于ELK的可视化日志监控方法,其特征在于，包括：S1.使用Filebeat对日志文件进行收集，并传入Logstash中；S2.通过Logstash的事件机制进行解析、过滤并输出为日志数据；S3.将日志数据存入ElasticSearch中；S4.通过显示器在ElasticSearch中查找并显示相应的日志...

【专利技术属性】
技术研发人员：赵微，王继权，韩宏莹，徐晓亮，
申请(专利权)人：启明信息技术股份有限公司，
类型：发明
国别省市：