基于Kafka消息队列的MongoDB日志采集和分析系统技术方案

本发明专利技术公开了基于Kafka消息队列的MongoDB日志采集和分析系统，该系统包括5部分：IT自研应用系统日志异步记录；Kafka消息队列日志收集；基于Java的消费者日志解析；基于MongoDB的日志数据存储；可视化日志分析系统；与现有技术相比，解决了高并发的日志记录对系统的负载影响；提高日志信息查询效率；解决高并发、高响应要求的IT应用系统的日志信息收集困难的问题；提高日志分析效率，避免去解析大量的日志文件；定期对数据进行清理，保证数据最新。

【技术实现步骤摘要】
基于Kafka消息队列的MongoDB日志采集和分析系统
本专利技术涉及一种日志采集和分析系统，具体涉及一种基于Kafka消息队列的MongoDB日志采集和分析系统，属于信息收集和存储系统领域。
技术介绍
目前典型的IT自研系统日志信息收集主要包括两种模式：第一是通过编写代码或者利用很多插件直接记录在TXT文本，然后直接开发基于TXT文本的日志查看分析工具，或者开发一个将TXT日志信息导入到数据库的转换工具，再开发一个日志分析网页。第二是直接利用很多开源插件将日志记录到数据库中，然后开发基于数据库的日志分析网页。两种方案目前使用都非常普及。但是对于高并发和请求交互响应比较高的IT系统，以上两种方案会有很多弊端，比如，日志量太多，每秒钟产生上百兆，记录在TXT太大，分析工具打开、加载和分析效率都很差，有些太大的TXT甚至打不开。日志记录到数据库，高并发会对数据库造成很大性能压力。申请人中国银行股份有限公司于2017年10月19日申请了申请号为CN201710979063.X的专利技术专利，提供了一种数据统计系统，其特征是，所述系统包括信息采集装置、数据通道装置、数据处理装置以及数据存储本文档来自技高网...

【技术保护点】
1.基于Kafka消息队列的MongoDB日志采集和分析系统，其特征在于：该系统包括：IT自研应用系统日志异步记录。

【技术特征摘要】
1.基于Kafka消息队列的MongoDB日志采集和分析系统，其特征在于：该系统包括：IT自研应用系统日志异步记录。2.根据权利要求1所述的Kafka消息队列的MongoDB日志采集和分析系统，其特征在于：所述IT自研应用系统采用.NET自带的Nlog日志记录插件，采用异步记录的配置方式，日志数据源自定义为Kafka消息队列。3.根据权利要求1所述的Kafka消息队列的MongoDB日志采集和分析系统，其特征在于：该系统包括：Kafka消息队列日志收集系统，IT自研应用系统会异步将日志信息全部丢进Kafka队里内，进行离线存储。4.根据权利要求1所述的Kafka消息队列的MongoDB日志采集和分析系统，其特征在于：该系统包括：基于Java的消费者日志解析系统，开发基于Java的消费者线程功能。5.根据权利要求1所述的Kafka消息队列的MongoDB日志采集和分析系统，其特征在于：该系统包括：基于Java的消费者线程功能用于查找Kafka的日志数据。6.根据权利要求1所述的Kafka消息队列的MongoDB日志采集和分析系统，其特征在于：该系统包括：将查找后的日志数据逐条读取；对Kafka队列里的消息内容进行循环遍...

【专利技术属性】
技术研发人员：焦玉乾，
申请(专利权)人：山东共达电声股份有限公司，
类型：发明
国别省市：山东,37