一种基于记录仪平台的日志检索系统及方法技术方案

本发明专利技术涉及一种基于记录仪平台的日志检索系统及方法，属于记录仪日志管理领域。本发明专利技术是为了解决现有的日志检索分析系统用时较慢、处理速度较低的缺点而提出的，本发明专利技术的系统包括：服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。本发明专利技术适用于记录仪平台日志管理。

A log retrieval system and method based on logger platform

The invention relates to a log retrieval system and method based on a recorder platform, belonging to the field of recorder log management. The system of the present invention includes: a server log retrieval module for reading log files according to the retrieval conditions and sending them to the post-retrieval log processing module; and a post-retrieval log processing module for processing the post-retrieval log files. The received log files are cleaned and sorted according to the system time. The log processing storage module is used to collect all sorted log files and save them to the database in batches. The invention is suitable for log management of logger platform.

【技术实现步骤摘要】
一种基于记录仪平台的日志检索系统及方法
本专利技术涉及一种基于记录仪平台的日志检索系统及方法，属于记录仪日志管理领域。
技术介绍
航天科技记录仪管理平台每天有超过1W辆车辆在线，每天会产生大量的操作日志，日志存储到多台服务器上，用户在使用平台过程中遇到的问题，都可以通过分析日志找到问题原因，所以每天要频繁的从多台服务器上检索日志信息进行分析。现有技术的日志检索分析用时较慢，处理速度较低。
技术实现思路
本专利技术的目的是为了解决现有的日志检索分析系统用时较慢，处理速度较低的缺点，而提出一种基于记录仪平台的日志检索系统及方法。一种于记录仪平台的日志检索系统及系统，包括：服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。本专利技术还提供一种基于记录仪平台的日志检索方法，包括：步骤一、根据检索条件读取日志文件；步骤二、对接收到的日志文件进行数据清洗，并按照系统时间进行排序；步骤三、汇总所有经过排序的日志文件并批量保存至数据库中。本专利技术的有益效果为：1、系统采用springintegration作为系统框架，多线程、定时器、消息通道等易出错误部分，都是使用框架内固有的成熟稳定模块，通过xml配置文件进行调用使用，该方式将研发人员从复杂的技术问题中解脱出来，集中精力关注具体的业务逻辑的实现，大大提高了研发速度和整个系统的稳定性。2、系统的主要运算、缓存部分，主要集中在检索后日志处理模块中，该模块可以根据任务量，进行灵活扩充，从而提升系统的整体运算性能。3、检索后日志处理模块提供了清洗、分片缓存策略，在整个数据处理过程中，能够减少接收、发送的数据量，提升系统整体的运算性能。处理速度相比于传统方法至少提升了10％。附图说明图1为本专利技术一个实施例的基于记录仪平台的日志检索系统的结构图；图2为本专利技术一个实施例的基于记录仪平台的日志检索方法的流程图。具体实施方式具体实施方式一：本实施方式的基于记录仪平台的日志检索系统，如图1所示，包括：服务器日志检索模块100，用于根据检索条件读取日志文件，并发送给检索后日志处理模块200；检索后日志处理模块200，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；日志处理后存储模块300，用于汇总所有经过排序的日志文件并批量保存至数据库400中。具体实施方式二：本实施方式与具体实施方式一不同的是：服务器日志检索模块100包括：读取器120，用于按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道110中进行缓存；第一消息通道110，用于缓存日志文件数据；分发器130，用于从第一消息通道中读取日志文件数据，并发送至检索后日志处理模块200。其它步骤及参数与具体实施方式一相同。具体实施方式三：本实施方式与具体实施方式一或二不同的是：检索后日志处理模块200包括：接收单元220，用于接收日志文件数据，并缓存至第二消息通道210中；第二消息通道210，用于缓存日志文件数据；处理单元230，用于从第二消息通道210中读取日志文件数据，并清洗掉文件内容为空以及时间异常的数据，并将清洗后的数据按照系统时间进行排序；分片缓存单元240，用于缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道并发送至日志处理后存储模块300中。其它步骤及参数与具体实施方式一或二相同。具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：日志处理后存储模块300包括：第三消息通道310，用于接收并汇总来自检索后日志处理模块200的日志文件数据；存储单元320，用于将第三消息通道310中的日志文件数据批量存储至数据库中400。其它步骤及参数与具体实施方式一至三之一相同。具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：服务器日志检索模块100、检索后日志处理模块200、日志处理后存储模块300均通过springintegration框架进行实现。其它步骤及参数与具体实施方式一至四之一相同。具体实施方式六：本实施方式提供一种基于记录仪平台的日志检索方法，如图2所示，包括：步骤一、根据检索条件读取日志文件；步骤二、对接收到的日志文件进行数据清洗，并按照系统时间进行排序；步骤三、汇总所有经过排序的日志文件并批量保存至数据库中。具体实施方式七：本实施方式与具体实施方式六不同的是：步骤二具体为：按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道中进行缓存；从第一消息通道中读取日志文件数据。其它步骤及参数与具体实施方式六相同。具体实施方式八：本实施方式与具体实施方式六或七不同的是：步骤三具体为：接收日志文件数据，并缓存至第二消息通道中；从第二消息通道中读取日志文件数据，并清洗掉文件内容为空以及时间异常的数据，并将清洗后的数据按照系统时间进行排序；缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道。其它步骤及参数与具体实施方式六或七相同。具体实施方式九：本实施方式与具体实施方式六至八之一不同的是：步骤三具体为：接收并汇总来自检索后日志处理模块的日志文件数据，存入第三消息通道中；将第三消息通道中的日志文件数据批量存储至数据库中。其它步骤及参数与具体实施方式六至八之一相同。具体实施方式十：本实施方式与具体实施方式六至八之一不同的是：步骤一、步骤二、步骤三均通过springintegration框架实现。其它步骤及参数与具体实施方式六至九之一相同。具体实施方式十一：本实施方式中，系统主要包括3部分：服务器日志检索(DataSch)、检索后日志处理(HandleDate)、日志处理后存储(DataSaver)。服务器日志检索负责从已经配置好的各个服务器中，按照日志检索条件(时间、关键字)检索日志，时间用于检索文件，关键字用于检索文件内容，并将检索后的日志发送给HandleDate,等待处理。HandleNode接收到数据后，对数据进行清洗、转换、整理、合并等运算，并将处理结果发送给DataSaver。DataSaver接收到HandleNode发送来的处理结果，批量保存进数据库中。DataSch由读取器(reader)、消息通道(messagechannel)、分发器(sender)组成。reader按时间戳，循环从各个服务器中按照检索条件读取日志文件，并将数据发送到messagechannel中进行缓存。Sender发送messagechannel中的日志文件数据，通道中的数据是字符串类型数据，并且每条数据都带有系统时间。通过远程调用函数(RPC)发送到HandleDate。HandleDate由消息通道messagechannel、接收、清洗、排序、分片缓存及部分组成。当HandleDate接收到DataSch传入的消息后，缓存至messagechannel中，由接收程序接收到messagechannel中的数据后，清洗掉文件内容为空、时间异常等的无效数据，将有效数据本文档来自技高网...

【技术保护点】
1.一种基于记录仪平台的日志检索系统，其特征在于，包括：服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。

【技术特征摘要】
1.一种基于记录仪平台的日志检索系统，其特征在于，包括：服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。2.根据权利要求1所述的基于记录仪平台的日志检索系统，其特征在于，服务器日志检索模块包括：读取器，用于按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道中进行缓存；第一消息通道，用于缓存日志文件数据；分发器，用于从第一消息通道中读取日志文件数据，并发送至检索后日志处理模块。3.根据权利要求1所述基于记录仪平台的日志检索系统，其特征在于，检索后日志处理模块包括：接收单元，用于接收日志文件数据，并缓存至第二消息通道中；第二消息通道，用于缓存日志文件数据；处理单元，用于从第二消息通道中读取日志文件数据，并清洗掉文件内容为空和时间异常的数据，并将清洗后的数据按照系统时间进行排序；分片缓存单元，用于缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道并发送至日志处理后存储模块中。4.根据权利要求1所述的基于记录仪平台的日志检索系统，其特征在于，日志处理后存储模块包括：第三消息通道，用于接收并汇总来自检索后日志处理模块的日志文件数据；存储单元，用于将第三消息通道中的日志文件数据批量存储至数据库中。5...

【专利技术属性】
技术研发人员：姜海峰，李德贤，杨春艳，冯国新，
申请(专利权)人：航天科技控股集团股份有限公司，
类型：发明
国别省市：黑龙江,23