一种日志实时分析方法及系统技术方案

本发明专利技术提出了一种日志实时分析方法及系统，首先对采集的日志数据进行预处理，采用实时整理和大数据分析相结合的方式，使得后续的统计分析不仅能看到宏观方面的问题，也能够从宏观方面关联到微观状态；采用大数据分析单元对日志数据进行优化分析统计，提高了日志分析的速度和效率；使用内存存储和落地存储两个级别的日志存储方式，使得统计信息和详细数据信息可以分别显示，大大降低了日志服务器与客户端之间的通信压力，从而减少了在图形显示时的响应时间。

A log real-time analysis method and system

This invention puts forward a log real-time analysis method and system. First, we preprocess the collected log data, combine the real-time arrangement with the large data analysis, so that the subsequent statistical analysis can not only see the macro problems, but also can be related to the micro state from the macro aspect. The analysis unit optimizes the log data analysis and statistics, improves the speed and efficiency of log analysis. Using memory storage and landing storage two levels of log storage, the statistical information and detailed data information can be displayed respectively, greatly reducing the communication pressure between the log server and the client, thus reducing the communication pressure. The response time is less when the graphics are displayed.

【技术实现步骤摘要】
一种日志实时分析方法及系统
本专利技术涉及日志分析领域，尤其涉及一种日志实时分析方法及系统。
技术介绍
随着信息化技术的迅猛发展，网络攻击、病毒、僵尸、木马、恶意软件等技术的水平不断提高，给网络用户带来前所未有的威胁。网络攻击也从原来单纯的个别黑客秀技术，转化成以获取经济利益为目的的产业。而从应用维度，越来越多的恶意应用使用已知端口如Web应用的80端口，网络安全设备往往会对这个端口做放行，由此恶意应用可以绕过网络安全设备对网络进行攻击。作为网络安全的重要一环，网络安全设备日志分析可以通过收集和归档网络安全设备日志，并生成报表，进行全网综合安全分析，帮助安全管理人员快速识别病毒攻击、异常流量以及用户非法行为等重要的安全信息，从而运用合理的安全策略，保证网络的安全。但是，现有的网络安全设备日志分析尚存在以下问题：1，海量日志处理中纯文本日志的识别率低的问题。网络管理员面对网络安全设备日志的分析，依然依靠逐行核对的方式进行人工审查。这种方法已经使用多年，但却是管理员找到问题风险的最佳途径。然而这个途径的效率非常低，网络安全设备日志的可读性并不友好，人工审查的时候经常会漏掉一些关键因素，被漏掉的关键因素需要反复核对才能被发现，因而降低了识别的效率。2，传统网络安全设备报告只做简单统计。日志分析的过程中，传统网络安全设备生成的报告只做了简单统计。所生成的统计报表只作为报告使用，并不能把问题关联到发生日志的具体时刻。而在网络安全设备安全分析的过程中，我们不但希望从报表上看到宏观方面的问题，更希望能够从宏观方面关联到微观状态，这需要统计报表不单单只是作为统计和展示，同时要对统计和展示的图形进行操作。3，图形化操作的查询实时性问题。日志查询和展示的时候需要大量的运算，如分类统计、求和、求平均值等操作。在传统的日志分析系统中，这些计算和查询都是在客户端展示之前进行计算的，这就导致了服务器与客户端传输的数据非常多，不得不用分页等方式来展示，但分页会影响整体数据的统计。4，在同类的日志分析和统计系统中，日志采用了关系型的方式存储在数据库中，这导致在检索同类数据的时候，如果数据量非常大，系统反应会非常的慢。同时在图形展现时，大量的数据会占用客户机以及大量的通信带宽，导致展示的响应时间过长。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。根据本专利技术的实施方式，提出一种日志的实时分析方法，所述方法包括：从多个设备采集原始日志信息；将采集来的原始日志信息进行日志处理，先进行日志预处理，整理为可用于存储和实时查询的结构化日志数据，生成内容字典和索引字典，其中包括日志时间和日志类型信息；然后，将内容字典存入具有分级存储功能的日志存储管理子系统，将索引字典存入具有实时分发功能的消息队列；消息队列根据数据分析需求将索引字典数据分发给大数据分析单元；大数据分析单元可以集群部署，根据预先设定的分析统计策略配置，从消息队列实时得到索引字典，从日志存储管理子系统获取索引字典相对应的内容字典，进行周期性的分类统计，并将统计结果保存于日志存储管理子系统；每次完成统计时实时通知日志展现接口展示；日志展现接口收到大数据分析单元的统计完成通知后，将统计结果推送到用户界面，用户界面按照展现需求，到日志存储管理子系统取统计结果，在用户界面上展示。优选的，所述的日志处理包括日志预处理，生成内容字典和索引字典之前，所述日志预处理包括两级拆分过程：第一级拆分和第二级拆分；所述第一级拆分为日志信息头部部分的解析拆分，用于拆分出数据的基本信息；所述第二级拆分为日志内容部分的解析拆分，将信息格式抽象化，进行字段名和字段值的定位，然后将字段名和字段值分开，保存为Key-Vlaue格式。优选的，所述的内容字典由多类型数据集合构成，然后由内容字典中各个内容的定位偏移组成多类型数据集合组成的索引字典。优选的，所述索引字典还包括将每条索引增加GUID为键的唯一标识，将带有标识的索引加入消息队列。优选的，所述的日志存储管理子系统采用内存存储和落地存储两个级别的日志存储方式，包括统计结果库、内存详细信息库，对应为内存存储，还包括冷数据存储区、内存镜像存储区，对应为落地存储；通过热点监控机制实现分级存储区之间的数据切换，通过持久化机制保持内存存储数据的完整性；所述的内存详细信息库用于保存进行日志预处理后生成的内容字典，以及大数据统计平台的统计结果，所述的统计结果库是以时间为key进行数据存储，对应于内存详细信息库的索引，用于保存大数据统计平台的统计结果数据的索引。优选的，所述的热点监控机制用于控制冷数据和热数据的转换，根据数据使用的频率进行引用计数，数据初始被存于冷数据存储区，当冷数据使用频率的计数值高到一定数值时转变为热数据,存到内存镜像存储区；热数据存到一定的时间期限又被存回冷数据存储区；所述的持久化机制是实时对存统计结果库、内存详细信息库进行写磁盘操作，保存于内存镜像存储区。优选的，所述的日志展现接口收到用户的查询请求后，通过用户网页视图的事件回调机制实现实时展示数据，网页视图通过浏览器提供的http连接和Web服务端之间的交互获取最新数据，Web服务端按网页视图的展示需求调用日志展现接口单元来提取更新数据。优选的，所述的日志展现接口收到用户的查询请求后，通过图形化维度和模式化操作维度实现日志展现，所述图形化维度是通过各种可视的统计视图对日志进行展示，其包括面板层面、视图层面和图形层面；所述模式化操作维度是在用户图形化基础上制定的操作模式，包括面板层面操作、视图层面操作和图形层面操作。根据本专利技术的实施方式，还提出一种执行上述方法的实时分析系统，所述系统包括：日志采集单元、日志处理单元、消息队列单元、大数据分析单元、日志存储管理子系统，其中，所述日志采集单元用于从多个设备采集原始日志信息；所述日志处理单元将采集来的原始日志信息先经日志预处理整理为可用于存储和实时查询的结构化日志数据，生成内容字典和索引字典，其中包括日志时间和日志类型信息；然后将内容字典存入具有分级存储功能的日志存储管理子系统，将索引字典存入具有实时分发功能的消息队列单元；所述消息队列单元用于实现索引字典的存储和实时分发，根据大数据分析单元的数据分析请求进行分发；所述大数据分析单元，可以集群部署，根据预先设定的分析统计策略配置，从消息队列单元得到索引字典，从日志存储管理子系统获取索引字典相对应的内容字典，按时间和日志类型进行周期性的分类统计，并将统计结果保存于日志存储管理子系统；每次完成统计时实时通知日志展现接口展示；所述日志存储管理子系统用于将经日志预处理得到的内容字典和经大数据分析单元分析统计处理后的数据进行不同级别的存储；日志展现接口单元，收到大数据分析单元的统计完成通知后，将统计结果推送到用户界面，用户界面按照展现需求，到日志存储管理子系统取统计结果，在用户界面上展示。优选的，所述的日志存储管理子系统采用内存存储和落地存储两个级别的日志存储方式，包括统计结果库、内存详细信息库、内存镜像存储区，对应为内存存储，还包括冷数据存储区，对应为落地存储；通过热点监控机制实现分级存储区之间的数据切换，通过持久化机制保持内存存储数据的完整性；所述的内存详细信息库用于保存进行日志预处理后生成的内容字典，以及大数据本文档来自技高网...

【技术保护点】
1.一种日志的实时分析方法，所述方法包括：从多个设备采集原始日志信息；将采集来的原始日志信息进行日志处理，先进行日志预处理，整理为可用于存储和实时查询的结构化日志数据，生成内容字典和索引字典，其中包括日志时间和日志类型信息；然后，将内容字典存入具有分级存储功能的日志存储管理子系统，将索引字典存入具有实时分发功能的消息队列；消息队列根据数据分析需求将索引字典数据分发给大数据分析单元；大数据分析单元可以集群部署，根据预先设定的分析统计策略配置，从消息队列实时得到索引字典，从日志存储管理子系统获取索引字典相对应的内容字典，进行周期性的分类统计，并将统计结果保存于日志存储管理子系统；每次完成统计时实时通知日志展现接口展示；日志展现接口收到大数据分析单元的统计完成通知后，将统计结果推送到用户界面，用户界面按照展现需求，到日志存储管理子系统取统计结果，在用户界面上展示。

【技术特征摘要】
1.一种日志的实时分析方法，所述方法包括：从多个设备采集原始日志信息；将采集来的原始日志信息进行日志处理，先进行日志预处理，整理为可用于存储和实时查询的结构化日志数据，生成内容字典和索引字典，其中包括日志时间和日志类型信息；然后，将内容字典存入具有分级存储功能的日志存储管理子系统，将索引字典存入具有实时分发功能的消息队列；消息队列根据数据分析需求将索引字典数据分发给大数据分析单元；大数据分析单元可以集群部署，根据预先设定的分析统计策略配置，从消息队列实时得到索引字典，从日志存储管理子系统获取索引字典相对应的内容字典，进行周期性的分类统计，并将统计结果保存于日志存储管理子系统；每次完成统计时实时通知日志展现接口展示；日志展现接口收到大数据分析单元的统计完成通知后，将统计结果推送到用户界面，用户界面按照展现需求，到日志存储管理子系统取统计结果，在用户界面上展示。2.如权利要求1所述的方法，所述的日志处理包括日志预处理，生成内容字典和索引字典之前，所述日志预处理包括两级拆分过程：第一级拆分和第二级拆分；所述第一级拆分为日志信息头部部分的解析拆分，用于拆分出数据的基本信息；所述第二级拆分为日志内容部分的解析拆分，将信息格式抽象化，进行字段名和字段值的定位，然后将字段名和字段值分开，保存为Key-Vlaue格式。3.如权利要求2所述的方法，所述的内容字典由多类型数据集合构成，然后由内容字典中各个内容的定位偏移组成多类型数据集合组成的索引字典。4.如权利要求3所述的方法，所述索引字典还包括将每条索引增加GUID为键的唯一标识，将带有标识的索引加入消息队列。5.如权利要求1所述的方法，所述的日志存储管理子系统采用内存存储和落地存储两个级别的日志存储方式，包括统计结果库、内存详细信息库，对应为内存存储方式，还包括内存镜像存储区、冷数据存储区，对应为落地存储方式；通过热点监控机制实现分级存储区之间的数据切换，通过持久化机制保持内存存储数据的完整性；所述的内存详细信息库用于保存进行日志预处理后生成的内容字典，以GUID为Key进行数据存储；所述的统计结果库是用于保存大数据分析单元的统计结果。6.如权利要求5所述的方法，所述的热点监控机制用于控制冷数据和热数据的转换，根据数据使用的频率进行引用计数，数据初始被存于冷数据存储区，当冷数据使用频率的计数值高到一定数值时转变为热数据,存到内存详细信息库；热数据存到一定的时间期限又被存回冷数据存储区；所述的持久化机制是实时对统计结果库、内存详细信息库进行写磁盘操作，保存于内存镜像存储区。7...

【专利技术属性】
技术研发人员：周春楠，赵贵阳，赵之阳，贾斯亮，
申请(专利权)人：亿阳安全技术有限公司，
类型：发明
国别省市：北京,11