安全日志采集解析方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种安全日志采集解析方法，涉及信息安全处理领域，其通过制定不同的解析规则，实现对不同格式的安全日志进行解析。该方法包括以下步骤：接收安全日志；根据制定的解析规则生成解析配置文件；利用所述解析配置文件解析所述安全日志，将解析后的安全日志进行存储。本发明专利技术还公开了一种安全日志采集分析装置、电子设备和计算机存储介质，以实现解析不同格式的安全日志。

Safety Log Collection and Analysis Method, Device, Equipment and Media

【技术实现步骤摘要】
安全日志采集解析方法、装置、设备及介质
本专利技术涉及信息安全处理领域，尤其涉及一种安全日志采集解析方法、装置、设备及介质。
技术介绍
Internet的飞速发展，为信息的传播和利用带来了极大的便利，同时也带来了信息安全问题。为了解决网络安全问题，安全厂商提供了各种各样的安全设备，如防火墙、入侵检测系统、安全审计系统等，但是随着安全设备的广泛部署，也带来了相应的问题，如连续运行的安全设备会产生海量的安全日志，对安全日志的分析工作十分繁复，并且不同安全厂商提供的不同安全设备产生的安全日志格式也是不同的，很难用统一的方法去分析和使用。而传统的日志分析方案一般是使用XML配置文件解析安全日志，但是使用XML配置文件解析安全日志存在以下问题：1.XML配置文件比较繁琐，不方便维护；2.XML配置文件的正则表达式和变量是分离的，且需要通过index指定，当日志过长时容易出错；3.开发成本相对较高，且配置文件不容易为人理解。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种安全日志采集解析方法，通过灵活的制定解析规则，制定不同的解析配置文件去解析不同格式的安全日志，从而完成对不同格式的安全日志的解析和存储，使得安全日志分析工作更简单高效。本专利技术的目的之一采用以下技术方案实现：安全日志采集解析方法，包括以下步骤：接收安全日志；根据制定的解析规则生成解析配置文件；利用所述解析配置文件解析所述安全日志，将解析后的安全日志进行存储。进一步地，根据不同类型的解析规则，使用YAML配置文件分别定义所述不同类型的解析规则，以生成不同类型的解析配置文件；所述解析配置文件包括配置文件的基本信息描述、grok解析规则定义、字段映射规则，或还包括别名转换规则、默认值处理规则、表达式展开规则中的任意一项或多项。进一步地，采用多线程执行所述解析配置文件解析所述安全日志的过程，所述解析配置文件解析所述安全日志具体为：使用解析配置文件中写入的解析规则，将所述安全日志解析成对象。进一步地，将安全日志解析成对象的过程包括：将所述安全日志进行grok解析、别名转换、字段映射、默认值处理、表达式展开，或者省略别名转换、默认值处理、表达式展开中的任意一个或多个步骤。进一步地，将解析后的安全日志放入存储队列进行存储。进一步地，批量获取解析后的安全日志，使用批处理和异步处理将所述解析后的安全日志存储到elasticsearch存储队列。进一步地，使用dockerswarm或kubernetes分布式部署技术对安全日志进行批量解析。本专利技术的目的之二在于提供一种安全日志采集解析装置，其通过定义解析规则，实现对不同格式的安全日志的统一解析。本专利技术的目的之二采用以下技术方案实现：安全日志采集解析装置，其包括：日志获取模块，用于接收安全日志；日志解析模块，用于根据解析规则生成解析配置文件，利用所述解析配置文件完成安全日志解析；结果输出模块，用于输出安全日志解析结果并对所述安全日志解析结果进行存储。本专利技术的目的之三在于提供执行专利技术目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的安全日志采集解析方法。本专利技术的目的之四在于提供存储专利技术目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的安全日志采集解析方法。相比现有技术，本专利技术的有益效果在于：本专利技术通过灵活制定不同的解析规则以构成不同解析配置文件，根据不同的使用场景，采用不同解析文件解析日志，实现不同类型的安全日志的解析，并且实现将解析后的安全日志按照统一格式存储，为后续分析安全日志提供方便。并且采用多线程解析、批处理、异步插入等操作实现各种安全日志的高效处理。附图说明图1是本专利技术安全日志采集解析方法的流程图；图2是实施例1中安全日志解析过程的示意图；图3是实施例2的安全日志采集解析装置的结构框图；图4是实施例3的电子设备的结构框图。具体实施方式以下将结合附图，对本专利技术进行更为详细的描述，需要说明的是，下参照附图对本专利技术进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。实施例1本实施例提供了一种安全日志采集解析方法，旨在根据不同场景和不同类型的安全日志，制定不同类型的解析规则，并将不同解析规则写入解析配置文件，实现对不同类型的安全日志的统一处理。根据上述原理，对安全日志采集解析方法进行介绍，如图1所示：安全日志采集解析方法，具体包括以下步骤：接收安全日志；根据制定的解析规则生成解析配置文件；利用所述解析配置文件解析所述安全日志，将解析后的安全日志进行存储。本实施例中，由syslog服务器作为日志接受服务器，完成对安全日志的接收，该syslog服务器负责数据源的采集，支持TCP和UDP协议。由syslog服务器接收后的安全日志放到rabbitmq队列或kafka队列中。此处提及rabbitmq队列和kafka队列均为消息队列。需要说明的是，在本专利技术的其他实施例中，消息队列的选择不仅限于rabbitmq队列和kafka队列，可以根据实际情况选择其他消息队列作为保存安全日志的容器。优选地，为了根据不同的需求对不同类型或同一类型的安全日志进行解析(即使是同一类型的安全日志，其内容也是多样的，使用单一的解析规则无法提取和解析安全日志)，因此需要制定不同类型的解析规则。根据该不同类型的解析规则，使用YAML配置文件来定义这些不同类型的解析规则以生成不同类型的解析配置文件；所述解析配置文件包括配置文件的基本信息描述、grok解析规则定义、字段映射规则，或还包括别名转换规则、默认值处理规则、表达式展开规则中的任意一项或多项，在解析配置文件中，配置文件的基本信息描述、grok解析规则定义和字段映射规则为必要信息，根据实际的安全日志类型，在配置文件的基本信息描述、grok解析规则定义和字段映射规则的基础上还能加入其他解析规则，其他解析规则不限于上述默认值处理规则、别名转换规则、表达式展开规则以及字段重组规则。其中，上述grok解析规则定义为制定grok表达式，根据实际解析情况可以定义多个grok表达式，从上往下执行匹配；别名转换，是为grok表达式中的字段配置多个别名，起到一个字段对应多个字段的作用；字段映射，分为普通映射和正则映射，普通映射的名字和grok表达式的字段相同，grok表达式的字段后加.r即为正则映射；默认值处理，用于给grok表达式的字段设置默认值。在安全日志的解析过程中，将不同解析配置文件进行组合构成一个解析器组，该解析器组在运行系统的CPU核数动态生成，并且一个解析器组在一个线程中执行，从而保证解析器组的执行顺序。因不同的解析配置文件需要按照顺序执行，所以将多个解析配置文件放在一个解析组里，以保证解析顺序，且每个解析配置文件中均包含多个grok解析表达式，针对同一安全设备产生的多种形式的安全日志，使用不同的grok表达式进行处理。为了提高性能，使用多线程执行解析器组解析日志的过程，实现安全日志解析过程的多线程处理，实现10000eps事件处理量。优选地，利用解析配置文件解析安全日志的具体操作为：使用解析配置文件中写入的解析本文档来自技高网...

【技术保护点】
1.一种安全日志采集解析方法，其特征在于，包括以下步骤：接收安全日志；根据制定的解析规则生成解析配置文件；利用所述解析配置文件解析所述安全日志，将解析后的安全日志进行存储。

【技术特征摘要】
1.一种安全日志采集解析方法，其特征在于，包括以下步骤：接收安全日志；根据制定的解析规则生成解析配置文件；利用所述解析配置文件解析所述安全日志，将解析后的安全日志进行存储。2.如权利要求1所述的安全日志采集解析方法，其特征在于，根据不同类型的解析规则，使用YAML配置文件分别定义所述不同类型的解析规则，以生成不同类型的解析配置文件；所述解析配置文件包括配置文件的基本信息描述、grok解析规则定义、字段映射规则，或还包括别名转换规则、默认值处理规则、表达式展开规则中的任意一项或多项。3.如权利要求1或2所述的安全日志采集解析方法，其特征在于，采用多线程执行所述解析配置文件解析所述安全日志的过程，所述解析配置文件解析所述安全日志的具体为：使用解析配置文件中写入的解析规则，将所述安全日志解析成对象。4.如权利要求3所述的安全日志采集解析方法，其特征在于，将安全日志解析成对象的过程包括：将所述安全日志进行grok解析、别名转换、字段映射、默认值处理、表达式展开，或者省略别名转换、默认值处理、表达式展开中的任意一个或多个步骤。5.如权利要求1所述...

【专利技术属性】
技术研发人员：董超，姜峰，蒋希敏，刘雷，陶明亮，
申请(专利权)人：浙江乾冠信息安全研究院有限公司，
类型：发明
国别省市：浙江,33