一种日志处理方法、装置、设备以及计算机存储介质制造方法及图纸

本申请实施例公开了一种日志处理方法、装置、设备以及计算机存储介质，该方法包括：接收待处理的日志数据；按照日志类型对待处理的日志数据进行分类，得到至少一组日志数据，将至少一组日志数据对应存储在预设缓存仓库的至少一个存储目录文件中；其中，预设缓存仓库包括至少一个存储目录文件，且不同的日志类型对应不同的存储目录文件；从预设缓存仓库的至少一个存储目录文件中读取日志数据进行解析，并将解析结果写入目标数据库。这样，通过将待处理的日志数据按照日志类型进行分类后，将其对应存储到预设缓存仓库的若干个存储目录文件中，如此不仅能够实现对日志数据的统一管理以及规范存储，而且还能够提高日志处理的速度。而且还能够提高日志处理的速度。而且还能够提高日志处理的速度。

【技术实现步骤摘要】
一种日志处理方法、装置、设备以及计算机存储介质


[0001]本申请涉及计算机数据处理
，尤其涉及一种日志处理方法、装置、设备以及计算机存储介质。

技术介绍

[0002]当今社会处于信息化时代，随着计算机技术的高速发展，对信息安全提出了更高的要求。各大厂商的防火墙设备广泛部署在各领域，不可避免的会产生海量的防火墙日志，这些防火墙日志对网络安全审计至关重要，如何接收和存储海量的防火墙日志，是首先需要思考和解决的问题。
[0003]目前，各厂商各防火墙设备的日志格式千差万别，SYSLOG作为主要的日志格式，广泛应用于各类网络和安全设备中，且被多数操作系统支持，已成为日志的重要标准。然而，即便是SYSLOG格式的日志，日志的类型和具体内容格式也各不相同，在对日志数据进行接收与存储时，存在日志数据量过大、日志类型不统一等现象，导致难以对日志进行统一管理及规范存储，从而降低了日志处理的速度。

技术实现思路

[0004]本申请提供了一种日志处理方法、装置、设备以及计算机存储介质，能够实现对日志数据的统一管理及规范存储，同时还能够提高日志处理的速度。
[0005]本申请的技术方案是这样实现的：
[0006]第一方面，本申请实施例提供了一种日志处理方法，该方法包括：
[0007]接收待处理的日志数据；
[0008]按照日志类型对待处理的日志数据进行分类，得到至少一组日志数据，将至少一组日志数据对应存储在预设缓存仓库的至少一个存储目录文件中；其中，预设缓存仓库包括至少一个存储目录文件，且不同的日志类型对应不同的存储目录文件；
[0009]从预设缓存仓库的至少一个存储目录文件中读取日志数据进行解析，并将解析结果写入目标数据库。
[0010]第二方面，本申请实施例提供了一种日志处理装置，该日志处理装置包括接收单元、存储单元以及解析单元，其中，
[0011]接收单元，配置为接收待处理的日志数据；
[0012]存储单元，配置为按照日志类型对待处理的日志数据进行分类，得到至少一组日志数据，将至少一组日志数据对应存储在预设缓存仓库的至少一个存储目录文件中；其中，预设缓存仓库包括至少一个存储目录文件，且不同的日志类型对应不同的存储目录文件；
[0013]解析单元，配置为从预设缓存仓库的至少一个存储目录文件中读取日志数据进行解析，并将解析结果写入目标数据库。
[0014]第三方面，本申请实施例提供了一种日志处理设备，该日志处理设备包括存储器和处理器，其中，
[0015]存储器，用于存储能够在处理器上运行的计算机程序；
[0016]处理器，用于在运行计算机程序时，执行如第一方面的日志处理方法。
[0017]第四方面，本申请实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，该计算机程序被至少一个处理器执行时实现如第一方面的日志处理方法。
[0018]本申请实施例所提供的一种日志处理方法、装置、设备以及计算机存储介质，通过接收待处理的日志数据；按照日志类型对待处理的日志数据进行分类，得到至少一组日志数据，将至少一组日志数据对应存储在预设缓存仓库的至少一个存储目录文件中；其中，预设缓存仓库包括至少一个存储目录文件，且不同的日志类型对应不同的存储目录文件；从预设缓存仓库的至少一个存储目录文件中读取日志数据进行解析，并将解析结果写入目标数据库。这样，在将待处理的日志数据按照日志类型进行分类后，将其对应存储到预设缓存仓库的若干个存储目录文件中，不仅实现了对待处理的日志数据按照其类型进行统一管理，而且还实现了日志数据在存储目录文件中的规范存储；同时还使得在对日志数据进行解析时，可以按照存储目录文件对其中的日志数据进行并行解析，进而还能够提高日志处理的速度。
附图说明
[0019]图1为本申请实施例提供的一种日志处理方法的流程示意图；
[0020]图2为本申请实施例提供的另一种日志处理方法的流程示意图；
[0021]图3为本申请实施例提供的一种日志处理方法的应用框架示意图；
[0022]图4为本申请实施例提供的一种日志处理装置的组成结构示意图；
[0023]图5为本申请实施例提供的另一种日志处理装置的组成结构示意图；
[0024]图6为本申请实施例提供的一种日志处理设备的具体硬件结构示意图；
[0025]图7为本申请实施例提供的另一种日志处理设备的组成结构示意图。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
[0027]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0028]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0029]还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0030]在相关技术中，如何接收和存储海量的防火墙日志，是首先需要思考和解决的问
题；而不同厂商的不同防火墙设备的日志格式千差万别，如何对各种防火墙日志数据进行统一解析入库也是要解决的重要问题。SYSLOG作为主要的日志类型，广泛应用于各类网络和安全设备中，且被多数操作系统支持，现已成为日志的重要标准，只要防火墙日志满足SYSLOG格式标准，便可统一接收处理。以SYSLOG日志为例，该日志格式如下(具体可以参考RFC3164，其定义了关于SYSLOG格式标准以及在网络中传输的各种规则)所示：
[0031]<PRI>HEADER MSG
[0032]这里，<PRI>表示优先级(Priority)，由程序模块(Facility)和严重性(Severity)组合而成。具体地，PRI＝Facility
×
8+Severity值。其中，Severity可分为8种不同的日志级别，分别为：0，Emergency；1，Alert；2，Critical；3，Error；4，Warning；5，Notice；6，Informational；7，Debug。
[0033]另外，HEADER可以包含时间戳TIMESTAMP和主机名HOSTNAME。如果主机名为空或者无法识别，那么会显示网际互联协议(Internet Pro本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法，其特征在于，所述方法包括：接收待处理的日志数据；按照日志类型对所述待处理的日志数据进行分类，得到至少一组日志数据，将所述至少一组日志数据对应存储在预设缓存仓库的至少一个存储目录文件中；其中，所述预设缓存仓库包括至少一个存储目录文件，且不同的日志类型对应不同的存储目录文件；从所述预设缓存仓库的至少一个存储目录文件中读取日志数据进行解析，并将解析结果写入目标数据库。2.根据权利要求1所述的方法，其特征在于，所述接收待处理的日志数据，包括：通过至少两个物理网卡监听至少两个用户数据报协议UDP端口；将从所述至少两个UDP端口获取到的日志数据确定为所述待处理的日志数据；其中，每一个物理网卡对应监听一个UDP端口，且从所述至少两个UDP端口获取日志数据的过程并发执行。3.根据权利要求1所述的方法，其特征在于，在所述接收待处理的日志数据之后，所述方法还包括：将所述待处理的日志数据存储到至少一个预设队列；根据至少一个发送线程从所述至少一个预设队列中读取日志数据并发送到所述预设缓存仓库；其中，每一个预设队列对应一个发送线程，且所述至少一个发送线程并发执行；相应地，所述按照日志类型对所述待处理的日志数据进行分类，得到至少一组日志数据，将所述至少一组日志数据对应存储在预设缓存仓库的至少一个存储目录文件中，包括：在所述预设缓存仓库接收到所述待处理的日志数据后，按照日志类型对所述待处理的日志数据进行分类，得到所述至少一组日志数据；将所述至少一组日志数据对应存储在所述至少一个存储目录文件中。4.根据权利要求3所述的方法，其特征在于，所述将所述待处理的日志数据存储到至少一个预设队列，包括：将所述待处理的日志数据按照预设分配方式对应存储到所述至少一个预设队列；其中，所述预设分配方式至少包括下述其中一项：随机分配方式、轮询分配方式和一致性哈希算法分配方式。5.根据权利要求1所述的方法，其特征在于，所述从所述预设缓存仓库的至少一个存储目录文件读取日志数据进行解析，包括：通过至少一个解析线程从所述至少一个存储目录文件中分别读取待解析的目标日志数据；其中，每一个解析线程对应一个存储目录文件，且所述至少一个解析线程并发执行；当所述目标日志数据中的字段为公有字段时，通过正则表达式对所述公有字段进行解析，得到所述公有字段的解析结果；当所述目标日志数据中的字段为私有字段时，通过预设配置规则对所述私有字段进行解析，得到所述私有字段的解析结果；根据所述公有字段的解析结果和所述私有...

【专利技术属性】
技术研发人员：李可可，刘林，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：