一种日志解析方法及装置制造方法及图纸

本申请提供一种日志解析方法及装置，该方法包括：获取待解析日志数据；确定待解析日志数据的目标唯一标识；根据目标唯一标识获取目标日志解析规则；根据目标日志解析规则和预设的模式匹配算法对待解析日志数据进行解析，得到解析数据。可见，该方法及装置能够快速确定解析规则并对日志进行解析，不需要逐个遍历每条规则，从而提升了日志解析效率。从而提升了日志解析效率。从而提升了日志解析效率。

【技术实现步骤摘要】
一种日志解析方法及装置


[0001]本申请涉及数据处理
，具体而言，涉及一种日志解析方法及装置。

技术介绍

[0002]目前，随着时代的发展，用户的计算机网络正变得变来越庞大，也变得越来越敏感。运营商、金融企业、学校等机构对边界防火墙的行为记录要求是必不可少的，在网络发生问题时，解析日志数据可以追踪事件源等。现有的日志解析方法，通常先定义一套正则表达式规则集，在接收到日志后，去逐个匹配每一个正则表达式，当匹配到相应规则后，使用该规则提取出所需要到信息，进而达到日志格式化的目的，进而完成统一存储。然而，在实践中发现，在接收到一条日志后，会逐个遍历每条规则进行匹配，当系统维护的规则较多时，会导致规则匹配时间长，从而降低了日志解析效率。可见，现有方法需要逐个遍历每条规则，规则匹配时间长，从而降低了日志解析效率。

技术实现思路

[0003]本申请实施例的目的在于提供一种日志解析方法及装置，能够快速确定解析规则并对日志进行解析，不需要逐个遍历每条规则，从而提升了日志解析效率。
[0004]本申请实施例第一方面提供了一种日志解析方法，包括：
[0005]获取待解析日志数据；
[0006]确定所述待解析日志数据的目标唯一标识；
[0007]根据所述目标唯一标识获取目标日志解析规则；
[0008]根据所述目标日志解析规则和预设的模式匹配算法对所述待解析日志数据进行解析，得到解析数据。
[0009]在上述实现过程中，该方法可以优先获取待解析日志数据；并确定待解析日志数据的目标唯一标识；再根据目标唯一标识获取目标日志解析规则；可见，该方法可以基于获取到的待解析日志数据的目标唯一标识快速确定其解析规则，从而以此来避免传统遍历每条规则进行匹配的方式，进而有利于提高日志解析效率。再确定目标日志解析规则之后，该方法可以根据目标日志解析规则和预设的模式匹配算法对待解析日志数据进行解析，得到解析数据。可见，该方法可以再确定了日志解析规则之后快速对其进行日志解析，从而大幅提高日志解析的效率。
[0010]进一步地，在所述获取待解析日志数据之前，所述方法还包括；
[0011]根据预设的标识码生成规则为每个生成的日志数据确定对应的唯一标识；
[0012]为每个所述唯一标识配置对应的日志解析规则。
[0013]在上述实现过程中，该方法可以在获取待解析日志数据之前，根据预设的标识码生成规则为每个生成的日志数据确定对应的唯一标识；并为每个唯一标识配置对应的日志解析规则。可见，该方法可以基于唯一标识确定对应的日志解析规则，从而以此来避免对规则的遍历，进而有利于实现规则的快速定位。
[0014]进一步地，所述根据所述目标日志解析规则和预设的模式匹配算法对所述待解析日志数据进行解析，得到解析数据，包括：
[0015]根据所述目标日志解析规则从所述待解析日志数据中提取字符串关键信息；
[0016]采用预设的模式匹配算法遍历所述字符串关键信息，确定出所有变量信息；
[0017]根据所述所有变量信息生成解析数据。
[0018]进一步地，所述根据所述目标日志解析规则从所述待解析日志数据中提取字符串关键信息，包括：
[0019]以所述目标日志解析规则为参考，逐个比对所述待解析日志数据中的每个字符得到比对结果；
[0020]根据所述比对结果和所述目标日志解析规则，从所述待解析日志数据中提取字符串关键信息。
[0021]进一步地，所述方法还包括：
[0022]确定新增标识码变动项；其中，所述新增标识码变动项包括新增日志类型、新增模块类型、新增子模块类型中的一种或者多种；
[0023]根据所述新增标识码变动项以及所述标识码生成规则，生成新增唯一标识；
[0024]为所述新增唯一标识配置对应的新增日志解析规则。
[0025]本申请实施例第二方面提供了一种日志解析装置，所述日志解析装置包括：
[0026]获取单元，用于获取待解析日志数据；
[0027]第一确定单元，用于确定所述待解析日志数据的目标唯一标识；
[0028]获取单元，用于根据所述目标唯一标识获取目标日志解析规则；
[0029]解析单元，用于根据所述目标日志解析规则和预设的模式匹配算法对所述待解析日志数据进行解析，得到解析数据。
[0030]进一步地，所述日志解析装置还包括：
[0031]第二确定单元，用于在所述获取待解析日志数据之前，根据预设的标识码生成规则为每个生成的日志数据确定对应的唯一标识；
[0032]配置单元，用于为每个所述唯一标识配置对应的日志解析规则。
[0033]进一步地，所述解析单元包括：
[0034]提取子单元，用于根据所述目标日志解析规则从所述待解析日志数据中提取字符串关键信息；
[0035]确定子单元，用于采用预设的模式匹配算法遍历所述字符串关键信息，确定出所有变量信息；以及根据所述所有变量信息生成解析数据。
[0036]进一步地，所述提取子单元包括：
[0037]比对模块，用于以所述目标日志解析规则为参考，逐个比对所述待解析日志数据中的每个字符得到比对结果；
[0038]提取模块，用于根据所述比对结果和所述目标日志解析规则，从所述待解析日志数据中提取字符串关键信息。
[0039]进一步地，所述第二确定单元，还用于确定新增标识码变动项；其中，所述新增标识码变动项包括新增日志类型、新增模块类型、新增子模块类型中的一种或者多种；
[0040]所述第二确定单元，还用于根据所述新增标识码变动项以及所述标识码生成规
则，生成新增唯一标识；
[0041]所述配置单元，还用于为所述新增唯一标识配置对应的新增日志解析规则。
[0042]本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的日志解析方法。
[0043]本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的日志解析方法。
附图说明
[0044]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0045]图1为本申请实施例提供的一种日志解析方法的流程示意图；
[0046]图2为本申请实施例提供的另一种日志解析方法的流程示意图；
[0047]图3为本申请实施例提供的一种日志解析装置的结构示意图；
[0048]图4为本申请实施例提供的另一种日志解析装置的结构示意图。...

【技术保护点】

【技术特征摘要】
1.一种日志解析方法，其特征在于，包括：获取待解析日志数据；确定所述待解析日志数据的目标唯一标识；根据所述目标唯一标识获取目标日志解析规则；根据所述目标日志解析规则和预设的模式匹配算法对所述待解析日志数据进行解析，得到解析数据。2.根据权利要求1所述的日志解析方法，其特征在于，在所述获取待解析日志数据之前，所述方法还包括；根据预设的标识码生成规则为每个生成的日志数据确定对应的唯一标识；为每个所述唯一标识配置对应的日志解析规则。3.根据权利要求1所述的日志解析方法，其特征在于，所述根据所述目标日志解析规则和预设的模式匹配算法对所述待解析日志数据进行解析，得到解析数据，包括：根据所述目标日志解析规则从所述待解析日志数据中提取字符串关键信息；采用预设的模式匹配算法遍历所述字符串关键信息，确定出所有变量信息；根据所述所有变量信息生成解析数据。4.根据权利要求1所述的日志解析方法，其特征在于，所述根据所述目标日志解析规则从所述待解析日志数据中提取字符串关键信息，包括：以所述目标日志解析规则为参考，逐个比对所述待解析日志数据中的每个字符得到比对结果；根据所述比对结果和所述目标日志解析规则，从所述待解析日志数据中提取字符串关键信息。5.根据权利要求2所述的日志解析方法，其特征在于，所述方法还包括：确定新增标识码变动项；其中，所述新增标识码变动项包括新增日志类型、新增模块类型、新增子模块类型中的一种或者多种；根据所述新增标识码变动项以及所述标识码生成规...

【专利技术属性】
技术研发人员：滕召奇，杨施俊，陈明哲，伍思佳，刘冬冬，
申请(专利权)人：山石网科通信技术股份有限公司，
类型：发明
国别省市：