一种日志模板的确定方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种日志模板的确定方法、装置、电子设备及存储介质。日志模板的确定方法，包括：在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则；采用目标匹配规则，执行将待处理日志和日志模板库中的各日志模板进行匹配的操作；如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作；在确定使用全部匹配规则均未能获取与待处理日志匹配的日志模板时，将待处理日志作为新的日志模板加入至日志模板库中。本发明专利技术实施例的技术方案能够降低日志模板提取的计算复杂度，提高日志模板提取的通用性。的通用性。的通用性。

【技术实现步骤摘要】
一种日志模板的确定方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种日志模板的确定方法、装置、电子设备及存储介质。

技术介绍

[0002]日志记录了系统运行期间大量的有价值的信息，系统的后期维护也是以查看日志为主要手段，日志在系统开发和运维过程中扮演了重要的角色。
[0003]其中，日志模板的提取是日志分析中非常重要的一环，通过提取日志的模板可以对日志进行聚类，使得同类日志属于相同模板。一般来说，正常日志占据了绝大部分，异常日志很少。通过模板进行聚类以后，运维人员可以将注意力集中于那些日志较少的模板上，快速找到想要的信息。除了能够对日志进行聚类以外，日志的模板提取还是基于数据驱动的日志分析的前置步骤，将半结构化的日志结构化，方便后续日志分析。比如提取出日志的模板后，可以进一步提取出变量。由于变量可能表明系统的某些运行指标，因此通过对变量的分析可以进行系统的异常检测。
[0004]但是传统的日志模板提取方法往往需要一个线下的训练过程。通常是收集系统运行初期一段时间内的运行日志，然后利用这些日志训练一个模型，最后将这个训练得到的模型用于线上日志的模板提取。但这种方法存在几个问题，(1)针对不同的系统都需要训练模型，这导致了模型训练较为繁琐，且计算复杂度较高的问题。(2)初期阶段收集到的日志不一定能够覆盖系统中所有事件对应的日志，例如，系统初期运行阶段不一定能够运行到所有可能的逻辑流。(3)系统通常是需要迭代更新的，更新极有可能导致日志的变化，而初期收集到的日志没有包含这些新的日志，模型无法对这些新日志进行分析预测，使得模型的通用性较差，易用性也大打折扣。

技术实现思路

[0005]本专利技术实施例提供一种日志模板的确定方法、装置、电子设备及存储介质，在不进行模型训练的前提下，降低了日志模板提取的计算复杂度，提高日志模板提取的通用性。
[0006]第一方面，本专利技术实施例提供了一种日志模板的确定方法，包括：
[0007]在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则；
[0008]采用目标匹配规则，执行将待处理日志和日志模板库中的各日志模板进行匹配的操作；
[0009]如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作；
[0010]在确定使用全部匹配规则均未能获取与待处理日志匹配的日志模板时，将待处理日志作为新的日志模板加入至日志模板库中。
[0011]第二方面，本专利技术实施例还提供了一种日志模板的确定装置，包括：
[0012]目标匹配规则获取模块，用于在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则；
[0013]匹配处理模块，用于采用目标匹配规则，执行将待处理日志和日志模板库中的各日志模板进行匹配的操作；
[0014]循环执行模块，用于如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作；
[0015]日志模板库更新模块，用于在确定使用全部匹配规则均未能获取与待处理日志匹配的日志模板时，将待处理日志作为新的日志模板加入至日志模板库中。
[0016]第三方面，本专利技术实施例还提供了一种电子设备，电子设备包括：
[0017]一个或多个处理器；
[0018]存储装置，用于存储一个或多个程序；
[0019]当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本专利技术任意实施例所提供的日志模板的确定方法。
[0020]第四方面，本专利技术实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任意实施例所提供的日志模板的确定方法。
[0021]本实施例的技术方案，通过在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则，进而采用目标匹配规则，执行将待处理日志和日志模板库中的各日志模板进行匹配的操作。如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作。在确定使用全部匹配规则均未能获取与待处理日志匹配的日志模板时，将待处理日志作为新的日志模板加入至日志模板库中。本方案无需训练用于识别日志模板的模型，直接利用不同的匹配规则即可实现对待处理日志的日志模板的确定，对于系统更新后产生的新的日志也能确定与之匹配的日志模板，并且通过不同的目标匹配规则去确定与待处理日志匹配的日志模板可以避免单一匹配规则所导致的计算复杂度较高，或者单一匹配规则匹配效果较差的问题，解决了现有技术中日志模板提取模型训练繁琐、计算复杂度高，且通用性较差的问题，能够在不进行模型训练的前提下，降低日志模板提取的计算复杂度，提高日志模板提取的通用性。
附图说明
[0022]图1是本专利技术实施例一提供的一种日志模板的确定方法的流程图；
[0023]图2是本专利技术实施例二提供的一种模板前缀树的示意图；
[0024]图3是本专利技术实施例二提供的一种日志模板的确定方法的示意图；
[0025]图4是本专利技术实施例三提供的一种日志模板的确定装置的示意图；
[0026]图5为本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。
[0028]另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0029]实施例一
[0030]图1是本专利技术实施例一提供的一种日志模板的确定方法的流程图，本实施例可适用于对日志模板的高效提取的情况，该方法可以由日志模板的确定装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。相应的，如图1所示，该方法包括如下操作：
[0031]S110、在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则。
[0032]其中，待处理日志可以是从任意终端获取的日志。匹配规则库可以是存储有多个匹配规则的数据库。目标匹配规则可以是在匹配规则库中能够进行选择的，当前优先级最高的匹配规则。需要说明的是，当匹配规则库中的匹配规则A被选定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志模板的确定方法，其特征在于，包括：在接收到待处理日志时，按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则；采用目标匹配规则，执行将所述待处理日志和日志模板库中的各日志模板进行匹配的操作；如果未能获取与待处理日志匹配的日志模板，则返回执行按照匹配规则库中各匹配规则的优先级顺序，依次从匹配规则库中获取目标匹配规则的操作；在确定使用全部匹配规则均未能获取与待处理日志匹配的日志模板时，将待处理日志作为新的日志模板加入至日志模板库中。2.根据权利要求1所述的方法，其特征在于，所述匹配规则库中包括：模板前缀树匹配规则、最简单循环匹配规则以及最长公共子序列匹配规则；其中，所述模板前缀树匹配规则的优先级高于所述最简单循环匹配规则，所述最简单循环匹配规则的优先级高于所述最长公共子序列匹配规则。3.根据权利要求2所述的方法，其特征在于，采用目标匹配规则，执行将所述待处理日志和日志模板库中的各日志模板进行匹配的操作，包括：在当前获取的目标匹配规则为模板前缀树匹配规则时，获取与所述日志模板库匹配的模板前缀树；其中，模板前缀树的一条路径对应日志模板库中的一个日志模板，每个路径中的各路径节点对应日志模板中包括的不同字符；顺序将模板前缀树包括的各条路径与所述待处理日志进行匹配，并在确定所述待处理日志与目标路径完全匹配时，计算所述目标路径的字符串长度占所述待处理日志中全部字符串长度的比例；如果所述比例超过预设的比例阈值，则确定所述待处理日志与目标路径对应的日志模板相匹配；否则，确定未能获取与待处理日志匹配的日志模板。4.根据权利要求2所述的方法，其特征在于，采用目标匹配规则，执行将所述待处理日志和日志模板库中的各日志模板进行匹配的操作，包括：在当前获取的目标匹配规则为最简单循环匹配规则时，依次从所述日志模板库中获取当前处理日志模板；创建第一指针和第二指针分别指向待处理日志和当前处理日志模板的首个字符；迭代执行在第一指针和第二指针所指向的字符相同时，同时将第一指针和第二指针指向下一字符，并在第一指针和第二指针所指向的字符不同时，仅将第一指针指向下一字符的操作；在第一指针移动至待处理日志的末位字符时，检测第二指针是否位于当前处理日志模板的末位字符；若是，则在当前处理日志模板的字符串长度占所述待处理日志中全部字符串长度的比例超过预设的比例阈值的情况下，确定所述待处理日志与当前处理日志模板相匹配；否则，返回执行依次从所述日志模板库中获取当前处理日志模板的操作，并在确定全部日志模板均与待处理日志不匹配时，确...

【专利技术属性】
技术研发人员：李林翰，黄之，周小明，邓乔波，潘申龄，吴金鑫，侯立冬，孟宝权，王杰，杨满智，蔡琳，梁彧，田野，傅强，金红，陈晓光，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：