一种日志解析方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种日志解析方法、装置、设备及存储介质。该方法包括：对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度；根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表；根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表。本发明专利技术实施例的技术方案，通过确定日志查找树的深度控制后续查找的首部个数，通过维护日志查找树加速日志的聚类过程，通过层次聚类对日志模式进行整合合并，进一步优化日志模式，从而达到提高日志的解析速度和日志模式的抽象精准度的效果。解析速度和日志模式的抽象精准度的效果。解析速度和日志模式的抽象精准度的效果。

【技术实现步骤摘要】
一种日志解析方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种日志解析方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的飞速发展，人们在各种社会和经济活动中产生大量的数据，例如各种传感器、智能家电产生的数据，以及各种交易系统产生的交易数据等。但是这些数据由于并不一定遵循标准的数据结构，因此很难直接理解和利用，需要将这些非结构化数据转为结构化数据。
[0003]将非结构化数据转为结构化数据，需要通过对日志解析，将日志中的信息分类提取，并形成格式统一的日志模式。但是，现有的智能化日志解析方法都不能快速且有效的提取出日志模式。有的方法提取日志模式的效果较好，但是耗时比较长；有的方法则无法将两个相似但是长度不同的日志合并在一起，导致最终获得的日志解析结果存在很多相似模式，造成存储资源浪费。

技术实现思路

[0004]本专利技术实施例提供了一种日志解析方法、装置、设备及存储介质，以解决现有的日志解析方法不能快速且有效的提取出日志模式的问题。
[0005]根据本专利技术的一方面，提供了一种日志解析方法，包括：对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度；根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表；根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表。
[0006]可选的，所述日志查找树包括：长度层、首部层和模式层；所述对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度，包括：使用分词器对各原始日志进行分词，获取各原始日志的日志首部；确定各日志首部的长度，并统计每种长度的日志首部的个数；按照日志首部的长度降序的顺序，累加每种长度的日志首部的个数，直至累加值超过所述原始日志的数量的一半；计算与所述累加值对应的日志首部长度的平均值，将平均值加2得到日志查找树的深度。
[0007]可选的，所述使用分词器对各原始日志进行分词，获取各原始日志的日志首部，包括：使用分词器对各原始日志进行分词，并在各原始日志的分词结果中匹配特定词；在各原始日志的分词结果中，从第一个出现的特定词开始，到第一个不是特定词的分词为止，将所有连续出现的特定词作为日志首部。
[0008]可选的，所述根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表，包括：逐条获取原始日志作为目标日志，根据目标日志的日志长度以及日志首部，在所述日志查找树中查找匹配的目标日志模式列表；计算所述目标日志与所述目标日志模式列表中各日志模式的相似度值，并根据所述相似度值确定相似模式；按照预设合并规则，将所述目标日志与所述相似模式进行合并；当所有原始日志都完成聚类处理后，将所述日志查找树的模式层中的所有日志模式列表作为第一日志模式列表。
[0009]可选的，所述根据目标日志的日志长度以及日志首部，在所述日志查找树中查找匹配的目标日志模式列表，包括：根据目标日志的日志长度，在所述日志查找树的长度层中查找匹配的目标长度节点；按照所述日志查找树的首部层的深度，将所述目标日志的日志首部逐层匹配所述目标长度节点下的首部节点，找到目标首部节点；将所述目标首部节点在模式层中对应的日志模式列表，作为目标日志模式列表。
[0010]可选的，所述计算所述目标日志与所述目标日志模式列表中各日志模式的相似度值，包括：对于所述目标日志模式列表中各日志模式，比较所述日志模式与所述目标日志在对应位置上的字段是否相同；将相同字段的个数与所述日志模式中的字段总数的比值，作为所述目标日志与所述日志模式的相似度值。
[0011]可选的，所述根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表，包括：对于各第一日志模式列表中的每个日志模式，根据当前相似度阈值，在键值对列表中确定与所述日志模式相似的键名项，并将所述日志模式加入到与所述键名项对应的键值项；分别对所述键值对列表中的各个键值项进行日志模式合并处理，生成新的第一日志模式列表；如果新的第一日志模式列表中的日志模式总数大于预期数量，则降低当前相似度阈值；返回执行对于各第一日志模式列表中的每个日志模式，根据当前相似度阈值，在键值对列表中确定与所述日志模式相似的键名项的操作，直至日志模式总数小于或等于预期数量，或者当前相似度阈值小于或等于预设停止阈值。
[0012]根据本专利技术的另一方面，提供了一种日志解析装置，包括：深度确定模块，用于对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度；树聚类模块，用于根据所述日志查找树对所述原始日志进行聚类，得到第一日志模式列表；
层次聚类模块，用于根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表。
[0013]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的日志解析方法。
[0014]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的日志解析方法。
[0015]本专利技术实施例的技术方案，通过对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度；根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表；根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表，解决了现有的日志解析方法不能快速且有效的提取出日志模式的问题，通过确定日志查找树的深度控制后续查找的首部个数，通过维护日志查找树加速日志的聚类过程，通过层次聚类对日志模式进行整合合并，进一步优化日志模式，从而达到提高日志的解析速度和日志模式的抽象精准度的效果。
[0016]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0017]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是根据本专利技术实施例一提供的一种日志解析方法的流程图；图2是根据本专利技术实施例一提供的一种日志查找树的示意图；图3是根据本专利技术实施例二提供的一种日志解析方法的流程图；图4是根据本专利技术实施例三提供的一种日志解析装置的结构示意图；图5是实现本专利技术实施例的日志解析方法的电子设备的结构示意图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志解析方法，其特征在于，包括：对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度；根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表；根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表。2.根据权利要求1所述的方法，其特征在于，所述日志查找树包括：长度层、首部层和模式层；所述对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度，包括：使用分词器对各原始日志进行分词，获取各原始日志的日志首部；确定各日志首部的长度，并统计每种长度的日志首部的个数；按照日志首部的长度降序的顺序，累加每种长度的日志首部的个数，直至累加值超过所述原始日志的数量的一半；计算与所述累加值对应的日志首部长度的平均值，将平均值加2得到日志查找树的深度。3.根据权利要求2所述的方法，其特征在于，所述使用分词器对各原始日志进行分词，获取各原始日志的日志首部，包括：使用分词器对各原始日志进行分词，并在各原始日志的分词结果中匹配特定词；在各原始日志的分词结果中，从第一个出现的特定词开始，到第一个不是特定词的分词为止，将所有连续出现的特定词作为日志首部。4.根据权利要求1所述的方法，其特征在于，所述根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表，包括：逐条获取原始日志作为目标日志，根据目标日志的日志长度以及日志首部，在所述日志查找树中查找匹配的目标日志模式列表；计算所述目标日志与所述目标日志模式列表中各日志模式的相似度值，并根据所述相似度值确定相似模式；按照预设合并规则，将所述目标日志与所述相似模式进行合并；当所有原始日志都完成聚类处理后，将所述日志查找树的模式层中的所有日志模式列表作为第一日志模式列表。5.根据权利要求4所述的方法，其特征在于，所述根据目标日志的日志长度以及日志首部，在所述日志查找树中查找匹配的目标日志模式列表，包括：根据目标日志的日志长度，在所述日志查找树的长度层中查找匹配的目标长度节点；按照所述日志查找树的首部层的深度，将所述目标日志的日志首部逐层匹配所述目标长度节点下的首部节点，找到目标首部节点；将所述目标首部节点在模式层中对应的日志...

【专利技术属性】
技术研发人员：张震，程涛，梁玫娟，
申请(专利权)人：北京优特捷信息技术有限公司，
类型：发明
国别省市：