一种日志解析方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种日志解析方法、装置、设备及存储介质。该方法包括：对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度；根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表；根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表。本发明专利技术实施例的技术方案，通过确定日志查找树的深度控制后续查找的首部个数，通过维护日志查找树加速日志的聚类过程，通过层次聚类对日志模式进行整合合并，进一步优化日志模式，从而达到提高日志的解析速度和日志模式的抽象精准度的效果。解析速度和日志模式的抽象精准度的效果。解析速度和日志模式的抽象精准度的效果。

【技术实现步骤摘要】
一种日志解析方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种日志解析方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的飞速发展，人们在各种社会和经济活动中产生大量的数据，例如各种传感器、智能家电产生的数据，以及各种交易系统产生的交易数据等。但是这些数据由于并不一定遵循标准的数据结构，因此很难直接理解和利用，需要将这些非结构化数据转为结构化数据。
[0003]将非结构化数据转为结构化数据，需要通过对日志解析，将日志中的信息分类提取，并形成格式统一的日志模式。但是，现有的智能化日志解析方法都不能快速且有效的提取出日志模式。有的方法提取日志模式的效果较好，但是耗时比较长；有的方法则无法将两个相似但是长度不同的日志合并在一起，导致最终获得的日志解析结果存在很多相似模式，造成存储资源浪费。

技术实现思路

[0004]本专利技术实施例提供了一种日志解析方法、装置、设备及存储介质，以解决现有的日志解析方法不能快速且有效的提取出日志模式的问题。
[0005]根据本专利技术的一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志解析方法，其特征在于，包括：对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度；根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表；根据各第一日志模式列表中的日志模式的相似度，对各第一日志模式列表进行整合合并，得到与所述原始日志匹配的第二日志模式列表。2.根据权利要求1所述的方法，其特征在于，所述日志查找树包括：长度层、首部层和模式层；所述对待解析的原始日志进行分词，根据分词结果确定日志查找树的深度，包括：使用分词器对各原始日志进行分词，获取各原始日志的日志首部；确定各日志首部的长度，并统计每种长度的日志首部的个数；按照日志首部的长度降序的顺序，累加每种长度的日志首部的个数，直至累加值超过所述原始日志的数量的一半；计算与所述累加值对应的日志首部长度的平均值，将平均值加2得到日志查找树的深度。3.根据权利要求2所述的方法，其特征在于，所述使用分词器对各原始日志进行分词，获取各原始日志的日志首部，包括：使用分词器对各原始日志进行分词，并在各原始日志的分词结果中匹配特定词；在各原始日志的分词结果中，从第一个出现的特定词开始，到第一个不是特定词的分词为止，将所有连续出现的特定词作为日志首部。4.根据权利要求1所述的方法，其特征在于，所述根据所述日志查找树对所述原始日志进行聚类处理，得到第一日志模式列表，包括：逐条获取原始日志作为目标日志，根据目标日志的日志长度以及日志首部，在所述日志查找树中查找匹配的目标日志模式列表；计算所述目标日志与所述目标日志模式列表中各日志模式的相似度值，并根据所述相似度值确定相似模式；按照预设合并规则，将所述目标日志与所述相似模式进行合并；当所有原始日志都完成聚类处理后，将所述日志查找树的模式层中的所有日志模式列表作为第一日志模式列表。5.根据权利要求4所述的方法，其特征在于，所述根据目标日志的日志长度以及日志首部，在所述日志查找树中查找匹配的目标日志模式列表，包括：根据目标日志的日志长度，在所述日志查找树的长度层中查找匹配的目标长度节点；按照所述日志查找树的首部层的深度，将所述目标日志的日志首部逐层匹配所述目标长度节点下的首部节点，找到目标首部节点；将所述目标首部节点在模式层中对应的日志...

【专利技术属性】
技术研发人员：张震，程涛，梁玫娟，
申请(专利权)人：北京优特捷信息技术有限公司，
类型：发明
国别省市：