一种日志类型的检测方法、装置及设备制造方法及图纸

本发明专利技术公开了一种日志类型的检测方法、装置及设备，方法包括：获取待检测日志数据；根据所述待检测日志数据中的待检测关键词之间的语义关联关系，构建待检测日志事件子图；根据所述待检测日志事件子图，在训练好的日志类型标注器的日志事件图中的相对应顶点的类型，对所述待检测日志事件子图中的顶点进行类型标注，得到所述待检测日志事件子图的各顶点的类型；根据所述待检测日志事件子图的各顶点的类型，输出所述待检测日志数据的类型。本发明专利技术的方案可以提高日志类型检测的准确性。方案可以提高日志类型检测的准确性。方案可以提高日志类型检测的准确性。

【技术实现步骤摘要】
一种日志类型的检测方法、装置及设备


[0001]本专利技术涉及日志信息处理
，特别是指一种日志类型的检测方法、装置及设备。

技术介绍

[0002]日志是一种半结构化数据，记录着系统的行为及故障等信息，自动化日志分析可以帮助运维人员监控系统状态，检测系统异常。
[0003]日志异常检测方法，利用日志解析工具处理日志序列为日志模板，并利用标注的正常日志数据生成正常日志模式，然后通过与正常日志模式对比，检测日志数据中的异常日志。
[0004]日志解析方法，利用日志解析器将日志消息解析为日志事件（即日志消息模板），构造日志序列，然后构建弱监督或监督机器学习模型来检测异常。
[0005]但是由于日志消息本身有一些新的关键字（即它们不会出现在历史日志中）和语义信息，现有方法中的这种日志解析方式可能会导致一些错误，无法准确检测异常日志。

技术实现思路

[0006]本专利技术要解决的技术问题是如何提供一种日志类型的检测方法、装置及设备，可以提高日志类型检测的准确性。
[0007]为解决上述技术问题，本专利技术的技术方案如下：一种日志类型的检测方法，包括：获取待检测日志数据；根据所述待检测日志数据中的待检测关键词之间的语义关联关系，构建待检测日志事件子图；根据所述待检测日志事件子图，在训练好的日志类型标注器的日志事件图中的相对应顶点的类型，对所述待检测日志事件子图中的顶点进行类型标注，得到所述待检测日志事件子图的各顶点的类型；根据所述待检测日志事件子图的各顶点的类型，输出所述待检测日志数据的类型。
[0008]可选的，所述日志类型标注器通过以下过程进行训练：获得关键词序列集合和原始日志数据集，所述关键词序列集合包括标注了日志类型的至少一种类型的关键词，所述原始日志数据集包括至少一条原始日志数据；根据所述关键词序列集合中每一种类型的关键词之间的语义关联关系构建训练日志事件图，所述训练日志事件图中，所述关键词为所述训练日志事件图的顶点，所述关键词之间的共现为所述训练日志事件图的边；根据所述原始日志数据中的关键词之间的语义关联关系，构建训练日志事件子图；
根据所述训练日志事件子图在所述训练日志事件图中的相对应顶点的类型，对所述训练日志事件子图中的顶点进行类型标注，得到所述训练日志事件子图的各顶点的类型；将所述训练日志事件子图的各顶点对应的关键词进行分类，得到至少一种类型的训练目标关键词；根据所述至少一种类型的训练目标关键词，更新所述关键词序列集合。
[0009]可选的，根据所述原始日志数据中的关键词之间的语义关联关系，构建训练日志事件子图，包括：将所述原始日志数据对应的日志模板中的私有变量，作为所述原始日志数据的关键词；根据所述关键词之间的语义关联关系，构建训练日志事件子图，所述训练日志事件子图中，所述原始日志数据的关键词为所述训练日志事件子图的顶点，所述关键词之间的共现为所述训练日志事件子图的边。
[0010]可选的，根据所述训练日志事件子图在所述训练日志事件图中的相对应顶点的类型，对所述训练日志事件子图中的顶点进行类型标注，得到所述训练日志事件子图的各顶点的类型，包括：遍历所述训练日志事件图中的各顶点，获得与所述训练日志事件子图相同的诱导子图；将所述诱导子图的各顶点的类型，确定为所述训练日志事件子图的相对应的各顶点的类型，对所述训练日志事件子图中的顶点进行类型标注，得到所述训练日志事件子图的各顶点的类型。
[0011]可选的，遍历所述训练日志事件图中的各顶点，获得与所述训练日志事件子图相同的诱导子图，包括：随机采样一个类型；随机从类型为的关键词中采样一个关键词；从高斯分布采样步长L；以关键词作为起始节点，作为游走的概率，L作为游走步长，在所述训练日志事件图上执行随机游走，获得与所述训练日志事件子图相同的目标子图。
[0012]可选的，高斯分布的参数如下：；；其中，表示原始日志数据中的关键词的个数，f为关键词个数统计
函数，k为整数，n为日志数量，m为高斯分布的序号，i为第i个日志数据；通过高斯分布对长度L的随机游走进行采样，从节点到游走的概率如下：；其中，是顶点和的共现频率，是的邻居顶点集合，j为图节点序号；所述日志事件子图的关键词属于日志事件图的一组顶点，关键词之间的边属于日志事件图的一组边，k=1，2，3，
…
，j。
[0013]可选的，将所述训练日志事件子图的各顶点对应的关键词进行分类，得到至少一种类型的目标关键词，包括：将所述训练日志事件子图的各顶点对应的关键词，输入目标分类器；通过所述目标分类器，对所述训练日志事件子图的各顶点对应的关键词重新提取关键词，得到至少一种类型的训练目标关键词。
[0014]本专利技术的实施例还提供一种日志类型的检测装置，包括：获取模块，用于获取待检测日志数据；处理模块，用于根据所述待检测日志数据中的待检测关键词之间的语义关联关系，构建待检测日志事件子图；根据所述待检测日志事件子图，在训练好的日志类型标注器的日志事件图中的相对应顶点的类型，对所述待检测日志事件子图中的顶点进行类型标注，得到所述待检测日志事件子图的各顶点的类型；根据所述待检测日志事件子图的各顶点的类型，输出所述待检测日志数据的类型。
[0015]本专利技术的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。
[0016]本专利技术的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。
[0017]本专利技术的上述方案至少包括以下有益效果：本专利技术的上述方案，通过获取待检测日志数据；根据所述待检测日志数据中的待检测关键词之间的语义关联关系，构建待检测日志事件子图；根据所述待检测日志事件子图，在训练好的日志类型标注器的日志事件图中的相对应顶点的类型，对所述待检测日志事件子图中的顶点进行类型标注，得到所述待检测日志事件子图的各顶点的类型；根据所述待检测日志事件子图的各顶点的类型，输出所述待检测日志数据的类型，能够不依赖日志解析工具和任何标注数据，仍达到有效的日志异常检测准确率，解决了实际应用场景中数据标注问题和日志解析带来的错误语义问题。
附图说明
[0018]图1为本专利技术实施例提供的日志类型的检测方法流程图；图2为本专利技术实施例提供的日志类型标注器的训练方法流程图；
图3为本专利技术实施例提供的解析工具解析后的日志事件与用关键词构建的日志事件图之间的对比图；图4为本专利技术实施例提供的子图标注器的表现示意图；图5为本专利技术实施例提供的日志类型的检测装置的模块示意图。
[0019]具体实施方式
[0020]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0021]如图1所示，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志类型的检测方法，其特征在于，包括：获取待检测日志数据；根据所述待检测日志数据中的待检测关键词之间的语义关联关系，构建待检测日志事件子图；根据所述待检测日志事件子图，在训练好的日志类型标注器的日志事件图中的相对应顶点的类型，对所述待检测日志事件子图中的顶点进行类型标注，得到所述待检测日志事件子图的各顶点的类型；根据所述待检测日志事件子图的各顶点的类型，输出所述待检测日志数据的类型。2.根据权利要求1所述的日志类型的检测方法，其特征在于，所述日志类型标注器通过以下过程进行训练：获得关键词序列集合和原始日志数据集，所述关键词序列集合包括标注了日志类型的至少一种类型的关键词，所述原始日志数据集包括至少一条原始日志数据；根据所述关键词序列集合中每一种类型的关键词之间的语义关联关系构建训练日志事件图，所述训练日志事件图中，所述关键词为所述训练日志事件图的顶点，所述关键词之间的共现为所述训练日志事件图的边；根据所述原始日志数据中的关键词之间的语义关联关系，构建训练日志事件子图；根据所述训练日志事件子图在所述训练日志事件图中的相对应顶点的类型，对所述训练日志事件子图中的顶点进行类型标注，得到所述训练日志事件子图的各顶点的类型；将所述训练日志事件子图的各顶点对应的关键词进行分类，得到至少一种类型的训练目标关键词；根据所述至少一种类型的训练目标关键词，更新所述关键词序列集合。3.根据权利要求2所述的日志类型的检测方法，其特征在于，根据所述原始日志数据中的关键词之间的语义关联关系，构建训练日志事件子图，包括：将所述原始日志数据对应的日志模板中的私有变量，作为所述原始日志数据的关键词；根据所述关键词之间的语义关联关系，构建训练日志事件子图，所述训练日志事件子图中，所述原始日志数据的关键词为所述训练日志事件子图的顶点，所述关键词之间的共现为所述训练日志事件子图的边。4.根据权利要求2所述的日志类型的检测方法，其特征在于，根据所述训练日志事件子图在所述训练日志事件图中的相对应顶点的类型，对所述训练日志事件子图中的顶点进行类型标注，得到所述训练日志事件子图的各顶点的类型，包括：遍历所述训练日志事件图中的各顶点，获得与所述训练日志事件子图相同的诱导子图；将所述诱导子图的各顶点的类型，确定为所述训练日志事件子图的相对应的各顶点的类型，对所...

【专利技术属性】
技术研发人员：郭玉慧，郑铁樵，张博，
申请(专利权)人：云智慧北京科技有限公司，
类型：发明
国别省市：