基于预训练BERT句向量与Informer-encoder的日志异常检测方法技术

本发明专利技术涉及一种基于预训练BERT句向量与Informer

【技术实现步骤摘要】
基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法


[0001]本专利技术涉及日志异常检测
，尤其是涉及一种于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法。

技术介绍

[0002]异常检测是软件系统运维的重要组成部分，是保持软件系统高可用性和高可靠性的关键。在异常检测过程中，日志是重要的数据源之一。日志数据通过程序中内嵌的代码产生，能够提供多维度、细粒度的系统运行信息。与此同时，日志隐含着丰富的语义特征信息，能够为异常检测提供精确且具有可解释性的数据源。综上，基于日志的异常检测方法为发现系统异常进而定位系统问题提供了良好的视角。
[0003]现有的日志异常检测方法主要通过提取日志模板来构建有限数量的关键语义信息，然后构建模板向量，将模板向量输入神经网络模型以学习模板间的逻辑依赖关系，并根据学习到的逻辑依赖关系判别日志中是否存在异常，包括：半监督的日志异常检测方法LogAnomaly，该方法会对目标日志重新训练具有近反义词特征的词向量，并通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法，其特征在于，该方法包括以下步骤：步骤S1、获取原始日志数据并进行预处理，得到划分会话后的日志模板；步骤S2、对日志模板进行基于预训练BERT句向量的语义向量化；步骤S3、构建基于Informer
‑
encoder的异常检测模型，并采用经过S1～S2处理的正常日志数据对异常检测模型进行训练；步骤S4、将待检测的日志数据按照步骤S1～S2处理后，采用训练后的异常检测模型进行日志异常检测。2.根据权利要求1所述的一种基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法，其特征在于，所述步骤S1中的预处理包括对原始日志数据进行日志解析和会话划分，得到日志模板序列。3.根据权利要求2所述的一种基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法，其特征在于，所述日志解析具体为：将原始日志数据划分为常量部分和变量部分，常量部分为描述有系统运行事件的模板信息，变量部分为携带有系统动态运行的其余标记信息；构建设定深度的解析树，不断将原始日志与解析树中的节点逐层匹配，动态更新解析树并生成日志对应的解析结果，得到日志模板信息。4.根据权利要求2所述的一种基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法，其特征在于，所述会话划分具体为：将日志解析提取出的多个日志模板信息按照会话划分成多个日志模板序列，其中，所述会话划分包括按日志中内在的关联标识符划分和按照时间窗口划分。5.根据权利要求4所述的一种基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法，其特征在于，所述步骤S2具体为：将步骤S1得到的划分会话后的日志模版输入至BERT语言模型预训练，得到日志模板对应的句向量；其中，一个会话内的日志模板序列对应的句向量构建为一个会话矩阵，行代表列向量的维度，列代表模板序列的长度。6.根据权利要求4所述的一种基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法，其特征在于，所述步骤S3中的基于Informer
‑
encoder的异常检测模型包括依次连接的Embedding层、注意力层、残差连接与层归一化模块、前馈层、残差连接与层归一化模块和线性层；所述异常检测模型的输入为步骤S2中BERT预训练得到的会话矩阵，输出为下一个日志模版的概率。7.根据权利要求6所述的一种基于预训练BERT句向量与Informer
‑
encoder的日志异常检测方法，其特征在于，所述步骤S3包括以下子步骤：步骤S31、将步骤S2中BERT预训练得到的会话矩阵输入至输入Embedding层；步骤S32、设定固定长度的滑动窗口，在会话矩阵上滑动，将每个窗口内的向量构建为输入矩阵X，窗口外下一个日志模板的类别为该窗口的训练标签；步骤S33、通过参数矩阵将输入矩阵X转化为查询query Q、键query K和值query V，计算点积注意力，表达式为：
式中，Q＝XW
q
、K＝XW
k
、V＝XW
v
，W
q
、W
k
、d
x
为向量的特征维度、...

【专利技术属性】
技术研发人员：杜庆峰，赵亮，韩永琦，
申请(专利权)人：同济大学，
类型：发明
国别省市：