一种组件子序列相关性感知的日志异常检测装置制造方法及图纸

本发明专利技术公开了一种组件子序列相关性感知的日志异常检测装置，属于智能运维和深度学习技术领域，包括，在将日志序列S划出部分作为样本、获取时间特征嵌入表示t和语义特征嵌入表示V和获取时间特征嵌入表示t

【技术实现步骤摘要】
一种组件子序列相关性感知的日志异常检测装置


[0001]本专利技术涉及智能运维和深度学习
，具体涉及一种组件子序列相关性感知的日志异常检测装置。

技术介绍

[0002]现今，大量的软件系统提供在线服务给全球用户，一旦系统出现故障，不仅影响用户体验，而且会造成巨大的经济损失。因此，及时准确地检测异常对于保障系统正常运行至关重要。为了便于识别和诊断可能出现的异常，软件系统都会产生日志。日志数据由一系列按照时间顺序排列的非结构或半结构数据组成，描述了系统运行状态以及重要事件，能够帮助运维人员快速判断系统是否异常，发现故障出现原因，同时也为异常检测研究提供了丰富的数据支持。随着系统规模的逐步增长，系统产生的日志也越来越多。除此之外，分布式软件系统的发展和应用使系统日志更加复杂，使用关键字或正则化等方法手动检查和定位异常变得更加困难。因此，自动化日志异常检测方法变得更加必要。
[0003]目前，自动化日志异常检测方法主要分为两类。第一类是传统方法，可以进一步分为基于有监督学习和基于无监督或自监督学习。基于有监督学习的方法通过提取日志数据中的模板数量或关键词分布等统计特征对日志序列进行分类，但需要数据有标签，难以实际应用。基于无监督或自监督学习的方法虽然不需要标签，但无法捕获日志序列中的长期依赖关系。
[0004]第二类方法是基于深度神经网络的方法。这种方法提取日志序列中的日志模板数量、语义特征或时间特征，结合序列依赖捕获系统正常或异常状态时的日志模式。为了捕获更加复杂的日志模式，一些方法引入组件序列、辅助数据集或多尺度的设计，结合序列依赖增强模型对系统运行状态的感知能力。除了循环神经网络，其他深度神经网络也被用于解决异常检测中的不同的挑战。例如，引入生成对抗网络来获得新的日志数据能够增强模型对异常信息的捕获能力。为了建模日志序列的时间相关性，将日志模板排列为矩阵，并引入卷积神经网络及其变体能够捕获日志序列中的时间依赖。此外，将日志序列转化为图，其中节点表示日志模板，边表示日志模板在序列中的执行顺序，接着引入图神经网络建模图中的信息交互能够捕获复杂的日志模式。由于能自动进行特征学习，基于深度神经网络的日志异常检测方法往往能比传统日志异常检测方法取得更好的性能，利用日志消息中的线程、组件和日志级别等信息还能进一步提高这些方法的性能。然而，这些方法忽略了组件子序列之间的相互影响，仅依靠序列依赖难以有效捕获组件中的异常信息。

技术实现思路

[0005]鉴于上述，本专利技术的目的是提供一种组件子序列相关性感知的日志异常检测装置，结合捕捉到的序列依赖，通过预测下一条日志消息中的日志模板进行异常检测，进而提高检测效率和检测精准度。
[0006]为实现上述专利技术目的，本专利技术提供了一种组件子序列相关性感知的日志异常检测
装置，包括存储器和处理器，所述存储器用于存储执行组件子序列相关性感知的日志异常检测的计算机可执行程序，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行程序，所述处理器执行所述计算机可执行程序时，实现以下步骤：
[0007]将日志序列S划出部分作为样本，对时间戳、日志模板编码以获取时间特征嵌入表示t和语义特征嵌入表示V，根据组件从日志序列中提取子序列，对时间戳、日志模板编码以获取每条子序列时间特征嵌入表示t
c
和语义特征嵌入表示V
c
；
[0008]构建组件子序列相关性感知的日志异常检测模型，包括特征提取模块，序列依赖捕获模块，隐关系编码模块，图卷积模块，子序列融合模块、嵌入表示拼接模块，日志模板预测模块以及日志异常检测模块，特征提取模块用于根据时间特征嵌入表示t和语义特征嵌入表示V获取日志序列特征的嵌入表示X，根据子序列时间特征嵌入表示t
c
和语义特征嵌入表示V
c
获取第i条子序列特征的嵌入表示序列依赖捕获模块用于根据日志序列特征的嵌入表示X获取日志序列S特征的嵌入表示x，根据第i条子序列特征的嵌入表示获取该条子序列特征的嵌入表示隐关系编码模块用于将子序列的嵌入表示两两拼接以获取拼接后两条子序列的相关性嵌入表示X
edge
，图卷积模块用于根据子序列经过序列依赖建模获取的嵌入表示X
c
、子序列的相关性权重x
rel
获取子序列更新后的嵌入表示X
m
，子序列融合模块用于根据第i条子序列经过GCN更新后的嵌入表示与全局向量的注意力权重β
i
获取全部子序列融合后的嵌入表示x
att
，拼接模块用于将子序列融合后的嵌入表示x
att
与日志序列S的嵌入表示进行拼接以获取最终的嵌入表示x
cat
，日志模板预测模块用于根据最终的嵌入表示x
cat
获取下一条日志消息中的日志模板的概率分布日志异常检测模块用于根据下一条真实的日志模板和样本的预测结果判断日志序列S是否出现异常；
[0009]将所有样本送入该组件子序列相关性感知的日志异常检测模型中进行训练，并通过更新模型参数不断优化；
[0010]利用参数优化的日志异常检测模型进行日志异常检测。
[0011]优选地，所述所述特征提取模块通过特征提取器获取日志序列的嵌入表示X和第i条子序列的嵌入表示
[0012]对于日志序列，特征提取器首先使用两个全连接层对时间特征和语义特征的嵌入表示进行非线性变换，然后将二者拼接起来形成日志序列特征的嵌入表示X，具体计算过程为：
[0013]V
′
＝f
v
(Linear(V,β
v
))，
[0014]T
′
＝f
t
(Linear(t,β
t
))，
[0015]X＝Concat(V
′
,T
′
)，
[0016]其中，Linear为全连接层的计算过程，β
v
和β
t
为可学习的参数，f
v
和f
t
为Relu激活函数，Concat为拼接操作；
[0017]对于第i条子序列，特征提取器首先使用两个全连接层对第i条子序列时间特征嵌入表示t
c
和语义特征的嵌入表示V
c
进行非线性变换，然后将二者拼接起来形成第i条子序列特征的嵌入表示具体计算过程为：
[0018][0019][0020][0021]其中，Linear为全连接层的计算过程，和为可学习的参数，f
cv
和f
ct
为Relu激活函数，Concat为拼接操作。
[0022]优选地，所述序列依赖捕获模块采用长短期记忆网络LSTM根据日志序列特征的嵌入表示X捕获序列依赖以获取日志序列S特征的嵌入表示x，根据第i条子序列特征的嵌入表示获取第i条子序列特征的嵌入表示日志序列S与第i条子序列互不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种组件子序列相关性感知的日志异常检测装置，包括存储器和处理器，所述存储器用于存储执行组件子序列相关性感知的日志异常检测的计算机可执行程序，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行程序，其特征在于：所述处理器执行所述计算机可执行程序时，实现以下步骤：将日志序列S划出部分作为样本，对时间戳、日志模板编码以获取时间特征嵌入表示t和语义特征嵌入表示V，根据组件从日志序列中提取子序列，对时间戳、日志模板编码以获取每条子序列时间特征嵌入表示t
c
和语义特征嵌入表示V
c
；构建组件子序列相关性感知的日志异常检测模型，包括特征提取模块，序列依赖捕获模块，隐关系编码模块，图卷积模块，子序列融合模块、嵌入表示拼接模块，日志模板预测模块以及日志异常检测模块，特征提取模块用于根据时间特征嵌入表示t和语义特征嵌入表示V获取日志序列特征的嵌入表示X，根据子序列时间特征嵌入表示t
c
和语义特征嵌入表示V
c
获取第i条子序列特征的嵌入表示序列依赖捕获模块用于根据日志序列特征的嵌入表示X获取日志序列特征的嵌入表示x，根据第i条子序列特征的嵌入表示获取该条子序列特征的嵌入表示隐关系编码模块用于将子序列的嵌入表示两两拼接以获取拼接后两条子序列的相关性嵌入表示图卷积模块用于根据子序列经过序列依赖建模获取的嵌入表示X
c
、子序列的相关性权重x
rel
获取子序列更新后的嵌入表示X
m
，子序列融合模块用于根据第i条子序列经过GCN更新后的嵌入表示与全局向量的注意力权重β
i
获取全部子序列融合后的嵌入表示x
att
，拼接模块用于将子序列融合后的嵌入表示x
att
与日志序列S的嵌入表示进行拼接以获取最终的嵌入表示x
cat
，日志模板预测模块用于根据最终的嵌入表示x
cat
获取下一条日志消息中的日志模板的概率分布日志异常检测模块用于根据下一条真实的日志模板和样本的预测结果判断日志序列S是否出现异常；将所有样本送入日志异常检测模型中进行训练，并通过更新模型参数不断优化；利用参数优化的日志异常检测模型进行日志异常检测。2.根据权利要求1所述的组件子序列相关性感知的日志异常检测模型，其特征在于，所述特征提取模块通过特征提取器获取日志序列的嵌入表示X和第i条子序列的嵌入表示对于日志序列，特征提取器首先使用两个全连接层对时间特征嵌入表示t和语义特征的嵌入表示V进行非线性变换，然后将二者拼接起来形成日志序列特征的嵌入表示X，具体计算过程为：V'＝f
v
(Linear(V,β
v
))，T'＝f
t
(Linear(t,β
t
))，X＝Concat(V
′
,T
′
)，其中，Linear为全连接层的计算过程，β
v
和β
t
为可学习的参数，f
v
和f
t
为Relu激活函数，Concat为拼接操作；对于第i条子序列，特征提取器首先使用两个全连接层对第i条子序列时间特征嵌入表示t
c
和语义特征的嵌入表示V
c
进行非线性变换，然后将二者拼接起来形成第i条子序列特征
的嵌入表示具体计算过程为：V
′
c
＝f
cv
(Linear(V
c
,βv
c
))，))，其中，Linear为全连接层的计算过程，和为可学习的参数，f
cv
和f
ct
为Relu激活函数，Concat为拼接操作。3.根据权利要求1所述的组件子序列相关性感知的日志异常检测模型，其特征在于，所述序列依赖捕获模块采用长短期记忆网络LSTM根据日志序列特征的嵌入表示X捕获序列依赖以获取日志序列S特征的嵌入表示x，根据第i条子序列特征的嵌入表示获取第i条子序列特征的嵌入表示日志序列S与第i条子序列互不共享LSTM网络参数，不同子序列则使用共享参数的LSTM网络，具体计算过程为：x＝LSTM1(X)，其中，LSTM1和LSTM2表示两个不共享参数的LSTM网络的计算过程，X表示日志序列特征的嵌入表示，表示第i条子序列特征的嵌入表示。4.根据权利要求1所述的组件子序列相关性感知的日志异常检测模型，其特征在于，所述隐关系编码模块用于将子序列的嵌入表示两两拼接，采用多重感知机制MLP获取拼接后两条子序列的相关性嵌入表示具体计算过程为：其中，和为第i和第j条子序列经过序列依赖建模获取的嵌入表示，Concat为拼接操作，为MLP的计算过程，f为Relu激活函数，隐关系编码器采用卷积操作获取子序列的相关性权重x
rel
，计算过程如下：其中，为第i和第j条子序列的相关性嵌入表示，Conv为一维卷积神经网络1D
‑
CNN的计算过程，σ为Sigmoid激活函数。5.根据权利要求1所述的组件子序列相关性感知的日志异常检测模型，其特征在于，所述图卷积模块采用图卷积神经网络GCN实现子序列间的信息交互以获取子序列更新后的嵌入表示X
m
，将不同子序列视为图中的节点，子序列的相关性权重x
rel
视为边权构建隐关系图，经过GCN计算得到子序列更新后的嵌入表示X
m
，具体计...

【专利技术属性】
技术研发人员：陈岭，宋朝都，
申请(专利权)人：浙江大学，
类型：发明
国别省市：