基于图卷积神经网络的特征增强云容器异常日志分类方法技术

本公开实施例中提供了一种基于图卷积神经网络的特征增强云容器异常日志分类方法，属于数据处理技术领域，具体包括：从异常日志数据集中读取异常日志；将异常日志划分为堆栈跟踪数据帧；将堆栈跟踪数据帧进行标记和裁剪；将堆栈跟踪数据帧构建为Bert模型的输入特征向量F

【技术实现步骤摘要】
基于图卷积神经网络的特征增强云容器异常日志分类方法


[0001]本公开实施例涉及数据处理
，尤其涉及一种基于图卷积神经网络的特征增强云容器异常日志分类方法。

技术介绍

[0002]目前，异常日志分类是指程序员通过分析异常日志类别，定位程序漏洞并将其分配给对应的修复程序进行漏洞修补，解决潜在安全性问题的过程。异常日志中的关键字段可以辅助程序员完成异常日志分类工作，进而修复应用软件漏洞。因此，异常日志是修复应用软件漏洞的关键信息资源。
[0003]由于引入了自动崩溃报告系统，大大提高了异常日志的生成速度，增加了程序员在异常日志分类任务上的工作量。目前，相较于传统的机器学习方法，基于深度学习的异常日志分类方法避免了人为设定异常日志特征提取过程，在处理异常日志分类任务上更加优越。其中，基于堆栈跟踪的相似性度量方法是一种基于深度学习的度量异常日志报告相似度的方法，主要用于异常日志分类任务，其核心思想是将异常日志报告划分为若干堆栈跟踪数据帧并输入到神经网络中进行迭代训练，以获取堆栈跟踪数据帧的特征向量表示。接着，通过全连接层完成异常日志分类任务。基于堆栈跟踪的相似性度量方法使用深度学习模型提取异常日志向量表示，在用户级应用程序的异常日志分类任务上有良好的应用。
[0004]堆栈数据帧的特征向量表示是异常日志分类任务的关键流程，目前一般使用长短期记忆网络(LSTM)来处理按时间序列生成的异常日志堆栈跟踪数据帧。具体地，使用两个LSTM，其中一个顺序接收堆栈跟踪数据帧，另一个逆序接收堆栈跟踪数据帧，连接两个网络输出结果，构成双向长短期记忆网络(BiLSTM)完成堆栈数据帧的特征向量表示。基于BiLSTM的堆栈跟踪相似性度量方法在用户级应用程序的异常日志分类任务中取得了不错得到成效，但云容器应用程序的异常日志堆栈数据内容无序、不固定且包含复杂的图结构。因此，利用该方法提取云容器异常日志特征向量效果不佳，无法精准完成云容器应用程序的异常日志分类任务。
[0005]可见，亟需一种针对云容器应用程序的异常日志分类效率和精准度高的基于图卷积神经网络的特征增强云容器异常日志分类方法。

技术实现思路

[0006]有鉴于此，本公开实施例提供一种基于图卷积神经网络的特征增强云容器异常日志分类方法，至少部分解决现有技术中存在针对云容器应用程序的异常日志分类效率和精准度较差的问题。
[0007]本公开实施例提供了一种基于图卷积神经网络的特征增强云容器异常日志分类方法，包括：
[0008]步骤1，从异常日志数据集中读取异常日志；
[0009]步骤2，将异常日志划分为堆栈跟踪数据帧；
[0010]步骤3，将堆栈跟踪数据帧进行标记和裁剪；
[0011]步骤4，将堆栈跟踪数据帧构建为Bert模型的输入特征向量F
in
；
[0012]步骤5，将输入特征向量F
in
输入编码器中，输出特征向量F
out
并分割为[F
CLS
,F
log
]；
[0013]步骤6，构建一张图，将向量F
log
当作点特征，向量F
CLS
的余弦相似性结果当作边关系，将该图输入到图卷积神经网络中进行相关性优化，对其进行特征增强；
[0014]步骤7，将图卷积神经网络特征增强后的异常日志特征向量经过全连接层和激活函数映射成一维特征向量，然后对该一维向量进行相似性度量，并据此对异常日志进行分类。
[0015]根据本公开实施例的一种具体实现方式，所述步骤2具体包括：
[0016]将异常日志内信息划分成若干数据帧按照先进后出的方式存储在堆栈内部，形成所述堆栈跟踪数据帧，其中，每个所述堆栈跟踪数据帧的格式为(帧名，偏移量)。
[0017]根据本公开实施例的一种具体实现方式，所述步骤4具体包括：
[0018]步骤4.1，构造云容器异常日志堆栈跟踪数据帧T＝{t1,t2,...,t
L
}，其中L是堆栈跟踪数据帧的数量，先每组堆栈跟踪数据帧的头部加入词元CLS，每个堆栈跟踪数据帧尾部加入词元SEP；
[0019]步骤4.2，使用句子转换网络，将堆栈跟踪数据帧T转换为嵌入向量V＝{v
i
|v
i
∈R
(S+L+1)
×
K
,i＝1,2,
…
,S+L+1}，其中S表示异常日志中单词数量，K表示嵌入向量的维度；
[0020]步骤4.3，使用线性投影函数sin(
·
)和cos(
·
)对位置信息进行编码，得到嵌入位置信息的编码向量P；
[0021]步骤4.4，将向量V,P,S合并得到输入特征向量F
in
＝{f
i
|f
i
∈R
(S+L+1)
×
D
,i＝1,2,...,S+L+1}，其中D是输入向量的维度，f1为词元CLS对应的嵌入向量。
[0022]根据本公开实施例的一种具体实现方式，所述编码向量P的表达式为
[0023][0024]其中，pos表示编码向量的顺序位置索引，i表示编码向量的维度索引。
[0025]根据本公开实施例的一种具体实现方式，所述编码器残差连接的多头自注意力机制子层和残差连接的多层感知器子层。
[0026]根据本公开实施例的一种具体实现方式，所述步骤5具体包括：
[0027]步骤5.1，将向量F
in
输入编码器，经过编码得到维度一致的输出向量其中为词元CLS对应的输出向量；
[0028]步骤5.2，对输出向量F
out
做如下分割：
[0029][0030]得到[F
CLS
,F
log
]。
[0031]根据本公开实施例的一种具体实现方式，所述步骤6具体包括：
[0032]步骤6.1，将向量F
CLS
的余弦相似性结果当作边关系，通过计算余弦相似性，可以得到相似关系矩阵V；
[0033]步骤6.2，构建一张图，将向量F
log
当作点特征，将矩阵V当作边关系输入到图卷积神经网络中进行相关性优化，对其进行特征增强。
[0034]根据本公开实施例的一种具体实现方式，所述相似关系矩阵V中各元素的计算公式为
[0035]根据本公开实施例的一种具体实现方式，所述图卷积神经网络传播规则为：
[0036][0037]其中，是指由异常日志构成的无向图的邻接矩阵，I
n
是指单位阵，表示每个点与自己邻接，是的度矩阵，σ(
·
)表示激活函数，H
(l+1)
和H
(l)
分别为第l层的输入、输出特征矩阵，代表当前层学习的特征，W
(l)
为第l层的权重值。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积神经网络的特征增强云容器异常日志分类方法，其特征在于，包括：步骤1，从异常日志数据集中读取异常日志；步骤2，将异常日志划分为堆栈跟踪数据帧；步骤3，将堆栈跟踪数据帧进行标记和裁剪；步骤4，将堆栈跟踪数据帧构建为Bert模型的输入特征向量F
in
；步骤5，将输入特征向量F
in
输入编码器中，输出特征向量F
out
并分割为[F
CLS
,F
log
]；步骤6，构建一张图，将向量F
log
当作点特征，向量F
CLS
的余弦相似性结果当作边关系，将该图输入到图卷积神经网络中进行相关性优化，对其进行特征增强；步骤7，将图卷积神经网络特征增强后的异常日志特征向量经过全连接层和激活函数映射成一维特征向量，然后对该一维向量进行相似性度量，并据此对异常日志进行分类。2.根据权利要求1所述的方法，其特征在于,所述步骤2具体包括：将异常日志内信息划分成若干数据帧按照先进后出的方式存储在堆栈内部，形成所述堆栈跟踪数据帧，其中，每个所述堆栈跟踪数据帧的格式为(帧名，偏移量)。3.根据权利要求2所述的方法，其特征在于,所述步骤4具体包括：步骤4.1，构造云容器异常日志堆栈跟踪数据帧T＝{t1,t2,...,t
L
}，其中L是堆栈跟踪数据帧的数量，先每组堆栈跟踪数据帧的头部加入词元CLS，每个堆栈跟踪数据帧尾部加入词元SEP；步骤4.2，使用句子转换网络，将堆栈跟踪数据帧T转换为嵌入向量V＝{v
i
|v
i
∈R
(S+L+1)
×
K
,i＝1,2,
…
,S+L+1}，其中S表示异常日志中单词数量，K表示嵌入向量的维度；步骤4.3，使用线性投影函数sin(
·
)和cos(
·
)对位置信息进行编码，得到嵌入位置...

【专利技术属性】
技术研发人员：林震，胡超，施鹤远，费洪晓，刘荣凯，梁锴，湛誉，
申请(专利权)人：中南大学，
类型：发明
国别省市：