一种基于改进Transformer和掩蔽训练的KPIs缺失值插补方法技术

本发明专利技术提供一种基于改进Transformer和掩蔽训练的KPIs缺失值插补方法，包括：构建KPIs时间序列；通过PositionalEncoding对所述KPIs时间序列进行位置编码；将KPIs时间序列与位置编码后的数据集进行对位相加；将对位相加得到的序列输入基于改进的Transformer的插补模型，任意堆叠层包括多头注意力网络和前馈网络，所述多头注意力网络内部应用对角线掩码；获取基于改进的Transformer的插补模型的输出序列，并通过Linear线性变换将所述输出序列的维度减少到与所述KPIs时间序列维数相同，得到降维后序列，将KPIs时间序列的缺失值替换为降维后序列中的对应值，得到完整的插补后的KPIs时间序列。本发明专利技术只需要一次注意力操作就能捕获高维空间中时间步长之间的时间依赖性和特征相关性，从而提高了模型训练速度。从而提高了模型训练速度。从而提高了模型训练速度。

【技术实现步骤摘要】
一种基于改进Transformer和掩蔽训练的KPIs缺失值插补方法


[0001]本专利技术涉及数据处理
，具体而言，尤其涉及一种基于改进Transformer和掩蔽训练的KPIs缺失值插补方法。

技术介绍

[0002]在企业应用系统中，通常采用KPIs(Key Performance Indicators，关键性能指标)对系统进行监测，以便及时检测并解决系统的行为异常。由于各种原因，包括服务器故障、通信错误和意外故障等，导致现实环境中的KPIs时间序列经常出现缺失值。对于KPIs异常检测任务来说，KPIs缺失值的存在不但会削弱检测结果的可解释性而且会影响检测结果的准确性。因此，为了保证KPIs时间序列异常检测的准确性，需要对KPIs时间序列的缺失值进行提前处理。
[0003]目前，对KPIs时间序列缺失值的处理大多仍采用传统的时间序列缺失值处理方法。传统的时间序列缺失值处理方法分为两种。一种是删除，即删除存在缺失数据的样本或特征，从而得到一个完备的数据集。然而，删除会使数据不完整，并可能使参数估计产生偏差。另一种是缺失值插补，根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Transformer和掩蔽训练的KPIs缺失值插补方法，其特征在于，包括以下步骤：S1、获取待处理KPIs数据集，构建KPIs时间序列；S2、通过Positional Encoding对所述KPIs时间序列进行位置编码；S3、将KPIs时间序列与位置编码后的数据集进行对位相加；S4、将对位相加得到的序列输入基于改进的Transformer的插补模型，所述改进的Transformer的插补模型包括N个堆叠层，任意所述堆叠层包括多头注意力网络和前馈网络，所述多头注意力网络内部应用对角线掩码，使模型能够通过一次注意力操作捕获高维空间中时间步长之间的时间依赖性和特征相关性；S5、获取基于改进的Transformer的插补模型的输出序列，并通过Linear线性变换将所述输出序列的维度减少到与所述KPIs时间序列维数相同，得到降维后序列，将KPIs时间序列的缺失值替换为降维后序列中的对应值，得到完整的插补后的KPIs时间序列。2.根据权利要求1所述的一种基于改进Transformer和掩蔽训练的KPIs缺失值插补方法，其特征在于，基于改进的Transformer的插补模型的训练步骤，包括：S401、获取训练用KPIs数据集，构建KPIs时间序列，对所述KPIs时间序列按比例进行随机掩蔽，生成训练用KPIs时间序列；S402、通过Positional Encoding对所述训练用KPIs时间序列进行位置编码；S403、将训练用KPIs时间序列与位置编码后的数据集进行对位相加；S404、在Transformer的自注意力机制内部应用对角线掩码，包括获取对位相加得到的序列b映射为d
k
维度的查询向量Q＝bW
Q
、d
k
维度的键向量K＝bW
K
和d
V
维度的值向量V＝bW
V
，其中d
model
为Transformer模型输出的维度；对Q和K之间的点积缩放得到的矩阵应用对角线掩码，将对角线设置为
‑
∞，应用归一化Softmax函数获得注意力权重，将V和Softmax分数相乘，得到自注意力层在该位置最终的加权输出；S405、使用前馈网络对加入了对角线掩码的多头注意力处理后的b进行两次线性变换；S406、将b通过N个堆叠层的多头注意力和前馈网络转...

【专利技术属性】
技术研发人员：张秀国，王腾龙，曹志英，赵韫，商子靖，王培鹏，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：