一种基于Transformer可填补高缺失率时间序列的方法技术

本发明专利技术公开了一种基于Transformer可填补高缺失率时间序列的方法，提出一种基于的一维卷积的自注意力机制；使用一维卷积捕捉特征以及周围信息，解决缺失率过高时，自注意力层权重学习问题。缺失位置的值在未填补前存在相似性，通过一维卷积的自注意力层，在进行Query和Key的计算时，相似点可以不再直接进行点积计算，而是在一维卷积后，使用包含周围信息的特征点进行计算，避免了计算出许多相似权重；提出一种权重调整机制，当根据填补模块和重构模块的重构的序列加权计算出最终的重构序列时，设定的权重阈值，可以对学习的权重进行调整，当权重出现较大偏移，设定的阈值可以使它回到正确的权重范围，使最终的填补结果更为准确。使最终的填补结果更为准确。使最终的填补结果更为准确。

【技术实现步骤摘要】
一种基于Transformer可填补高缺失率时间序列的方法


[0001]本专利技术属于多变量时间序列的缺失值自动填补领域，具体涉及一种基于Transformer可填补高缺失率时间序列的方法。

技术介绍

[0002]时间序列是很常见的数据形式，在许多领域都有广泛应用。在实践中，我们采集到时间序列数据，许多不是单一的变量，而是有多个变量的观测结果，是一个多变量的时间序列，而且由于设备损坏，文件丢失和统计出错，经常会出现数据缺失的问题。
[0003]解决数据缺失的方法主要有两种，填补和删除，在缺失率较小时，直接删除缺失的样本并不会对整体分析有较大影响，而在许多数据中，缺失数据的占比一般较大，直接删除很可能导致最后的分析结果与真实情况有较大误差。
[0004]在传统的填补方法中，有基于统计量的计算方法和基于机器学习的计算方法。基于统计量的计算方法忽略了时间序列之间的时间依赖性，传统的机器学习使用一种复杂的方法来获得时间序列的统计性质并几乎不考虑时间依赖性。
[0005]现有研究中，越来越多的深度学习方法被用于多变量时间序列的填补。循环神经网络(RNN)模型是处理时间序列最常用的模型，同时，长短期记忆(LSTM)和门控循环单元(GRU)网络在处理时间序列的长期和短期依赖性方面具有一定的优越性。然而，这些方法仍然存在一些缺点。时间序列每个时间戳变量输入到循环神经网络的单元中，获得变量的混合信息，没有考虑到全局依赖关系，当序列过长时，也不能捕捉到长时间依赖关系。除了基于循环神经网络的方法，Transformer在处理时间序列中取得了良好表现，可以很好的捕捉长期时间依赖关系，但是传统的Transformer在处理高缺失率数据时，其中的自注意力层会有一个权重学习问题，如图1所示。
[0006]自注意力层中的具体实现如下：
[0007][0008]在自注意力层中，获取Query(Q)、Key(K)和Value(V)的方法为线性变换(例：Q＝(w1x1，w2x2，
…
，w
t
x
t
))，提取的单点信息，当缺失率过高时，在缺失位置提取的信息会有许多高度相似性，导致QK
T
计算出的值不能作为有效权重。
[0009]因此，提出一种改进的Transformer模型，针对高缺失率时间序列中缺失值的填补，并期待获得优于其他的填补方法的结果。

技术实现思路

[0010]本专利技术的目的在于，目的在于提供了一种基于Transformer可填补高缺失率时间序列的方法，
[0011]为了解决技术问题，本专利技术的技术方案是：
[0012]一种基于Transformer可填补高缺失率时间序列的方法，所述方法包括：
[0013]对多变量时间数据集进行预处理和原始缺失位置标记，得到含有原始缺失位置标记的数据集，并将含有原始缺失位置标记的数据集分成训练集和测试集；
[0014]对所述训练集中观测到的值进行百分比删除处理，并将观测到的值的删除位置进行缺失位置标记处理，得到含有缺失位置标记的训练集；
[0015]对含有缺失位置标记的训练集进行位置编码处理，得到含有位置编码和缺失位置标记的训练集；
[0016]调用预设的Transformer模型，利用含有位置编码和缺失位置标记的训练集对Transformer模型进行训练，得到多个预测的缺失值；
[0017]基于上述进行百分比删除处理后的训练集，利用多个预测的缺失值进行填补，得到填补后的序列；
[0018]将填补后的序列输入到Transformer模型中的重构模块，重构所以位置的值，所述所有的位置的值包括：观察到的值；
[0019]对填补后的序列和重构所有位置的值进行加权处理，得到最终推断出的完整序列。
[0020]进一步，在对多变量时间数据集进行预处理和原始缺失位置标记之前，所述方法还包括：获取多变量时间数据集。
[0021]进一步，对多变量时间数据集归一化处理和原始缺失位置标记处理，得到含有原始缺失位置标记的数据集。
[0022]进一步，采用掩码矩阵M＝(m1,m2,
…
,m
t
)进行原始缺失位置标记和缺失位置标记处理。
[0023]进一步，所述利用含有位置编码和缺失位置标记的训练集对Transformer模型中的填补模块和重构模块进行训练，具体包括：
[0024]对含有位置编码和缺失位置标记的训练集进行层归一化后，利用一维卷积层提取含有位置编码和缺失位置标记的训练集中的特征点及周围信息；
[0025]利用线性层对特征点及周围信息进行Query和Key计算，得到Query和Key；
[0026]利用线性层提取含有位置编码和缺失位置标记的训练集中信息，计算得到value；
[0027]对Query和Key进行点积计算后，将计算得到的结果与value进行相乘处理，并利用归一化指数函数对相乘处理的结果进行计算，得到长时间依赖关系和变量混合特征；
[0028]将含有位置编码和缺失位置标记的训练集和长时间依赖关系及变量混合特征进行融合，得到第一融合信息；
[0029]对第一融合信息、长时间依赖关系和变量混合特征，进行层归一化处理，然后输入到前馈网络层，提取含有隐藏信息的复杂信息；
[0030]将第一融合信息和复杂信息进行融合处理，得到第二融合信息；
[0031]把第二融合信息输入到推断层中，得到多个预测的缺失值。
[0032]进一步，所述对填补后的序列和重构所有位置的值进行加权处理，具体包括：
[0033]在进行加权时，权重由填补模块和重构模块的自注意力层提取的信息计算所得，同时，设置一个阈值β，调整学习到权重，减小权重偏差；
[0034]加权的过程如下，首先计算学习到的权重α：
[0035][0036]其次，采用阈值β对α进行调整：
[0037][0038]最终填补值的加权计算如下：
[0039][0040]缺失位置的权重需要进行调整，具有观测值的位置不需要；当学习到权重较大时，可是通过设定的阈值调整使它降低；
[0041]计算最终推断出的完整序列为：
[0042]进一步，对所述测试集中观测到的值进行百分比删除处理，将被删除后的观测到的值与最终推断出的完整序列进行误差计算处理，即实现了对时间序列中缺失值的准确填补。
[0043]进一步，所述进行误差计算处理，具体包括：
[0044]计算被删除后的观测到的值与最终推断出的完整序列的平均绝对值误差MAE和均方根误差RMSE；
[0045]平均绝对值误差MAE的计算过程如下：
[0046][0047]均方根误差RMSE的计算过程如下：
[0048][0049]与现有技术相比，本专利技术的优点在于：
[0050]一种基于Transformer可填补高缺失率时间序列的方法，提出一种基于的一维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer可填补高缺失率时间序列的方法，其特征在于，所述方法包括：对多变量时间数据集进行预处理和原始缺失位置标记，得到含有原始缺失位置标记的数据集，并将含有原始缺失位置标记的数据集分成训练集和测试集；对所述训练集中观测到的值进行百分比删除处理，并将观测到的值的删除位置进行缺失位置标记处理，得到含有缺失位置标记的训练集；对含有缺失位置标记的训练集进行位置编码处理，得到含有位置编码和缺失位置标记的训练集；调用预设的Transformer模型，利用含有位置编码和缺失位置标记的训练集对Transformer模型进行训练，得到多个预测的缺失值；基于上述进行百分比删除处理后的训练集，利用多个预测的缺失值进行填补，得到填补后的序列；将填补后的序列输入到Transformer模型中的重构模块，重构所以位置的值，所述所有的位置的值包括：观察到的值；对填补后的序列和重构所有位置的值进行加权处理，得到最终推断出的完整序列。2.根据权利要求1所述的一种基于Transformer可填补高缺失率时间序列的方法，其特征在于，在对多变量时间数据集进行预处理和原始缺失位置标记之前，所述方法还包括：获取多变量时间数据集。3.根据权利要求1所述的一种基于Transformer可填补高缺失率时间序列的方法，其特征在于，对多变量时间数据集归一化处理和原始缺失位置标记处理，得到含有原始缺失位置标记的数据集。4.根据权利要求1所述的一种基于Transformer可填补高缺失率时间序列的方法，其特征在于，采用掩码矩阵M＝(m1,m2,
…
,m
t
)进行原始缺失位置标记和缺失位置标记处理。5.根据权利要求1所述的一种基于Transformer可填补高缺失率时间序列的方法，其特征在于，所述利用含有位置编码和缺失位置标记的训练集对Transformer模型中的填补模块和重构模块进行训练，具体包括：对含有位置编码和缺失位置标记的训练集进行层归一化后，利用一维卷积层提取含有位置编码和...

【专利技术属性】
技术研发人员：蒋雪琳，吴双，关庆阳，侯利康，
申请(专利权)人：西安外事学院，
类型：发明
国别省市：