基于注意力机制的时间序列填补方法技术

本发明专利技术属于时间序列分析领域，涉及基于对角掩码稀疏自注意力机制的缺失时间序列填补方法。该方法包括以下步骤：S1)将所用数据进行预处理；S2)采用对角掩码稀疏自注意力模块(DMPSA)提取时间序列的时间相关性及特征相关性；S3)将两个对角掩码稀疏自注意力模块(DMPSA)的输出进行加权组合；S4)采用插补和重构的联合优化训练方法训练基于对角掩码时间自注意力的时间序列插补模型。本方法根据时间序列数据前后值之间具有强关联性的特征，重点关注序列的时间相关性，相比于其他方法，捕获时间序列长期依赖性的效果更佳，对缺失时间数据的插补精度更高。据的插补精度更高。据的插补精度更高。

【技术实现步骤摘要】
基于注意力机制的时间序列填补方法


[0001]本专利技术属于时间序列分析领域，涉及基于自注意力机制的缺失时间序列填补方法。

技术介绍

[0002]时间序列是将同一统计指标的数值按其发生的时间先后顺序排列而成的数列，反映了事物以及行为随着时间的变化而发生的状态变化和发展规律。典型的时间序列数据如商品交易价格、特定区域某时段的气温、心电图趋势、某地房价走势、化学反应过程中溶液浓度数据等。然而，时间序列数据在采集过程中，由于传感器故障或者传输、存储不当等原因很容易造成数据的缺失。时间序列数据前后值之间具有很强的关联性，这些缺失的部分使得对其进行数据分析建模和实际相关应用造成一定的困难。例如，根据历史天气状况预测未来的天气情况时，如果历史数据有缺失，将会影响到预测准确率。
[0003]目前，有关时间序列的补缺工作大体上分为两类：直接删除法和和缺失值填补法。采用直接删除法可能会舍弃数据中的一些重要信息，进一步影响到分析结果的准确度。大部分场景要求尽可能将缺失的数据填充，缺失值填补法是更为合理的一种解决方式。缺失值填补法是对缺失数据集进行研究，找到本文档来自技高网...

【技术保护点】

【技术特征摘要】
步骤S13)第一个DMPSA模块。在第一个DMPSA模块中，原始缺失时间序列及其掩码向量串联作为输入。将和投影到d
model
维度，并与位置编码p相加得到e。维度，并与位置编码p相加得到e。对e，利用对角掩码时间多头注意力和前馈网络的N个堆叠层得到z。z＝{FFN(DiagMaskedProbSparseMHA(e))}
N
将z从维度d
model
降维至维度D，并生成学习表示降维至维度D，并生成学习表示降维至维度D，并生成学习表示b
e
∈R
D
将原始缺失时间序列中的缺失值替换为中的相应值，以获得完整的时间序列中的相应值，以获得完整的时间序列步骤S14)第二个DMPSA模块。第二个DMPSA模块中获取第一个DMPSA模块的输出将及原始掩码向量从D维度投影到d
model
维度，与位置编码p相加得到α。维度，与位置编码p相加得到α。对α，利用对角掩蔽时间多头注意力和前馈网络的N个对叠层得到β。β＝{FFN(DiagMaskedProbSparseMHA(α))}
N
在β上应用两个线性投影，在两个投影之间应用ReLU激活函数，生成学习表示更深层次的结构可以更好地学习表示，以捕获时间序列中更复杂的相关性。层次的结构可以更好地学习表示，以捕获时间序列中更复杂的相关性。b
β
∈R
D
,W
γ
∈R
D
×
D
,b
γ
∈R
D
3.根据权利要求1所述的对角掩码稀疏自注意力机制的缺失时间序列填补方法，其特征在于，所述步骤S2中，稀疏自注意力机制包括以下内容：步骤S21)为了进一步讨论自我注意机制，让q
i
、k
i
、v
i
分别代表Q、K、V中的第i行。第i个query在所有key上的注意力被定义为概率k(q
i
,k
j
)：
将第i个query的稀疏性度量定义为：第一项为第i个query在所有key上做Log
‑
Sum
‑
Exp(LSE)运算，防止数值在计算机上运算时出现溢出；第二项为第i个query在所有key上的注意力的算数平均值。如果第i个query获得更大的N(q
i
,K)，则其在相应的key上获得更大的注意力权重。步骤S22)基于提出的稀疏性度量，让每个key只关注主导的query，获得稀疏的自注意力：Q是与Q大小相同的稀疏矩阵，并且只包含稀疏度量N(q
i
,K)下的Top
‑
u个query。在一个恒定的采样因子c的控制下，设置u＝c
·
lnL
Q
，因此只需要查找每个query
‑
key对并计算O(lnL
Q
)次点积，并且内存消耗保持在O(L
K
lnL
Q
)。在多头自注意力层面，这种关注为每个头生成不同的稀疏query
‑
key对，避免了严重的信息丢失。步骤...

【专利技术属性】
技术研发人员：熊炫睿，陈怡，张宇樊，林为琴，徐稳，方海领，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：