【技术实现步骤摘要】
本专利技术涉及时间序列分析的，具体地，涉及偏注意力机制和重叠式重构的连续缺失修补方法及系统。
技术介绍
1、时间序列广泛存在于各个真实场景中，而连续的数据缺失是不可避免的。连续数据缺失的现象通常由于硬件故障或异常事件的持续影响，而且这些影响会持续相当长的时间。例如，工业设备的故障可能只在几天后被察觉，而异常交通流传感器的修复可能需要数天甚至更长时间。这些情况将导致时间序列中连续数据的缺失，破坏了信息的完整性，同时影响了后续的分析过程。
2、当前许多研究致力于解决时间序列修补的问题，采用了传统和深度学习方法。传统方法包括线性插值、k最近邻(knn)和矩阵分解等。深度学习模型包括循环神经网络(rnn)、transformer、diffusions、生成对抗网络(gan)、变分自动编码器(vae)和图神经网络(gnn)等。然而，这些研究通常假设数据缺失是完全随机的(mcar)，并且它们主要基于短期依赖关系进行修补，因此在连续缺失的情况下效果较差。
3、本专利技术通过利用长期时间依赖关系对连续缺失数据进行修补，同时将建模对象从时间点之间的关系转移到不完整片段之间的关系。本专利技术的目标是从时间序列中的“不完整的时间片段”间寻找关联，以挖掘时间序列中的长期依赖关系。
4、实现这一思想主要面临两个挑战。首先，由于缺失数据位置和缺失的持续时间均不确定，因此处理不完整片段比处理完整片段更加困难。模型必须适应各种缺失数据情景，以有效地从不完整片段中提取特征。其次，由于缺失值的真实值未知，序列任务是完全无监督的。
5、因此，需要提出一种新的技术方案以改善上述技术问题。
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种偏注意力机制和重叠式重构的连续缺失修补方法及系统。
2、根据本专利技术提供的一种偏注意力机制和重叠式重构的连续缺失修补方法，所述方法包括如下步骤：
3、步骤s1：将输入的不完整序列分割为多个等长的时间片段；
4、步骤s2：有效表征每个时间片段，得到多个表征结果；
5、步骤s3：基于表征结果挖掘时间片段之间的关联关系。
6、优选地，所述步骤s1包括：
7、时间序列分割：给定一个不完整的时间序列x，时间序列x有缺失值，时间序列x的第i个元素记为xi；将时间序列x切分为n个时间片段，第j个时间片段记为x(j)。
8、优选地，所述步骤s2包括：
9、基于所学习到的关系的强弱加权结合并更新值向量value：
10、
11、其中l为query和key向量的长度，q，k和v三者分别为查询向量、键向量和值向量排列形成的矩阵；
12、使用可学习的位置嵌入向量来增强时间序列中固有的序列信息；时间序列片段中第i个位置的嵌入向量记为pi，满足：
13、pi＝embedding(i)
14、因此，第i个元素xi的查询向量query、键向量key和值向量value形成如下：
15、
16、其中，如果元素xi缺失，则用0进行暂时填充；
17、通过引入额外的键向量kbias和值向量vbias，使在具有潜在依赖关系的元素缺失时，剩余的元素选择不与任何其他观察到的元素相关联；利用kbias和vbias在存在不完整片段的情况下保持性能稳定性。
18、优选地，所述步骤s3包括：
19、三个基本的重建器，局部重建器r0，左片段重建器rl和右片段重建器rr；首先，在分割序列后，每个时间序列片段被输入到偏注意力机制中，该机制会输出每个片段的表征f；接下来，每个时间片段的特征被输入到三个重建器中；局部重建器r0利用不完整片段x(j)的特征重建完整片段x(j)*；同时，左重建器rl利用x(j)的特征预测左侧相邻片段x(j-1)*，而右重建器rr用于预测右侧相邻片段x(j+1)*；所有重建器均采用多层感知机mlp实现，因为它们在捕捉时间序列中的潜在依赖关系方面简单而有效；
20、因此，每个片段x(j)用于重建三个片段x(j)*、x(j-1)*和x(j+1)*；相应地，每个片段被相邻的片段的表征重建了三次；第一次重建基于其自身的表示特征，并由局部重建器r0完成；第二次基于前一片x(j-1)的表征由rr完成；第三次基于后一片段x(j+1)的表征由rl完成；如果表示的特征适用于这些重建任务，这表明在片段内和片段之间成功建立了时间依赖关系，也反过来验证了片段表征结果的有效性。
21、优选地，所述步骤s1将不完整的时间序列x切片成n个等长的时间片段xj；
22、所述步骤s2将时间片段输入偏注意力机制中进行特征表示和特征提取；将提取的特征输入到重叠式重建模中，该模块为每个片段生成三个重建结果，分别表示为和具体而言，和是由局部重建器r0、左片段重建器rl和右片段重建器rr分别基于x(j)、x(j+1)和x(j-1)的表征重建；
23、损失函数：三个重建器r0、rr和rl分别用于学习当前、过去和未来的依赖关系；损失函数满足：
24、
25、其中mse表示均方误差；
26、此外，重建结果中已观测位置的值应该与真实的观测值一致；损失函数还应满足：
27、
28、其中m(j)是片段x(j)的掩码向量，用于记录每个元素是否被观察到；整体训练目标是最小化损失l：
29、argminθl＝argminθ(l1+l2)
30、其中θ表示本专利技术的模型训练参数。
31、本专利技术还提供一种偏注意力机制和重叠式重构的连续缺失修补系统，所述系统包括如下模块：
32、模块m1：将输入的不完整序列分割为多个等长的时间片段；
33、模块m2：有效表征每个时间片段，得到多个表征结果；
34、模块m3：基于表征结果挖掘时间片段之间的关联关系。
35、优选地，所述模块m1包括：
36、时间序列分割：给定一个不完整的时间序列x，时间序列x有缺失值，时间序列x的第i个元素记为xi；将时间序列x切分为n个时间片段，第j个时间片段记为x(j)。
37、优选地，所述模块m2包括：
38、基于所学习到的关系的强弱加权结合并更新值向量value：
39、
40、其中l为query和key向量的长度，q，k和v三者分别为查询向量、键向量和值向量排列形成的矩阵；
41、使用可学习的位置嵌入向量来增强时间序列中固有的序列信息；时间序列片段中第i个位置的嵌入向量记为pi，满足：
42、pi＝embedding(i)
43、因此，第i个元素xi的查询向量query、键向量key和值向量value形成如下：
44、
【技术保护点】
1.一种偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤S1包括：
3.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤S2包括：
4.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤S3包括：
5.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤S1将不完整的时间序列x切片成n个等长的时间片段xj；
6.一种偏注意力机制和重叠式重构的连续缺失修补系统，其特征在于，所述系统包括如下模块：
7.根据权利要求6所述的偏注意力机制和重叠式重构的连续缺失修补系统，其特征在于，所述模块M1包括：
8.根据权利要求6所述的偏注意力机制和重叠式重构的连续缺失修补系统，其特征在于，所述模块M2包括：
9.根据权利要求6所述的偏注意力机制和重叠式重构的连续缺失修补系统，其特征在于
10.根据权利要求6所述的偏注意力机制和重叠式重构的连续缺失修补系统，其特征在于，所述模块M1将不完整的时间序列x切片成n个等长的时间片段xj；
...【技术特征摘要】
1.一种偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤s1包括：
3.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤s2包括：
4.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤s3包括：
5.根据权利要求1所述的偏注意力机制和重叠式重构的连续缺失修补方法，其特征在于，所述步骤s1将不完整的时间序列x切片成n个等长的时间片段xj；
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。