一种基于差分融合Transformer的时序预测方法技术

本发明专利技术涉公开一种基于差分融合Transformer的时序预测方法，该方法利用编码器解码器结构，在经典Transformer架构的基础上设计了差分层、近邻注意力机制、滑动融合机制和残差层；具体来说，通过差分层和近邻注意力机制来提取和聚焦时序数据相邻时间点的特征差异，滑动融合机制融合了每个时间点的各种非线性特征，并能有效提取多变量时间序列中的多粒度关键特征，核心组件还包括一维卷积和LSTM融合残差层，以进一步学习各时序数据时间点之间的相互依赖关系，提升了模型对复杂多变量时序数据的深度特征学习能力。该方法相比于现有方法具有稳定性好、预测精度高、泛化能力强等特点。强等特点。强等特点。

【技术实现步骤摘要】
一种基于差分融合Transformer的时序预测方法


[0001]本专利技术涉及一种基于差分融合Transformer的时序预测方法，属于时间序列预测


技术介绍

[0002]近年来，随着物联网的快速应用以及大数据与人工智能的飞速发展，对智慧城市交通运营和维护正朝着自主化、规模化、智能化的方向迈进。在城市时空数据量爆炸式增长的今天，传统的管理方式已经无法满足数字化时代的业务需求，因此亟需开发更加自主、高效的技术方案来优化交通资源、提高资源的可用性与稳定性。需要对各种时序数据进行持续的测量和监控，通过对各项时序变量的预测，可以及时发现时序趋势并进行预警和提前采取管理措施。因此，在智慧城市与交通智能运维领域中，对多变量时序数据的深度学习及预测具有十分重要的意义。
[0003]对于一般时序预测模型可以分为两类，一类是统计学习模型，一类是基于深度学习的预测模型。
[0004]基于统计学习的预测模型是根据传统数学方法或者浅层机器学习来提取参数序列特征并做出预测。参考文献[1]何兴平,耿远松,郭志伟,王婷,段守胜.基于差分自回归移动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于差分融合Transformer的时序预测方法，其特征在于，包括以下步骤：步骤S1、对多变量时序数据进行预处理；步骤S2、对预处理后的数据进行归一化处理，并将归一化处理后的数据划分为训练集和测试集；步骤S3、在设定好批处理样本数batch_size之后，依次从训练集取出batch_size大小的样本数，经Shifted处理后，将其分割为3个相邻的部分，该部分包括前向部分、训练中心、后向部分，并引入相邻两个部分的差值作为参数预测模型的共同输入；步骤S4、对模型输入进行输入Embedding和位置编码，并将输入Embedding和位置编码的结果相加得到转换后的输出h
F,C,B
、D
F,B
；步骤S5、将转换后的输出h
F,C,B
、D
F,B
输入到预测模型的编码器Encoder部分；步骤S51、近邻注意力机制层：首先使用线性映射向h
C
发出查询得到之后分别从h
F
和h
B
得到最后从h
C
得到使用Transformer中的自注意力公式，得到训练中心相对于近邻的注意力A
F,B
；采用Transformer中的多头注意力机制得到最终的输出；步骤S52、滑动融合机制层：将h
C
、D
F,B
、A
F,B
三类矩阵的集合Φ在每一时间点进行提取和融合，得到之后将其转置并对同一时间点的三个不同维度进行线性加权，以Sigmoid函数进行激活，并对加权结果在d
model
维度上提取相对重要性，再与下一时间点的加权结果在对应位置上相乘，得到最后将其转置并在时间点方向上合并，得到滑动融合机制的输出步骤S53、残差层：使用一维卷积神经网络Conv1d对c
F,B
提取每个时间点的特征，设置卷积核的大小为3，步长为3，卷积核的数量代表提取后每个时间点的特征维数，将卷积结果输入多个LSTM层，输出结果与残差e
F,B
相加，作为Transformer Encoder Layer的输入；其中Transformer Encoder Layer采用与Transformer编码器相同的结构，将其与滑动融合机制层和残差层连接，此处残差层中卷积核的大小为2，步长为2，最终得到本模型编码器的输出；步骤S6、将与输入到编码器相同的批处理样本数据经Embedding和位置编码后，输入到Masked Multi
‑
head Attention，其输出经Add&Norm之后，输入到一个Multi
‑
head Attention层，同时，将编码器的输出也传递给同一个Multi
‑
head Attention层，再通过一个线性映射，得到最后的输出；步骤S7、根据损失函数Loss对参数预测模型进行迭代更新训练，直至训练条件终止，生成训练好的预测模型，可用于预测未来时刻的时序值。2.根据权利要求1所述的一种基于差分融合Transformer的时序预测方法，其特征在于，所述步骤S1中的具体工程为：对收集到的时序序列数据进行异常值处理和缺失值填补，构建多变量序列数据集其中L为参数序列总长度，d为参与模型的总变量数。3.根据权利要求2所述的一种基于差分融合Transformer的时序预测方法，其特征在
于，所述步骤S2中使用Min
‑
Max归一化方法。4.根据权利要求3所述的一种基于差分融合Transformer的时序预测方法，其特征在于，所述S2中的计算公式为：式中：为归一化后属性i在t时刻的值，为归一化前属性i在t时刻的值，min{x
i
}为属性i的最小值，max{x
i
}为属性i的最大值。5.根据权利要求3所述的一种基于差分融合Transformer的时序预测方法，其特征在于，所述步骤S3中的分割步骤为：记N＝batchsize+2，输入部分为分割后的结果为{x
(j)
|X
j:N
‑
3+j
,j∈{1,2,3}}，...

【专利技术属性】
技术研发人员：杜圣东，李本涵，李天瑞，方勇，胡节，苏敏，唐楷，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：