一种预训练增强的时空Transformer网络交通流预测方法技术

本发明专利技术提供一种预训练增强的时空Transformer交通流预测方法，属于智能交通领域，通过设计时空Transformer模型与预训练策略，旨在提升复杂交通环境下的预测性能，包括如下步骤：首先，利用长期历史交通流数据，通过掩码自动编码策略预训练编码器，采用嵌入时间周期信息的时间感知注意力提取长序列特征；再构建数据驱动的图学习层生成的预训练时空稀疏图，以捕获动态的空间依赖关系；预测阶段设计了时间特征提取模块和空间特征特征提取模块，利用改进的多头自注意力机制分别建模时间和空间的相关性，再通过门控机制来自适应融合长序列特征和时空特征，得到预测结果。本发明专利技术可以有效提取长期历史交通流序列信息，在复杂的交通状况下更准确地预测交通流量。

【技术实现步骤摘要】

本专利技术属于智能交通和深度学习领域，具体为一种预训练增强的时空transformer交通流预测方法，该方法适用于智能交通系统中交通流量预测的应用，如城市交通管理、公共交通调度和交通优化等。

技术介绍

1、智能交通系统随着城市化和人口增长的不断发展，交通拥堵成为了现代城市面临的重要问题之一，有效地预测交通流情况对于改善交通系统的运行和管理至关重要。通过提前了解交通流的变化趋势，交通管理者可以制定相应的措施来减少拥堵、提高出行效率，并提供更便捷的出行体验。但由于交通流的复杂性和随机性，准确的交通流预测并不是一项简单的任务，如何准确地提取有效的特征信息仍然是一个关键问题。其次，现有的交通流预测模型在捕捉长期时空依赖关系方面存在不足，且普通的注意力计算方法不能有效捕获全局依赖关系，模型可能难以区分不同背景下的短期时间序列。因此基于有限的历史数据，模型很难对不同的未来趋势做出准确的预测，交通流序列的模式和它们之间的时空依赖关系需要基于长期历史序列数据进行分析。建模交通流数据时空多态、关联性复杂的特性迫使大数据时代下的交通流预测方法转型和升级。</p>
...

【技术保护点】

1.一种基于预训练增强的时空Transformer交通流预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述步骤1中，预处理包括：将历史交通流数据表示为其中T表示时间序列的长度，C是每个节点特征的数量，每5分钟采样一次，每个片段包含12个采样数据，以小时为单位划分输入序列。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中，掩码自动编码策略具体包括：将节点i的交通流序列分割为p段，随机屏蔽75％的序列段，输入编码器进行重构训练；编码器由输入嵌入层、位置编码层及时间感知注意力块组成，通过线性投影将未屏蔽序列映射至潜在空间，并附加...

【技术特征摘要】

1.一种基于预训练增强的时空transformer交通流预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述步骤1中，预处理包括：将历史交通流数据表示为其中t表示时间序列的长度，c是每个节点特征的数量，每5分钟采样一次，每个片段包含12个采样数据，以小时为单位划分输入序列。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中，掩码自动编码策略具体包括：将节点i的交通流序列分割为p段，随机屏蔽75％的序列段，输入编码器进行重构训练；编码器由输入嵌入层、位置编码层及时间感知注意力块组成，通过线性投影将未屏蔽序列映射至潜在空间，并附加周周期和日周期嵌入信息；解码器通过多层感知机还原被屏蔽序列段，损失函数为掩码部分的均方误差。

4.根据权利要求1所述的方法，其特征在于，所述步骤3中，时空稀疏图...

【专利技术属性】
技术研发人员：曹阳，吴伶，沈琴琴，施佺，
申请(专利权)人：南通大学，
类型：发明
国别省市：