基于Transformer的扩散图注意力网络交通流预测方法技术

基于Transformer的扩散图注意力网络交通流预测方法，所述的交通流组合预测方法，T

【技术实现步骤摘要】
基于Transformer的扩散图注意力网络交通流预测方法


[0001]本专利技术涉及智能交通
，具体是涉及基于Transformer的扩散图注意力网络(T
‑
DGAN)交通流预测技术。

技术介绍

[0002]交通流预测作为智能交通系统(ITS)的重要组成部分，可以为城市交通系统的管理和规划提供科学依据。根据预测的交通状态，交通部门可以提前部署和引导交通流，从而提高路网的运行效率，缓解交通拥堵。
[0003]在过去的几十年里，研究人员对交通流预测方法进行了广泛的研究，包括自回归移动平均(ARIMA)、卡尔曼滤波(KF)和多层感知器(MLP)等方法。但由于时间序列基于平稳性假设，这些方法无法处理复杂的非线性交通流数据。因此，为了处理复杂的交通状况和捕获交通流的非线性关系，已经采用了许多机器学习方法来预测交通流。例如，采用K近邻(KNN)方法进行短时交通流预测，该方法考虑了相邻路段的空间关联特性。贝叶斯网络方法对不确定信息进行处理并进行概率推理，用于短时交通流预测。支持向量机(SVM)方法作为一种基于统计学习理论的机器学习方法，能较好的进行短时交通流预测。长短期记忆网络(LSTM)有效的捕获了交通动态的非线性，该方法可以克服记忆块反向传播误差衰减的问题。然而，由于交通流具有高度非线性和动态时空依赖性，上述方法在长期交通流预测任务中表现不佳。
[0004]近年来，随着深度学习在交通领域中的广泛应用，研究人员使用卷积神经网络(CNN)和递归神经网络(RNN)来分别捕获交通流的空间依赖性和时间依赖性，虽然这种方法捕获了交通流的时空依赖性，但CNN适用于具有规则网格的欧几里德数据，并且建模不规则道路网络会丢失交通网络的拓扑信息。为了解决这个问题，使用图卷积网络(GCN)代替CNN来更好地处理交通道路网络中的非欧几里得数据。尽管现有的基于GCN和RNN的混合方法在预测性能上有很大的提高，但这些方法仍然存在一些缺陷。由于GCN使用图的拉普拉斯特征矩阵来计算和更新图中所有节点的特征信息，GCN在捕获交通流的空间相关性时灵活性和扩展性较差。
[0005]在上述方法中，道路网络的空间结构是通过预定义的邻接矩阵来表示的，由于交通流的复杂性和动态性，预定义的邻接矩阵限制了学习交通流的动态时空特征的可能性。针对这一问题，研究人员在图注意力机制的基础上，提出使用门控注意力网络从交通流中学习交通流的动态空间相关性，提出图多注意力网络(GMAN)用于交通流预测，并在GMAN中使用时空注意力机制来捕获交通流的动态时空相关性。同时，Transformer作为一种深度学习方法，它利用编码器和解码器结构对序列建模，并使用多头注意力机制来学习数据中的动态特征，该方法有利于解决由于使用预定义相邻矩阵难以捕获交通流的动态时空相关性问题。

技术实现思路

[0006]本专利技术的目的是更好的捕获交通流的复杂时空相关性，本专利技术提出基于Transformer的扩散图注意力网络(T
‑
DGAN)交通流预测方法。
[0007]本专利技术是基于Transformer的扩散图注意力网络交通流预测方法，所述的交通流组合预测方法，即T
‑
DGAN采用Transformer编码器
‑
解码器架构，其中编码器和解码器包含多个时空卷积网络模块，即ST
‑
Conv Block，和扩散图注意力模块，即DGA
‑
Block。ST
‑
Conv Block通过时间门控卷积网络和空间卷积网络分别捕获交通流的时间依赖性和空间相关性，DGA
‑
Block利用查询键值自注意力机制自适应学习每个扩散步的扩散参数，并动态更新邻接转移矩阵，以捕获交通流的动态空间相关性；解码器增加了信息辅助模块，以聚合编码器和解码器之间的交通流信息。
[0008]本专利技术具有如下优点：
[0009]1.本专利技术提出基于Transformer的扩散图注意力网络交通流预测方法(T
‑
DGAN)。该方法采用编码器
‑
解码器架构，编解码器堆叠多个时空卷积网络模块(ST
‑
Conv Block)和扩散图注意力模块(DGA
‑
Block)，通过动态图来描述路网信息。解码器在编码器的基础上增加信息辅助模块(Auxiliary Block)，以聚合编码器和解码器之间的交通流信息。
[0010]2.本专利技术使用时空卷积网络(ST
‑
Conv Block)来学习交通流的时空相关性。时间门控卷积层用于捕获交通流的时间依赖性，空间卷积层用于捕获交通流的空间相关性。
[0011]3.本专利技术使用扩散图注意力(DGA
‑
Block)方法对交通流的动态空间相关性进行建模，该方法利用查询键值自注意力机制自适应的学习每个扩散步的扩散参数，并动态更新邻接转移矩阵，以反映交通流的空间动态变化特性。
[0012]4.本专利技术在两组交通数据集上分别进行了大量的对比实验，实验结果表明，与基线方法相比，本专利技术的方法在不同的数据集上均取得了更加准确的预测精度。
附图说明
[0013]图1是T
‑
DGAN方法框架图，图2是时间卷积网络图，图3是T
‑
DGAN与PeMS03真实值对比图，node＝11，图4是T
‑
DGAN与PeMS03真实值对比，node＝190，图5是T
‑
DGAN与METR
‑
LA真实值对比，node＝119，图6是T
‑
DGAN与METR
‑
LA真实值对比，node＝176，图7是PeMS03数据集中的邻接矩阵T
e
，T
d
(step 0)，图8是METR
‑
LA数据集中的邻接矩阵T
e
，T
d
(step 5)。
[0014]实施方式
[0015]下面结合实施例对本专利技术做进一步的详细说明。
[0016]1方法
[0017]本专利技术提出了基于Transformer的扩散图注意力网络交通流预测方法(T
‑
DGAN)，其中，编码器层由时空卷积网络模块(ST
‑
Conv Block)和扩散图注意力模块(DGA
‑
Block)组成，而解码器层由时空卷积模块(ST
‑
Conv Block)、扩散图注意力模块(DGA
‑
Block)以及信息辅助模块(Auxiliary Block)组成。编码器和解码器分别有L
‑
1层和L
′‑
1层。给定T
‑
DGAN方法的输入X
{t
‑
T
′
+1,...,t}
和邻接矩阵A，首先将它们分别转换为特征矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer的扩散图注意力网络交通流预测方法，所述的交通流组合预测方法，即T
‑
DGAN方法采用Transformer编码器
‑
解码器架构，其中编码器和解码器包含多个时空卷积网络模块，即ST
‑
Conv Block，和扩散图注意力模块，即DGA
‑
Block；ST
‑
Conv Block通过时间门控卷积网络和空间卷积网络分别捕获交通流的时间依赖性和空间相关性，DGA
‑
Block利用查询键值自注意力机制自适应学习每个扩散步的扩散参数，并动态更新邻接转移矩阵，以捕获交通流的动态时空相关性；解码器增加了信息辅助模块，以聚合编码器和解码器之间的交通流信息。2.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法，其特征在于所述交通流组合预测方法构建步骤为：编码器和解码器包含多个时空卷积网络模块和扩散图注意力模块，ST
‑
Conv Block通过时间门控卷积网络和空间卷积网络分别捕获交通流的时间依赖性和空间相关性，DGA
‑
Block利用查询键值自注意力机制自适应学习每个扩散步的扩散参数，并动态更新邻接转移矩阵，以捕获交通流的动态空间相关性；解码器增加了信息辅助模块，以聚合编码器和解码器之间的交通流信息，最后，通过解码器输出预测序列进行预测。3.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法，其特征在于编码器和解码器分别有L
‑
1层和L
‑
1层；给定T
‑
DGAN方法的输入X
{t
‑
T
′
+1,...,t}
和邻接矩阵A，首先将它们分别转换为特征矩阵阵A，首先将它们分别转换为特征矩阵和transition矩阵其中，D表示A具有自环的度矩阵，即阵，即和分别表示X
{t
‑
T+1,...,t}
的编码器和解码器的加权矩阵，和分别表示编码器和解码器的偏置；T
e(1)
和分别表示编码器和解码器的邻接transition矩阵；通过计算交通流预测的结果，其中表示全连接层的transformation矩阵，表示相应的偏差；将最后一层编码器的输出和输入到每一层解码器的Diffusion Attention模块，以聚合编码器和解码器之间的交通流时空特征信息。4.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法，其特征在于将道路网络表示为图G＝(V,E,A)，其中V表示一组N个道路网络节点，E表示一组边的集合，A∈R
N
×
N
表示加权邻接矩阵，若v
i
，v
j
∈V且(v
i
,v
j
)∈E，则A
ij
为1，否则为0；在每个时间步长t中，给定图G上的交通流X
t
∈R
N
×
C
，其中C表示每个节点的特征数；交通流预测问题旨在学习一个函数f，它可以将X
{t
‑
T
′
+1,...,t}
作为输入，并预测未来T个时间步长的交通流，该映射关系如下所示：5.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法，其特征在于用于提取时空特征的卷积编码器，用于从历史交通流数据中提取时空特征，由时空卷积模块(ST
‑
Conv Block)和扩散图注意力模块(DGA
‑
Block)组成；具体而言，每个ST
‑
Conv Block包含一个时间门控卷积层和一个空间卷积层，分别用于捕获交通流的时间特征和空
间特征；DGA
‑
Block利用查询键值注意力来学习每个扩散步的扩散参数，并动态更邻接转移矩阵，以反映交通流的空间动态变化特性。6.根据权利要求5所述的基于Transformer的扩散图注意力网络交通流预测方法，其特征在于时间门控卷积层包含一个一维卷积，使用门控线性单元(GLU)来捕获交通流的时间依赖性；对于交通网络G中的每个节点，时间卷积以零填充来探索输入元素的相邻时间步长，以使时间维度大小保持不变；给定每个节点的时间卷积输入它是一个长度为P的序列，具有D
in
特征，使用一个1D卷积核核大小为(K
t
,1)，输入大小D
in
和输出大小2D
out
得到输出P，Q沿特征维度分成两部分并输入到GLU；因此，时间门控卷积层可以表示为：其中，P，Q分别是GLU中门的输入，
⊙
表示基于元素的Hadamard乘积，σ(Q)使用Sigmoid函数作为激活函数，选择性的获取隐藏状态和输入X中的信息。7.根据权利要求5所述的基于Transformer的扩散图注意力网络交通流预测方法，其特征在于图卷积运算基于图结构将邻居节点的特征聚合到中心节点，以更新节...

【专利技术属性】
技术研发人员：张红，王红燕，巩蕾，张玺君，朱思雨，李扬，伊敏，魏骄云，杨俊译，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：