一种基于多模态数据融合的交通预测方法及应用技术

本发明专利技术公开了一种基于多模态数据融合的交通预测方法及应用，该方法步骤包括：1、构建多模态输入数据，2、利用输入转化模块对多模态输入数据进行处理，3、利用时空信息，产生时空嵌入模块，4、利用跨模态注意力模块处理不同模态间的数据，5、利用最大池融合层将多模态的数据进行融合，6、利用时空注意力模块，进一步进行数据转化，7、利用输出线性层转化输出预测结果，8、迭代进行网络训练，得到训练后的模型。本发明专利技术能高效地结合多种模态的交通数据来实现准确的交通状态预测，从而能有效帮助城市交通管理者提前进行统筹安排，减少城市道路拥塞。减少城市道路拥塞。减少城市道路拥塞。

【技术实现步骤摘要】
一种基于多模态数据融合的交通预测方法及应用


[0001]本专利技术属于交通预测领域，具体的说是一种基于多模态数据融合的交通预测方法及应用。

技术介绍

[0002]随着城市汽车保有量的增加，城市交通拥堵现象越来越严重。利用历史交通数据预测未来一段时间的城市交通状况，有助于城市交通管理者提前采取措施减缓或避免交通拥堵的发生，也可帮助出行者制定合理的出行计划。
[0003]现有的主流相关技术都利用深度神经网络来实现交通状况预测，但是现有的主流相关技术在进行交通预测时仅使用了一种类型的交通数据，忽略了交通传感器能够同时产生多种类型交通数据的事实，未能充分利用现有丰富的交通数据来提高预测性能。

技术实现思路

[0004]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于多模态数据融合的交通预测方法，以期能高效地结合多种模态的交通数据来实现准确的交通状态预测，从而能有效帮助城市交通管理者提前进行统筹安排，减少城市道路拥塞。
[0005]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0006]本专利技术一种基于多模态数据融合的交通预测方法的特点在于，包括如下步骤：
[0007]步骤1、构建多模态输入数据X；
[0008]步骤1.1、构建一个有向的路网图其中，是路网中所有交通传感器的集合；是各个交通传感器之间的路段集合；是邻接矩阵，所述邻接矩阵中的元素值若为1，则表示两个交通传感器之间有路段连通，元素值若为0，则表示两个交通传感器之间无路段连通；
[0009]步骤1.2、路网图中的N个交通传感器每隔一个时间步记录一次包括C种模态的交通状态数据，并将每种模态的交通状态数据进行归一化后，得到N个交通传感器在L个时间步的交通状态数据
[0010]步骤1.3、从X
all
中选取Y个连续的历史时间步的C种模态的交通状态数据，并作为多模态输入数据令第c个模态的子输入数据表示为T<L；
[0011]步骤2、构建基于多模态数据融合的交通预测模型，包括：输入转化模块、时空嵌入模块、跨模态注意力模块、最大池化融合层、时空注意力模块和输出线性层；
[0012]所述输入转化模块包括：输入线性层和位置嵌入层；
[0013]所述时空嵌入模块包括：空间嵌入模块和时间嵌入模块；
[0014]所述跨模态注意力模块包括：第一跨模态注意力层、第一前馈神经网络、第二跨模态注意力层、第二前馈神经网络；
[0015]所述时空注意力模块包括：时间注意力层、第三前馈神经网络、空间注意力层、第
四前馈神经网络；
[0016]步骤3、所述输入转化模块的处理；
[0017]步骤3.1、所述输入线性层将第c个模态的子输入数据X
c
进行转化处理，得到含有D维隐空间的第c个模态的转化数据
[0018]步骤3.2、所述位置嵌入层对第c个模态的转化数据Z
c0
进行位置嵌入操作，得到嵌入位置后的第c个模态的数据从而得到嵌入位置后的C个模态的数据并连接起来，得到连接后的数据
[0019]步骤4、所述时空嵌入模块的处理；
[0020]步骤4.1、所述空间嵌入模块利用node2vec方法将邻接矩阵转化为空间嵌入矩阵
[0021]步骤4.2、所述时间嵌入模块的处理；
[0022]步骤4.2.1、所述时间嵌入模块利用离散傅里叶变换将交通状态数据X
all
转化为频域的采样信号，并对频域的采样信号进行分析，得到F条时间周期信息；
[0023]步骤4.2.2、利用独热编码对F条周期信息进行编码，得到第l个时间步的F个相对位置向量并连接后，得到第l个时间步对应的周期嵌入向量V
l
；
[0024]步骤4.2.3、将选取的T个连续的历史时间步的周期嵌入向量和后续T'个连续的未来时间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵来时间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵T
′
<L；
[0025]步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量其中，包含历史时间步信息的时空嵌入子向量表示为包含未来时间步信息的时空嵌入子向量表示为
[0026]步骤5、所述跨模态注意力模块的处理；
[0027]步骤5.1、将Z1与E
(T)
连接后，得到张量并输入到所述第一跨模态注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为再利用式(1)得到所述第一跨模态注意力层输出的张量
[0028][0029]式(1)中，||
h∈H
表示H个子空间依次进行拼接；d表示每个注意力头部的子空间的维度；且H
×
d＝D；
[0030]步骤5.4、将张量Z2输入到所述第一前馈神经网络中，并通过式(2)得到第一前馈神经网络输出的张量
[0031]Z3＝ReLU(Z2W1+b1)W2+b2ꢀꢀꢀ
(2)
[0032]式(2)中，W1和W2是第一前馈神经网络中可学习的权重参数；b1和b2是第一前馈神经网络中可学习的偏置参数；
[0033]步骤5.5、所述张量Z3依次再经过所述第二跨模态注意力层和第二前馈神经网络
的处理后，得到张量并作为所述跨模态注意力模块的输出数据；
[0034]步骤6、最大池化融合层的处理；
[0035]按各个模态的次序，分别取出张量Z4中一个维度的张量并进行拼接，得到一个维度在C种模态上的拼接张量，从而得到D个维度在C种模态上的拼接张量并拼接为最终的交错拼接张量后输入所述最大池化融合层中进行多模态融合，得到融合后的数据
[0036]步骤7、所述时空注意力模块的处理；
[0037]步骤7.1、将Z5和E
(T
′
)
进行连接后得到张量并输入到所述时间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为从而利用式(3)得到所述时间注意力层输出的张量Z6：
[0038][0039]式(3)中，表示所述时间注意力层中第h个注意力头部对应的注意力分数矩阵，并由式(4)得到：
[0040][0041]式(4)中，是注意力分数矩阵中在第x个交通传感器上第y个时间步和第z个时间步之间的注意力分数；表示第h个注意力头部对应的第x个交通传感器在第y个时间步和第z个时间步之间的相关性，并由式(5)得到：
[0042][0043]式(5)中，是中代表第x个交通传感器和第y个时间步的向量，是中代表第x个交通传感器和第z个时间步的向量；
[0044]步骤7.2、将所述时间注意力层输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的交通预测方法，其特征在于，包括如下步骤：步骤1、构建多模态输入数据X；步骤1.1、构建一个有向的路网图其中，是路网中所有交通传感器的集合；ε是各个交通传感器之间的路段集合；是邻接矩阵，所述邻接矩阵中的元素值若为1，则表示两个交通传感器之间有路段连通，元素值若为0，则表示两个交通传感器之间无路段连通；步骤1.2、路网图中的N个交通传感器每隔一个时间步记录一次包括C种模态的交通状态数据，并将每种模态的交通状态数据进行归一化后，得到N个交通传感器在L个时间步的交通状态数据步骤1.3、从X
all
中选取T个连续的历史时间步的C种模态的交通状态数据，并作为多模态输入数据令第c个模态的子输入数据表示为T<L；步骤2、构建基于多模态数据融合的交通预测模型，包括：输入转化模块、时空嵌入模块、跨模态注意力模块、最大池化融合层、时空注意力模块和输出线性层；所述输入转化模块包括：输入线性层和位置嵌入层；所述时空嵌入模块包括：空间嵌入模块和时间嵌入模块；所述跨模态注意力模块包括：第一跨模态注意力层、第一前馈神经网络、第二跨模态注意力层、第二前馈神经网络；所述时空注意力模块包括：时间注意力层、第三前馈神经网络、空间注意力层、第四前馈神经网络；步骤3、所述输入转化模块的处理；步骤3.1、所述输入线性层将第c个模态的子输入数据X
c
进行转化处理，得到含有D维隐空间的第c个模态的转化数据步骤3.2、所述位置嵌入层对第c个模态的转化数据Z
c0
进行位置嵌入操作，得到嵌入位置后的第c个模态的数据从而得到嵌入位置后的C个模态的数据并连接起来，得到连接后的数据步骤4、所述时空嵌入模块的处理；步骤4.1、所述空间嵌入模块利用node2vec方法将邻接矩阵转化为空间嵌入矩阵步骤4.2、所述时间嵌入模块的处理；步骤4.2.1、所述时间嵌入模块利用离散傅里叶变换将交通状态数据X
all
转化为频域的采样信号，并对频域的采样信号进行分析，得到F条时间周期信息；步骤4.2.2、利用独热编码对F条周期信息进行编码，得到第l个时间步的F个相对位置向量并连接后，得到第l个时间步对应的周期嵌入向量V
l
；步骤4.2.3、将选取的T个连续的历史时间步的周期嵌入向量和后续T'个连续的未来时间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵T
′
<L；步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量
其中，包含历史时间步信息的时空嵌入子向量表示为包含未来时间步信息的时空嵌入子向量表示为步骤5、所述跨模态注意力模块的处理；步骤5.1、将Z1与E
(T)
连接后，得到张量并输入到所述第一跨模态注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为再利用式(1)得到所述第一跨模态注意力层输出的张量注意力层输出的张量式(1)中，||
h∈H
表示H个子空间依次进行拼接；d表示每个注意力头部的子空间的维度；且H
×
d＝D；步骤5.4、将张量Z2输入到所述第一前馈神经网络中，并通过式(2)得到第一前馈神经网络输出的张量Z3＝ReLU(...

【专利技术属性】
技术研发人员：华蓓，李力铤，贺若舟，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：