一种基于多空间尺度时空Transformer的交通速度预测方法技术

本发明专利技术公开了一种基于多空间尺度时空Transformer的交通速度预测方法，属于交通预测规划技术领域。预测方法包括：将预处理后的路段传感器速度序列数据依次输入多尺度空间特征提取模块、交通时空特征提取模块以及预测模块，逐步实现多尺度动态空间结构和静态路网结构的特征提取、精准建模时空依赖以及预测未来一段时间的交通速度。本发明专利技术多尺度空间特征提取模块能够全面且有针对的提取空间特征，在提高预测精度的同时减少了大量无用计算。另外，交通时空特征提取模块根据交通特性以及数据的相对位置信息选择更有价值的历史数据以进行充分的时空特征提取，解决了提取时空依赖时存在的丢失相对位置信息的问题。时存在的丢失相对位置信息的问题。时存在的丢失相对位置信息的问题。

【技术实现步骤摘要】
一种基于多空间尺度时空Transformer的交通速度预测方法


[0001]本专利技术涉及交通预测规划
，尤其涉及一种基于多空间尺度时空Transformer的交通速度预测方法。

技术介绍

[0002]交通系统是现代城市最重要的基础设施之一，支撑着数百万人的日常通勤和出行。随着城市化和人口增长，交通系统变得更加复杂。基于交通预测的早期干预被视为提高交通系统效率和缓解交通相关问题的关键。
[0003]现有交通数据的预测方法都是以整个交通网络为尺度来对空间结构建模的，即将大量的传感器节点放在一个交通图中做特征提取。一些模型基于传感器节点之间的距离构建了空间图，并将图卷积直接作用在空间图上提取空间域中有意义的模式和特征。这种将传感器视为全部相连的做法虽然可以充分提取空间关系，但是会造成过度提取的问题，导致引入了更多的噪声和大量无用信息。有些模型以距离阈值的方式定义传感器之间的连接关系，将传感器网络建模为加权有向图，并提出扩散卷积来捕获空间依赖性。但是这种方法仍然是以一整个交通网络为尺度，这不利于准确且有针对性的提取空间结构特征。随着Transformer的快速发展，一些模型使用空间Transformer来提取全局的空间结构特征，计算每一个传感器之间的依赖关系。虽然取得了不错的效果，但在提取空间结构时仍存在尺度单一、计算大量无用信息的问题。另外，现有模型在对交通速度数据建模时并没有考虑时空数据的先后关系以及相对位置信息，然而对于交通速度预测来说，这是非常重要的，因为交通速度数据是时间序列数据，而每个时间步之间的影响是不同的，比如对于一个时间步来说，其前一个时间步对他的影响会比前两个时间步对他的影响要大，另外，当前时间步是不受后面时间步的影响的。所以如何进行准确的时空建模，也是需要解决的一大问题。

技术实现思路

[0004]技术问题：本专利技术的目的是要克服现有技术中的不足之处，提供一种基于多空间尺度时空Transformer的交通速度预测方法，以解决因交通系统空间结构复杂、时空依赖关系有严格先后顺序而导致现存的交通数据预测无法精准且快速的预测交通数据的问题。
[0005]技术方案：本专利技术于多空间尺度时空Transformer的交通速度预测方法，利用城市交通速度数据设计预测模型，实现全面且有针对的提取空间特征、精准建模时空依赖特征和预测未来一段时间的交通速度；所述预测模型包括多尺度空间特征提取模块、交通时空特征提取模块和预测模块；包括如下步骤：
[0006]步骤1、对获取到的路段传感器速度序列数据进行预处理：包括处理传感器节点数据以及生成样本集合，得到预处理后的速度样本集和路网的带权邻接矩阵；
[0007]步骤2、将步骤1处理后的数据输入多尺度空间特征提取模块，得到融合了多尺度动态空间结构以及静态路网结构特征的速度数据；
[0008]步骤3、将步骤2得到的提取过空间结构特征的速度数据经过交通时空特征提取模
块进行时空依赖关系的构建，得到具有精准时空依赖的速度数据；
[0009]步骤4、将步骤3得到的具有精准时空依赖的速度数据X
ST
输入预测模块进行多步预测，以预测未来一段时间的交通速度；同时使用损失函数训练所述交通速度预测模型，逐步训练优化参数以实现对城市交通速度的准确预测。
[0010]所述处理传感器节点数据以及生成样本集合；
[0011]所述传感器节点数据是指从道路传感器获取到的一段时间内的平均车速信息，处理传感器节点数据的方法为：将传感器数据每5分钟聚合一次，采用线性插值法填充缺失值，最后将填充完缺失值的传感器数据使用z
‑
score方法归一化，得到交通数据集；所述线性插值法是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法；所述z
‑
score方法是一个实测值与平均数的差再除以标准差的过程，通过z
‑
score方法能够将不同量级的数据转化为统一量度的z
‑
score分值；
[0012]所述生成样本集合的方法为：
[0013]定义一个长度为l的滑动窗口，移动步长为1；使该滑动窗口在数据集[x1,
…
,x
T
]上滑动，得到所有数据样本的集合H＝[X1,
…
,X
h
,
…
,X
T
‑
l+1
]，其中]，其中
[0014]将所有数据样本依次进行特征提取与预测，特征提取与预测的过程一致，均依次经过多尺度空间特征提取模块、交通时空特征提取模块以及预测模块。
[0015]所述交通数据集包括速度数据以及由传感器节点之间的距离确定的带权邻接矩阵，所述交通数据集中的速度数据是时间序列数据，表示为其中，是N个传感器节点在时间步t的观测值，将观测值表示为交通图G＝(V,E,W)，其中，V表示传感器节点的集合，|V|＝N；E表示边的集合，表示交通图G的带权邻接矩阵；其中，邻接矩阵以及边的权重是根据传感器所在位置之间的距离决定的，边的权重矩阵W是根据连通关系构造的邻接矩阵，对于传感器i与传感器j来说，w
ij
＝d
ij
；其中，w
ij
表示传感器i与传感器j之间的权重，d
ij
是传感器i与传感器j之间的距离。
[0016]步骤2中，所述多尺度空间特征提取模块包括节点特征提取层、区域特征提取层、道路特征提取层、静态路网特征提取层以及融合层；将步骤1得到的速度数据样本分别输入各特征提取层来分别提取节点层面、区域层面和道路层面三个尺度的动态空间结构特征以及静态的路网结构特征；之后将三个尺度的动态特征以及静态的特征数据输入融合层来进行融合，得到融合了多尺度动态空间结构以及静态路网结构特征的速度数据；多尺度空间特征提取模块能够全面且有针对的提取空间特征，在提高预测精度的同时减少大量无用信息的计算；
[0017]多尺度空间特征提取模块的提取过程为：
[0018]首先,以速度样本X
h
为例，将速度样本X
h
先经过一层1
×
1的卷积层来扩充特征通道数，得到扩充特征通道之后的数据
[0019][0020]其中：Conv表示卷积操作；
[0021]将并行输入传感器节点特征提取层、区域特征提取层、道路特征提取层以及静
态特征提取层，分别得到节点层面的特征S
node
、区域层面的特征S
area
、道路层面的特征S
road
以及静态的路网结构特征S
static
；之后将上述特征输入融合层来将三个尺度的动态特征以及静态的特征融合，得到融合了多尺度动态空间结构以及静态路网结构特征的速度数据X
S
：
[0022]X
S
＝Fusion(S
node
,S
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多空间尺度时空Transformer的交通速度预测方法，其特征在于：利用城市交通速度数据设计预测模型，实现全面且有针对的提取空间特征、精准建模时空依赖特征和预测未来一段时间的交通速度；所述预测模型包括多尺度空间特征提取模块、交通时空特征提取模块和预测模块；包括如下步骤：步骤1、对获取到的路段传感器速度序列数据进行预处理：包括处理传感器节点数据以及生成样本集合，得到预处理后的速度样本集和路网的带权邻接矩阵；步骤2、将步骤1处理后的数据输入多尺度空间特征提取模块，得到融合了多尺度动态空间结构以及静态路网结构特征的速度数据；步骤3、将步骤2得到的提取过空间结构特征的速度数据经过交通时空特征提取模块进行时空依赖关系的构建，得到具有精准时空依赖的速度数据；步骤4、将步骤3得到的具有精准时空依赖的速度数据X
ST
输入预测模块进行多步预测，以预测未来一段时间的交通速度；同时使用损失函数训练所述交通速度预测模型，逐步训练优化参数以实现对城市交通速度的准确预测。2.根据权利要求1所述的基于多空间尺度时空Transformer的交通速度预测方法，其特征在于：步骤1中，所述处理传感器节点数据以及生成样本集合；所述传感器节点数据是指从道路传感器获取到的一段时间内的平均车速信息，处理传感器节点数据的方法为：将传感器数据每5分钟聚合一次，采用线性插值法填充缺失值，最后将填充完缺失值的传感器数据使用z
‑
score方法归一化，得到交通数据集；所述线性插值法是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法；所述z
‑
score方法是一个实测值与平均数的差再除以标准差的过程，通过z
‑
score方法能够将不同量级的数据转化为统一量度的z
‑
score分值；所述生成样本集合的方法为：定义一个长度为l的滑动窗口，移动步长为1；使该滑动窗口在数据集[x1,...,x
T
]上滑动，得到所有数据样本的集合H＝[X1,...,X
h
,...,X
T
‑
l+1
]，其中]，其中将所有数据样本依次进行特征提取与预测，特征提取与预测的过程一致，均依次经过多尺度空间特征提取模块、交通时空特征提取模块以及预测模块。3.根据权利要求2所述的基于多空间尺度时空Transformer的交通速度预测方法，其特征在于：所述交通数据集包括速度数据以及由传感器节点之间的距离确定的带权邻接矩阵，所述交通数据集中的速度数据是时间序列数据，表示为其中，是N个传感器节点在时间步t的观测值，将观测值表示为交通图G＝(V,E,W)，其中，V表示传感器节点的集合，|V|＝N；E表示边的集合，表示交通图G的带权邻接矩阵；其中，邻接矩阵以及边的权重是根据传感器所在位置之间的距离决定的，边的权重矩阵W是根据连通关系构造的邻接矩阵，对于传感器i与传感器j来说，w
ij
＝d
ij
；其中，w
ij
表示传感器i与传感器j之间的权重，d
ij
是传感器i与传感器j之间的距离。4.根据权利要求1所述的基于多空间尺度时空Transformer的交通速度预测方法，其特征在于：步骤2中，所述多尺度空间特征提取模块包括节点特征提取层、区域特征提取层、道路
特征提取层、静态路网特征提取层以及融合层；将步骤1得到的速度数据样本分别输入各特征提取层来分别提取节点层面、区域层面和道路层面三个尺度的动态空间结构特征以及静态的路网结构特征；之后将三个尺度的动态特征以及静态的特征数据输入融合层来进行融合，得到融合了多尺度动态空间结构以及静态路网结构特征的速度数据；多尺度空间特征提取模块能够全面且有针对的提取空间特征，在提高预测精度的同时减少大量无用信息的计算；多尺度空间特征提取模块的提取过程为：首先,以速度样本X
h
为例，将速度样本X
h
先经过一层1
×
1的卷积层来扩充特征通道数，得到扩充特征通道之后的数据得到扩充特征通道之后的数据其中：Conv表示卷积操作；将并行输入传感器节点特征提取层、区域特征提取层、道路特征提取层以及静态特征提取层，分别得到节点层面的特征S
node
、区域层面的特征S
area
、道路层面的特征S
road
以及静态的路网结构特征S
static
；之后将上述特征输入融合层来将三个尺度的动态特征以及静态的特征融合，得到融合了多尺度动态空间结构以及静态路网结构特征的速度数据X
S
：X
S
＝Fusion(S
node
,S
area
,S
road
,S
static
)其中：Fusion表示融合层的融合操作。5.根据权利要求4所述的一种基于多空间尺度时空Transformer的交通速度预测方法，特征在于：所述节点特征提取层，对每个传感器节点都有自己独特的交通特征，不需要去聚合其他传感器节点的特征，所以在节点特征提取层仅对原始的输入特征进行特征提取；首先，对扩充特征通道数后的速度样本进行层标准化(layer normalization，LN)操作，保证数据中特征的稳定性；其次，再经过一层前馈神经网络用来提取非线性特征，所述前馈神经网络由两层线性层与一个非线性激活函数组成；最后，为了防止梯度消失，在特征提取后加入了带有残差连接的层标准化操作，得到传感器节点层面的特征值S
node
，提取过程表示如下：其中，LN表示层标准化操作，用于保证数据稳定性；Linear表示线性层，用于扩张和缩小数据的维度；ReLU是非线性激活，用于学习数据的非线性特征。6.根据权利要求4所述的基于多空间尺度时空Transformer的交通速度预测方法，特征在于：所述区域特征提取层包括区域位置嵌入单元、区域多头自注意力单元、前馈神经网络单元；首先，采用可学习的空间位置嵌入矩阵来学习节点之间的动态位置关系，并将其融入到原始数据中；其次，将经过位置嵌入后的数据输入区域多头自注意力单元来学习不同方面的特征；最后再经过前馈神经网络单元以提取更深层的特征；
所述区域位置嵌入单元的嵌入过程为：使用一个可学习的空间位置嵌入矩阵来学习节点之间的动态位置关系，R
area
初始化为带有权重的邻接矩阵W，得到位置嵌入后的数据初始化为带有权重的邻接矩阵W，得到位置嵌入后的数据其中，F为一个1
×
1的卷积层，用于将动态的位置信息融入到输入数据中去；所述区域多头自注意力单元的特征提取过程为：在区域多头自注意力单元中使用了个注意力头来学习不同方面的特征，之后将每个注意力头的结果聚合起来；在每个注意力头中，对输入数据进行空间特征提取，其中，并行计算，特征提取过程为：首先，为N个传感器节点序列训练三个潜在子空间，包括查询子空间Q
area
、键子空间K
area
和值子空间V
area
：其中，分别是Q
area
,K
area
,V
area
的可学习权重矩阵；其次，计算节点之间的注意力分数，在计算区域注意力分数时对节点进行了筛选，只计算其区域范围内的注意力分数，筛选过程如下：其中，表示在查询子空间中对应的值，表示在键子空间中对应的值，表示矩阵的转置；d
k
表示K
area
的维度，用于防止梯度消失以及出现的输入值过大的问题；B
ij
表示筛选变量，当节点j在节点i的区域范围内时，B
ij
的值为0，反之置为负无穷：其中R
i
表示以节点i为中心，根据给定的距离阈值K所确定的区域范围内所有其他节点的集合；再次，将得到的注意力分数用激活函数softmax将注意力分数映射到[0,1]范围内，以确保它们在整个序列中总和为1，之后与对应的值子空间相乘相加，得到提取过区域特征的数据M
area
：最后，使用带有残差连接的层标准化操作来稳定该单元的输出，得到提取过区域空间特征的数据M
′
area
：其中：LN表示层标准化操作，用于保证数据稳定性；所述前馈神经网络单元的特征提取过程为：
前馈神经网络由两层线性层与一个非激活函数组成；为了防止梯度消失，在特征提取后加入了带有残差连接的层标准化操作来稳定输出，得到提取过区域空间特征的数据S
area
：S
area
＝LN(Linear(ReLU(Linear(M
′
area
)))+M
′
area
)其中：LN表示层标准化操作，用于保证数据稳定性；Linear表示线性层，用于扩张和缩小数据的维度；ReLU是非线性激活函数，用于学习数据的非线性特征。7.根据权利要求4所述的一种基于多空间尺度时空...

【专利技术属性】
技术研发人员：张悦，刘佰龙，安计勇，张磊，梁志贞，杨林，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：