一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法技术

本发明专利技术公开了一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法，模型共由编码器、空间信息提取层、解码器三个模块组成。首先，对交通场景内被预测车及其周围车辆以5Hz的频率进行采样，获取各车辆采样点的位置坐标以及动力学参数，包括横纵坐标和横纵向车速、加速度。由被预测车和周围车辆的坐标和车速，计算出被预测车和周围各车辆之间的碰撞时间TTC并判断出车辆行为；将包含以上信息的各车历史轨迹输入模型，编码轨迹中的时序交互特征并提取的空间特征，将上述特征总结为上下文向量后输入至LSTM解码器生成车辆的未来轨迹坐标。本发明专利技术解决了使用传统递归神经网络不能获取的车辆交互产生的特征信息，极大提高了对车辆轨迹的预测精度。

A graph convolution neural network model and a vehicle trajectory prediction method based on the model

【技术实现步骤摘要】
一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
本专利技术属于车辆智能驾驶领域，特别是涉及一种基于图卷积神经网络模型的车辆轨迹预测方法。
技术介绍
随着时代的变迁，科学技术的发展，国内外研究学者对智能驾驶汽车控制决策的研究日益深入。为了更加安全高效地在人类驾驶员组成的复杂交通场景中导航，智能驾驶汽车必须具有主动权，例如决定何时更改车道，超车或减慢速度以允许其他车辆进行车道合并。这要求智能驾驶车辆具有某种能力来预测自身以及周围车辆的轨迹，以便在与周围车辆发生相互作用之前能够主动采取措施规避此类风险。目前车辆轨迹预测方法主要使用了递归神经网络(RNN)中的长短时记忆神经网络(LSTM)来，实现了对车辆未来轨迹的预测。模型通过LSTM网络提取车辆历史轨迹内的时序特征，拟合历史轨迹和未来轨迹之间的非线性关系，最后通过损失函数值的反向传播来完成预测。很多模型使用了自然语言处理中的seq2seq编码器解码器结构，通过LSTM编码器提取车辆轨迹的时间特征，将其编码成特征上下文向量；LSTM解码器则对上下文向量进行解码，生成未来轨迹坐标。卷积神经网络(CNN)的加入使得编码器获得了编码交通场景内车辆间相对位置构成的空间特征的能力，由此提高轨迹预测的精准度。但是，在不同交通场景下运行的车辆之间还存在着无形的交互作用。一辆车行驶过程中所包含的行为和特征发生某种变化的同时也影响了该车辆周围的车辆，使其改变自身状态。单以长短时记忆神经网络和卷积神经网络建立的模型只考虑空间信息以及时间信息，难以表达出这种隐式关系。图卷积神经网络则很好地捕捉了车辆所在交通场景内车辆之间存在的这种关系。通过图神经网络，将同一交通场景下的车辆构建为一种非欧结构的拓扑图模型。车辆为图中的节点，车辆之间的特征通过连边传递。每当有节点发生状态变化，该变化会通过连边传递给周围的节点，从而更新图中各节点的状态。加入了图卷积神经网络的轨迹预测模型能够提取图中各节点之间的依赖关系，将其与时间和空间特征相结合，为车辆未来轨迹的预测提供更加丰富的特征信息。
技术实现思路
为解决上述问题，本专利技术提出一种基于图卷积神经网络模型、以及利用该模型来预测车辆未来轨迹坐标的方法。本专利技术设计的图卷积神经网络模型能够更好地捕捉到车辆之间各特征信息的传递和更新以及车辆之间的依赖关系。在使用神经网络模型之前，需要对输入模型的数据进行预处理。首先，对交通场景内被预测车及其周围车辆以20Hz的频率进行采样，获取各车辆采样点的位置坐标以及动力学参数，包括车辆横纵坐标、横纵向车速以及横纵向加速度。由被预测车和周围车辆的坐标和车速的变换，计算出被预测车和周围各车辆之间的碰撞时间TTC并判断出车辆行为。将以上信息作为模型的输入。如图1所示，本专利技术搭建的模型共由编码器、空间信息提取层、解码器三个模块组成。其中编码器使用多层图卷积神经网络，提取到车辆序列数据内隐含的图结构信息。再通过长短记忆神经网络(LSTM)编码，获取数据中的图时序特征，编码成上下文向量。空间信息提取层构造以真实车辆位置为参照的占据栅格图，并将各车辆的图时序特征上下文向量嵌入到占据栅格图中相对应的位置，构成三维张量。使用卷积神经网络提取数据中深层的空间特征，并将其压缩，形成包含图、时序、空间三种特征的上下文向量，将图时空上下文向量和车辆历史轨迹共同输入到LSTM解码器中，生成车辆的未来轨迹坐标。具体的技术方案描述在下面具体实施方式部分作了详细描述。本专利技术的有益效果：(1)本专利技术提出的基于图卷积神经网络车辆轨迹预测模型解决了使用传统递归神经网络不能获取的车辆交互产生的特征信息，并将图卷积神经网络与长短时记忆神经网络构成的编码器解码器结构以及卷积神经网络通过串联操作、全连接层以及合适的激活函数很好的融合在一起，极大提高了对车辆轨迹的预测精度。(2)本专利技术提出了对车辆初始动力学特征的处理方法，将车辆间的动力学参数、碰撞时间和车辆行为作为车辆轨迹预测必要的输入参数，极大提高了模型的鲁棒性和预测精准性。并且对车辆坐标相对于被预测车进行了相对坐标计算处理，提高了模型的泛化能力。(3)本专利技术给出了神经网络模型的训练方法，给出了建议的神经网络训练所必须的超参数，以及各神经网络层合适的输入输出维度以及层数。在保证模型训练速度的情况下，使得模型训练得到更加精准的结果，并且有效避免了发生过拟合的情况。附图说明图1为模型结构示意图。具体实施方式下面结合附图对本专利技术作进一步说明。Step1：模型搭建一、模型输入轨迹预测的输入特征值包含4个必要组成成分，包括被预测车历史轨迹、被预测车周边车辆历史轨迹、被预测车与周边车辆达到碰撞点的时间TTC以及各时刻车辆行为。(1)被预测车历史轨迹被预测车历史轨迹序列可表达为：Xego＝{x(t-S),…,x(t-1),x(t)}S为历史轨迹序列长度，x(t)表示被测车历史轨迹，t为当前时刻，其中：是被预测车的横纵向坐标,是被预测车的横纵向车速，是被预测车横纵向加速度。被预测车横纵向车速和加速度计算公式如下，：其中为被预测车行驶方向的车速和加速度，θ为车辆行驶时的航向角。(2)被预测车周边车辆轨迹构建以被预测车为中心，宽度为三车道，长度为多个车长和平均车头间距的占据栅格图，将占据栅格图内包含的车辆定义为被预测车的周边车辆。被预测车周边车辆轨迹序列将输入图卷积层进行特征提取，所以选取的被预测车周围车辆数目为定值N，则被预测车邻居车辆历史轨迹序列表示为：(3)碰撞时间TTC被预测车与周边车辆的碰撞时间TTC，即被预测车和第j辆周边车辆按当前行驶方向和状态继续行驶达到相遇点的时间，相遇点坐标计算由当前时刻被预测车横纵坐标以及邻居车辆j的横纵坐标进行计算：其中，表示被预测车t时刻的航向角，第j辆邻居车辆航向角使用当前时刻的横纵向车速进行计算则当车辆i当前车速vi并保持航向角θi方向行驶到达相遇点所花费的时间为：则被预测车与邻居车辆到达碰撞点的时间之差，即碰撞时间TTC可表示为：TTC＝|tcol,ego-tcol,j|tcol,ego表示被测车到达碰撞点的时间，tcol,j表示邻居车辆到达碰撞点的时间。(4)车辆行为将道路上行驶的车辆行为分为三种：车道保持，左换道，右换道。车辆左/右换道定义为：记当前时刻采样点车道为L1，车辆坐标为(x(t),y(t))。向前遍历车辆历史数据采样点，记车辆前推采样点第一次处于非L1车道时的采样点为换道点，坐标为(xc,yc)。记换道点前推第三个采样点的坐标为(xc+3,yc+3),计算出换道点航向角为：令采样点车辆坐标与换道点坐标连线的夹角为最小换道判断阈值：若车辆历史轨迹中换道点前后采样点的航向角满足条件|本文档来自技高网...

【技术保护点】
1.一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，包括/nS1，设置图卷积神经网络模型的输入数据：包括被预测车历史轨迹、被预测车周边车辆历史轨迹、被预测车与周边车辆的碰撞时间TTC以及各时刻车辆行为；/nS2，图卷积神经网络模型的结构设计；包括三个模块：模块一为车辆轨迹编码器模块，该模块由图卷积神经网络层以及LSTM编码器组成，其中图卷积神经网络层负责编码车辆之间的联系和影响的关系特征，LSTM编码器提取车辆轨迹序列在时间维度上的特征；模块二为空间特征提取层，由两层卷积层和一层池化层构成，作用是提取交通场景内由于车辆位置构成的空间特征；模块三为解码器，即LSTM解码器，将前两个模块提取的特征通过解码器输出预测的未来车辆轨迹坐标；/nS3，训练图卷积神经网络模型；包括设置相应的训练数据和训练环境对模型进行训练；/nS4，利用训练好的模型进行车辆轨迹预测。/n

【技术特征摘要】
1.一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，包括
S1，设置图卷积神经网络模型的输入数据：包括被预测车历史轨迹、被预测车周边车辆历史轨迹、被预测车与周边车辆的碰撞时间TTC以及各时刻车辆行为；
S2，图卷积神经网络模型的结构设计；包括三个模块：模块一为车辆轨迹编码器模块，该模块由图卷积神经网络层以及LSTM编码器组成，其中图卷积神经网络层负责编码车辆之间的联系和影响的关系特征，LSTM编码器提取车辆轨迹序列在时间维度上的特征；模块二为空间特征提取层，由两层卷积层和一层池化层构成，作用是提取交通场景内由于车辆位置构成的空间特征；模块三为解码器，即LSTM解码器，将前两个模块提取的特征通过解码器输出预测的未来车辆轨迹坐标；
S3，训练图卷积神经网络模型；包括设置相应的训练数据和训练环境对模型进行训练；
S4，利用训练好的模型进行车辆轨迹预测。


2.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S1中的输入数据具体定义如下：
(1)被预测车历史轨迹
被预测车历史轨迹序列表达为：
Xego＝{x(t-S),…,x(t-1),x(t)}
S为历史轨迹序列长度，t为当前时刻，其中：




是被预测车的横纵向坐标,是被预测车的横纵向车速，是被预测车横纵向加速度：






(2)被预测车周边车辆历史轨迹
构建以被预测车为中心，宽度为三车道，长度为多个车长和平均车头间距的占据栅格图，将占据栅格图内包含的车辆定义为被预测车的周边车辆；
被预测车周边车辆轨迹序列将输入图卷积层进行特征提取，所选取的被预测车周围车辆数目为定值N，则被预测车邻居车辆历史轨迹序列表示为：



(3)被预测车与周边车辆的碰撞时间TTC
被预测车与周边车辆的碰撞时间TTC，即被预测车和第j辆周边车辆按当前行驶方向和状态继续行驶达到相遇点的时间，相遇点坐标计算由当前时刻被预测车横纵坐标以及邻居车辆j的横纵坐标进行计算：






其中，车辆航向角θ使用当前时刻的横纵向车速进行计算，则当车辆i按当前航向角方向行驶到达相遇点所花费的时间为：



则被预测车与邻居车辆到达碰撞点的时间之差，即碰撞时间TTC可表示为：
TTC＝|tcol,ego-tcol,j|；
(4)各时刻车辆行为
将道路上行驶的车辆行为定义为三种：车道保持，左换道，右换道；
车辆左/右换道定义为：记当前时刻采样点车道为L1，车辆坐标为(x(t),y(t))，向前遍历车辆历史数据采样点，记车辆前推采样点第一次处于非L1车道时的采样点为换道点，坐标为(xc,yc)，记换道点前推第三个采样点的坐标为(xc+3,yc+3)，计算出换道点航向角为：



令采样点车辆坐标与换道点坐标连线的夹角为最小换道判断阈值：



若车辆历史轨迹中换道点前后采样点的航向角满足条件|θcmin|≤|θ|≤|θcmax|，则认为该时刻车辆正在进行换道行为，θ>0时为左换道，θ＜0时为右换道，不满足条件的采样点均标记为车道保持行为。


3.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S2中车辆轨迹编码器模块的图卷积神经网络层用于提取被预测车与周边车辆之间的非欧几里得距离的关系特征，定义如下：
在同一个交通场景下，运动中的各个车辆之间的各维度特征(包括坐标、动力学特征、驾驶员意图等特征)处于一种相互影响的状态，该状态不属于一种静态的、只依靠欧氏距离传递的空间状态，而是一种非欧的以虚拟连边相互连接的图结构，图中的车辆通过连边把自身特征信息向周边车辆传递，同时也接收周围车辆传递的特征信息，最终图结构完成特征的传递，使得图内特征达到一个新平衡，即完成全图的特征更新；
图中节点个数为N，节点特征为F，图结构的构成表示为G＝(V,E)，其中V为节点集合，V∈RN，E为边缘集合；图中节点之间联系构成的矩阵为邻接矩阵A，A∈RN×N。采用构建自适应邻接矩阵的方法，将邻接矩阵表示为：



其中，E1，E2∈RN×F为两个可自学习的参数矩阵，E1表示节点的输出特征权重，E2表示节点的输入特征权重，将E1，E2相乘通过激活函数ReLU并进行一次行归一化后的矩阵最为表征节点间空间依赖性的邻接矩阵。
则每一层网络层图内特征更新可表示为：
Hl+1＝AHlWl
网络共使用k层图卷积层提取节点特征，最终将获得的k层特征以及原始特征进行串联处理得到k阶联合特征：



将串联后的k阶特征通过卷积核大小为1×1，输出通道为F的卷积层，聚合图卷积各层之间的特征信息，最后输出可以代表该交通场景内所有车辆之间的非欧相关性的图特征上下文向量。


4.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S2中车辆轨迹编码器模块的LSTM编码器能够获取车辆特征序列的时间特征，LSTM编码器神经元内包含输入门、遗忘门以及输出门三个门控单元；其中输入门控制神经元内隐藏状态和输入特征获取的保留度，遗忘门控制神经元对隐藏状态和输入特征的丢弃度，输入门和遗忘门共同构建神经元内新的记忆数据c，输出门更新当前神经元向后一个神经元传递隐藏状态h以及输出的特征序列output；
LSTM编码器输入为图卷积神经网络层输出的图特征上下文向量和被预测车轨迹序列，其输出能够代表整个输入序列最后一个时刻的隐藏...

【专利技术属性】
技术研发人员：蔡英凤，汪梓豪，周奇扬，陈龙，王海，李祎承，陈小波，袁朝春，何友国，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32