一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法技术

本发明专利技术公开了一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法，其中，生成对抗网络模型由两个模块构成，模块一：生成对抗网络的生成器；模块二：生成对抗网络的判别器。利用生成器生成模拟轨迹，利用判别器判别轨迹真伪，模块一与模块二相互博弈对抗，最后获取一个能生成与真实轨迹高度相似模拟轨迹的生成器。之后对生成对抗网络模型进行训练，并给出了数据获取方法，优化器，学习率，训练轮次，迭代轮次，损失函数。最后给出了验证车辆轨迹预测系统生成轨迹准确性的方法。本发明专利技术提出的使用生成对抗网络进行轨迹预测的预测方法，对过去网络结构做出了创新，并有效提高了预测的准确性。

A generation countermeasure network model and a vehicle trajectory prediction method using the generated countermeasure network model

【技术实现步骤摘要】
一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法
本专利技术属于智能交通自动驾驶领域，具体涉及一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法。
技术介绍
随着社会发展和社会人群出行需求的日益提升，智能汽车产业迎来了快速发展的黄金时代。与此同时，随着科学技术尤其是计算机技术的快速发展，深度学习的出现给智能汽车的未来提供了新思路、新方法。美国国家公路交通安全管理局(NHTSA)将智能汽车自动化等级分为l1至l5共五级，而区分智能汽车自动化等级的重要评估标准为智能汽车的决策能力。智能汽车在对自车行为进行决策之前，需评估旁车未来轨迹，并根据旁车未来轨迹规划自车线路导向。目前车辆轨迹预测方法主要使用了递归神经网络(RNN)中的长短时记忆神经网络(LSTM)来，实现了对车辆未来轨迹的预测。模型通过LSTM网络提取车辆历史轨迹内的时序特征，拟合历史轨迹和未来轨迹之间的非线性关系，最后通过损失函数值的反向传播来完成预测。很多模型使用了自然语言处理中的seq2seq编码器解码器结构，通过LSTM编码器提取车辆轨迹的时间特征，将其编码成特征上下文向量；LSTM解码器则对上下文向量进行解码，生成未来轨迹坐标。但是，使用LSTM的预测方法还存在着精度不高的问题。同时，过去模型未能考虑被预测车周边车辆运行轨迹对自车的影响，存在输入特征较少，鲁棒性过低的问题。有鉴于此，有必要为智能汽车提供一种新型的车辆轨迹预测系统。
技术实现思路
为解决上述问题，本专利技术提出了一种基于生成对抗网络模型的车辆轨迹预测方法。本专利技术在生成对抗网络中加入了卷积神经网络池化层来提取周边车辆对主车影响信息，同时加入了换道信息预测，利用换道信息加强了对预测轨迹的约束能力。本专利技术提出的基于生成对抗网络的车辆轨迹预测方法原理如图1所示，图1中所示的生成对抗网络模型主要由两个模块构成。模块一：生成对抗网络的生成器；模块二：生成对抗网络的判别器。利用生成器生成模拟轨迹，利用判别器判别轨迹真伪，模块一与模块二相互博弈对抗，最后获取一个能生成与真实轨迹高度相似模拟轨迹的生成器。本专利技术还提出了一种生成对抗网络模型的训练方法，并给出了数据获取方法，优化器，学习率，训练轮次，迭代轮次，损失函数。具体如下面具体实施方式部分所述。本专利技术最后提出了验证车辆轨迹预测系统生成轨迹准确性的方法。具体如下面具体实施方式部分所述。本专利技术的有益效果：(1)本专利技术提出的使用生成对抗网络进行轨迹预测的预测方法，对过去网络结构做出了创新，并有效提高了预测的准确性。(2)本专利技术在生成对抗网络的生成器中加入的卷积社交池结构，利用卷积神经网络提取平面特征的优势，解决了使用传统递归神经网络不能获取的车辆交互产生的特征信息的缺陷。(3)本专利技术在生成对抗网络的生成器中加入的换道判别结构，通过判断车辆换道行为，加强了对输出轨迹的约束。(4)本专利技术给出了神经网络模型的训练方法，给出了建议的神经网络训练所必须的超参数，以及各神经网络层合适的输入输出维度。在保证模型训练速度的情况下，使得模型训练得到更加精准的结果，并且有效避免了发生过拟合的情况。附图说明图1为基于生成对抗网络的车辆轨迹预测的原理示意图。图2为基于生成对抗网络的车辆轨迹预测流程图。具体实施方式下面结合附图对本专利技术作进一步说明。本专利技术提出了一种基于生成对抗网络的车辆轨迹预测方法，实现该方法的流程如图2所示，包括如下步骤：S1：设计生成对抗网络模型；S2：生成处理数据并将数据输入生成对抗网络模型。S3：利用输入数据训练生成对抗网络模型。S4：利用验证数据对步骤S2中训练完成的生成对抗网络模型做验证。如验证结果理想，则可将此网络模型用于车辆轨迹预测。否则继续执行S2直至验证结果理想。以下将对实施方式进行具体说明。步骤S1的设计生成对抗网络模型如图1所示，该网络模型的设计具体如下：生成对抗网络模型总体结构如图1所示，共有两大模块组成。模块一为生成器，包括LSTM编码器，卷积池化层，换道判别层，解码器四部分，用以生成虚拟轨迹。模块二为判别器，包括LSTM编码器和Sigmoid层，用以输出模块一生成的虚拟轨迹为真实轨迹的概率。生成对抗网络将模块一与模块二相互对抗训练，最终获取与真实轨迹高度相似的预测轨迹。以下为各模块详细说明。(1)模块一模块一为生成对抗网络中的生成器部分，以编码器解码器结构为基础，卷积池化层提取周边车辆对主车的影响特征，换道判别层提取主车换道特征。具体设计如下：1)LSTM编码器LSTM编码器由两个全连接神经网络和一个循环神经网络LSTM组成。输入车辆轨迹(x，y)，输出代表车辆轨迹隐藏关系的32维上下文向量。首先将输入通过一个全连接层，将车辆坐标向量转化为32维隐藏向量，再将隐藏向量输入单层LSTM神经元，获取包含前后隐藏向量内在关系的64维上下文向量，最后通过全连接层对上下文向量做降维处理，取得最终32维上下文向量。2)卷积池化层卷积池化层由一个1)中所述LSTM编码器与两层卷积神经网络构成。输入为S3-1(2)中的旁车轨迹矩阵，输出表征周边车辆对主车影响的80维特征向量。首先将旁车轨迹矩阵每一行分别通过LSTM编码器，获取各旁车的32维特征向量。以主车为中心，以旁车当前帧实际位置为基准将旁车32维特征向量填入13×3的栅格图中。此时得到一个深度为32的13×3栅格矩阵。将栅格矩阵通过卷积核为3×3，深度为64的卷积神经网络，再通过卷积核为3×1，深度为16的卷积神经网络，最终将获取的1×5×16特征降维，输出表征周边车辆对主车影响的80维特征。3)换道判别层换道判别层由一个全连接层和一个softmax多分类层构成。输入为主车轨迹通过LSTM编码器后得到的32维上下文向量，输出主车未来做直行、左换道、右换道三种行为的概率。将主车轨迹序列通过LSTM编码器后，将获取的主车32维上下文向量输入全连接层，取得包含主车换道隐含信息的三维向量[a1a2a3]。将三维向量通过softmax多分类层，获取主车未来做直行、左换道、右换道三种行为的概率。Softmax计算公式如下所示：换道判别层最终输出[a1′a2′a3′]，其中a1′+a2′+a3′＝1且ai′≥0。4)解码器解码器由一个LSTM层和一个全连接层组成，将上述1)、2)、3)三个结构中的输出结合并解码，最终获得预测轨迹。解码器是生成器模块的最终模块，用以生成最后的结果。解码器将主车轨迹通过LSTM编码器后生成的32维上下文向量，旁车轨迹通过卷积池化层后生成的80维特征，以及主车上下文向量通过换道判别层后生成的3维行为概率三者通过串联结合为包含主车信息的115维编码信息。解码器将这115维信息通过LSTM层进行解码，并最后通过一个全连接层降维处本文档来自技高网...

【技术保护点】
1.基于生成对抗网络模型的车辆轨迹预测方法，其特征在于，包括如下步骤：/nS1：设计生成对抗网络模型；/nS2：生成处理数据并将数据输入设计好的生成对抗网络模型；/nS3：利用输入数据训练生成对抗网络模型；/nS4：利用验证数据对步骤S3中训练完成的生成对抗网络模型做验证；如验证结果理想，则可将此网络模型用于车辆轨迹预测，否则继续执行S3直至验证结果理想。/n

【技术特征摘要】
1.基于生成对抗网络模型的车辆轨迹预测方法，其特征在于，包括如下步骤：
S1：设计生成对抗网络模型；
S2：生成处理数据并将数据输入设计好的生成对抗网络模型；
S3：利用输入数据训练生成对抗网络模型；
S4：利用验证数据对步骤S3中训练完成的生成对抗网络模型做验证；如验证结果理想，则可将此网络模型用于车辆轨迹预测，否则继续执行S3直至验证结果理想。


2.根据权利要求1所述的基于生成对抗网络模型的车辆轨迹预测方法，其特征在于，所述S1的具体实现包容：所述生成对抗网络模型包括两个模块，模块一为生成器，包括LSTM编码器、卷积池化层、换道判别层、解码器四部分，用以生成虚拟轨迹；模块二为判别器，包括LSTM编码器和Sigmoid层，用以输出模块一生成的虚拟轨迹为真实轨迹的概率；生成对抗网络模型利用模块一与模块二相互对抗训练，最终获取与真实轨迹高度相似的预测轨迹。


3.根据权利要求2所述的基于生成对抗网络模型的车辆轨迹预测方法，其特征在于，所述生成器的具体设计包括如下：
1)LSTM编码器
LSTM编码器包括两个全连接神经网络和一个循环神经网络LSTM；输入车辆轨迹(x，y)，输出代表车辆轨迹隐藏关系的32维上下文向量；
首先将输入通过一个全连接层，将车辆坐标向量转化为32维隐藏向量，再将隐藏向量输入单层LSTM神经元，获取包含前后隐藏向量内在关系的64维上下文向量，最后通过全连接层对上下文向量做降维处理，取得最终32维上下文向量；
2)卷积池化层
卷积池化层包括一个上述1)中所述LSTM编码器与两层卷积神经网络，输入为旁车轨迹矩阵，输出表征周边车辆对主车影响的80维特征向量；
首先将旁车轨迹矩阵每一行分别通过LSTM编码器，获取各旁车的32维特征向量，以主车为中心，以旁车当前帧实际位置为基准将旁车32维特征向量填入13×3的栅格图中，得到一个深度为32的13×3栅格矩阵；
将栅格矩阵通过卷积核为3×3，深度为64的卷积神经网络，再通过卷积核为3×1，深度为16的卷积神经网络，最终将获取的1×5×16特征降维，输出表征周边车辆对主车影响的80维特征；
3)换道判别层
换道判别层包括一个全连接层和一个softmax多分类层；输入为主车轨迹通过LSTM编码器后得到的32维上下文向量，输出主车未来做直行、左换道、右换道三种行为的概率；
将主车轨迹序列通过LSTM编码器后，将获取的主车32维上下文向量输入全连接层，取得包含主车换道隐含信息的三维向量[a1a2a3]，将三维向量通过softmax多分类层，获取主车未来做直行、左换道、右换道三种行为的概率，Softmax计算公式如下所示：



换道判别层最终输出[a1′a2′a3′]，其中a1′+a2′+a3′＝1且ai′≥0；
4)解码器
解码器包括一个LSTM层和一个全连接层，将上述1)、2)、3)三个结构中的输出结合并解码，最终获得预测轨迹；
解码器用以生成最后的结果，解码器将主车轨迹通过LSTM编码器后生成的32维上下文向量、旁车轨迹通过卷积池化层后生成的80维特征、以及主车上下文向量通过换道判别层后生成的3维行为概率三者通过串联结合为包含主车信息的115维编码信息，解码器将这115维信息通过LSTM层进行解码，并最后通过一个全连接层降维处理，输出预测轨迹。


4.根据权利要求3所述的基于生成对抗网络模型的车辆轨迹预测方法，其特征在于，所述判别器具体设计包括如下：
1)LSTM编码器设计：该编码器与生成器中的LSTM编码器相同，将主车轨迹与生成器生成预测轨迹串联，输入LSTM编码器中，获取包含主车轨迹隐含状态的32维编码向量；
2)Sigmoid层设计：
Sigmoid为一个二分类函数，将LSTM编码器生成的32维编码向量与模块一卷积池化层生成的80维特征串联作为输入，通过全连接层处理隐含信息并压缩信息至1维，最终通过Sigmoid函数获得输入轨迹为真实轨迹概率；其中Sigmoid二分类函数定义如下：





5.根据权利要求1所述的基于生成对抗网络模型的车辆轨迹预测方法，其特征在于，所述步骤S2的具体实现包括如下：
S2-1：拍摄长连续时间内一段公路上的车辆运行视频；
S2-2：获取视频后，对视频进行处理，将视频数据转化为适配模型的数字数据；
视频数据转化步骤如下：
(1)设在整段视频中共出现的车辆数为m，则为视频中出现的每一车辆赋予不同数字id，得到车辆数字id矩阵：
[veh1veh2veh3…vehm-1vehm]
其中车辆数字id与视频中出现的车辆一一对应；
(2)设视频的帧数为n，得到视频帧数矩阵：
[frame1frame2frame3…framem-1framem]
(3)对视频建立直角坐标系xOy，取视频左下角为坐标原点(0，0)，向上为y轴正方向，向右为x轴正方向；
(4)对某车辆vehi，在视频中共出现t帧，即从帧数为framej至framej+t-1的视频帧中出现了车辆vehi，记录车辆vehi在每一帧的位置坐标，获取车辆位置矩阵：



其中为一个坐标向量(x，y)，下标a为车辆id，上标b为帧数；
对视频中全部车辆均执行步骤(4)，最终获取m个车辆位置矩阵；
(5)对某车辆vehi，在视频中共出现t帧，即从帧数为framej至framej+t-1的视频帧中出现了车辆vehi。记录车辆vehi在每一帧的换道信息，其中不更换车道记录为0，左换道记录为-1，右换道记录为1，获取车辆换道矩阵：



其中的取值为数字0，-1，1中的一个，下标a为车辆id，上标b为帧数；
对视频中全部车辆均执行步骤(5)，最终获取m个车辆换道矩阵，此时视频数据转换完成；
S2-3：对视频帧数矩阵[frame1frame2frame3…framem-1framem]中的任一帧framej，由车辆位置矩阵检索，记录存在于该帧的车辆id，记载车辆前traj帧、后pred帧及当前帧车辆位置信息与车辆换道信息，若该车辆于(framei-traj，framei+pred)中的任一帧数无位置信息，则删除该车辆；其中traj为训练使用帧数，pred为预测使用帧数，此时获得帧数framei的车辆位置、换道矩阵：



其中，矩阵中变量的上标为当前帧，下标为车辆id；
此时共获取m-traj-pred个车辆位置、换道矩阵，其中m为视频总帧数，将矩阵输入生成对抗网络，S2完成。


6.根据权利要求1所述的基于生成对抗网络模型的车辆轨迹预测方法，其特征在于，所述S3的具体实现包...

【专利技术属性】
技术研发人员：陈龙，周奇扬，蔡英凤，汪梓豪，王海，李祎承，刘擎超，陈小波，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32