车辆轨迹预测方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种车辆轨迹预测方法，包括：获取目标车辆的第一未来轨迹特征序列；获取目标车辆的观测图像特征以生成特征图；基于特征图获取目标车辆的第二未来轨迹特征序列，基于特征图获取目标车辆的轨迹多模态特征；获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；将第一未来反转轨迹特征序列和第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；将未来轨迹融合特征序列中的每个未来轨迹融合特征与轨迹多模态特征进行第二融合处理，获得最终未来轨迹特征以用于生成最终未来预测轨迹；基于语义地图中的车道线对最终未来预测轨迹进行修正，获得修正轨迹。本公开还提供了一种车辆轨迹预测装置、电子设备。电子设备。电子设备。

【技术实现步骤摘要】
车辆轨迹预测方法、装置、电子设备及存储介质


[0001]本公开涉及计算机视觉、自动驾驶
，本公开尤其涉及一种车辆轨迹预测方法、装置、电子设备及存储介质。

技术介绍

[0002]在车辆驾驶过程中，司机可以通过判断车辆的运动状态，从而做出正确的决策，避免交通事故的发生。然而，自动驾驶系统若仅通过检测和跟踪车辆(即本车附近车辆)，难以做出合理的决策。
[0003]如果检测到车辆就停止，会增加交通拥挤程度，而错误地选择继续前行，会导致碰撞的发生。为此，对车辆未来轨迹做出合理的预测，可以提高交通系统的安全性和通畅性。然而，车辆轨迹预测存在很大的挑战性，道路的拓扑结构、交通标志和信号灯、车辆与周边代理之间的交互等都会影响车辆轨迹的预测。
[0004]以下为现有技术中的车辆轨迹预测技术方案：
[0005]方案1：2020年的WACV论文“Uncertainty
‑
aware Short
‑
term Motion Prediction of Traffic Actors for Autonomous Driving”提出使用栅格化的高精地图，即栅格地图，提供更加全面和精细的地图信息。模型采用某一时刻车辆的状态(位置、速度、加速度)作为输入，再结合经过卷积神经网络处理后的栅格地图预测未来轨迹。
[0006]方案2：2021年的CVPR论文“Multimodal Motion Prediction with Stacked Transformers”基于堆叠的Transformer进行轨迹预测。用三个堆叠的Transformer分别提取轨迹信息、高精地图信息和交互信息，并生成多个建议轨迹特征。第一个Transformer的Decoder用可学习的参数初始化，后面每一个Decoder的输入是前一个Decoder的输出。然后，对每个建议轨迹特征进行解码，生成未来轨迹和置信度。同时，未来预测轨迹被划分到多个独立的区域，在不同的区域进行优化。堆叠的Transformer单独处理语义地图和轨迹数据，通过堆叠的形式进行融合，减少了不同类型特征之间的相互干扰。
[0007]方案3：中国专利文献CN114022847A《一种智能体轨迹预测方法、系统、设备和存储介质》通过将图神经网络与生成式网络结合起来，借由图神经网络表达智能体间的交互，通过循环神经网络提取历史和未来信息，通过生成式网络得到轨迹的概率模型。但是，生成式网络对于轨迹多模态的可解释性比较差。
[0008]方案4：中国专利文献CN114004406A《车辆轨迹预测方法、装置、存储介质及电子设备》提出一种轨迹修正方法。首先同时预测目标车辆和周围车辆的轨迹，得到初始预测轨迹；然后，根据初始预测轨迹计算所有周围车辆相对于目标车辆的轨迹修正量，最后基于轨迹修正量对目标车辆的初始预测轨迹进行修正得到最终预测轨迹。这种基于交互的轨迹修正方法，在一定程度上避免车辆发生碰撞，能够提高在密集交通场景下车辆轨迹预测的准确性。但是，修正后的轨迹可能不满足车道线的约束。
[0009]现阶段，车辆轨迹预测具有以下三个难点，现有技术中的论文或专利难以充分解决。
[0010]一是多模态输入融合效果差。车辆轨迹预测的输入是多模态的，一般包括高精地图和历史轨迹。高精地图的表现形式有普通的语义地图、栅格化的语义地图、向量化的地图等。Transformer在序列预测领域得到广泛的应用，为了迁移到轨迹预测领域，需要融合不同类型的特征数据。但是，传统的Transformer只能处理单种类型的数据，比如直接处理文本序列或者处理图像数据。目前基于Transformer的融合方式不能充分发挥高精地图的作用。
[0011]二是轨迹多模态可解释性差。预测轨迹具有多模态的特性，即未来轨迹有多种可能的情况。多模态包括方向多模态和速度多模态。对于方向多模态，车辆在路口会有左转、直行、右转等多种选择，或者在周围车辆的影响也下会发生转弯。对于速度多模态，由于交通信号灯和周边车辆等影响，车辆会加速、匀速、减速、急刹等。目前多模态轨迹的生成方式有生成模型和两阶段预测两种方法。生成模型常用的有GAN(生成对抗网络)和CVAE(条件变分自编码器)，通过采样不同的噪声来生成轨迹，虽然轨迹具备一定的多模态，但是缺少可解释性。两阶段预测方法是指先预测终点，再基于终点预测轨迹。通过把终点的约束考虑进来，更加符合人类驾驶员的在真实场景下的反应。Transformer在序列预测领域有突出的优势，但是因为其固有的框架，难以把终点约束考虑进去。
[0012]三是轨迹不满足车道线的约束。在真实的交通场景中，驾驶员一般会沿着车道线行驶，所以真实轨迹一般要满足车道线的约束。但是，模型预测出的多条轨迹具有随机性，轨迹可能不满足车道线的约束或者车道线的约束不够强。

技术实现思路

[0013]为了解决上述技术问题中的至少一个，本公开提供了一种车辆轨迹预测方法、装置、电子设备、存储介质及程序产品。
[0014]根据本公开的一个方面，提供一种车辆轨迹预测方法，包括：
[0015]S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；
[0016]S120、基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图；
[0017]S130、基于所述特征图获取所述目标车辆的第二未来轨迹特征序列，基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征；
[0018]S140、将所述第一未来轨迹特征序列和所述第二未来轨迹特征序列分别进行反转，获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；
[0019]S150、将所述第一未来反转轨迹特征序列和所述第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；
[0020]S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹。
[0021]根据本公开的至少一个实施方式的车辆轨迹预测方法，还包括：
[0022]S170、基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹。
[0023]根据本公开的至少一个实施方式的车辆轨迹预测方法，S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列，包括：
[0024]S111、对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；
[0025]S112、使用第一Transformer模型的编码器对所述预编码特征进行编码处理，获得第一特征向量；
[0026]S113、使用第一Transformer模型的解码器对所述第一特征向量进行解码处理，获得所述第一未来轨迹特征序列。
[0027]根据本公开的至少一个实施方式的车辆轨迹预测方法，S120、基于以所述目标车辆为中心的语义地图获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆轨迹预测方法，其特征在于，包括：S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列；S120、基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图；S130、基于所述特征图获取所述目标车辆的第二未来轨迹特征序列，基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征；S140、将所述第一未来轨迹特征序列和所述第二未来轨迹特征序列分别进行反转，获得第一未来反转轨迹特征序列和第二未来反转轨迹特征序列；S150、将所述第一未来反转轨迹特征序列和所述第二未来反转轨迹特征序列进行第一融合处理，获得未来轨迹融合特征序列；以及S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹。2.根据权利要求1所述的车辆轨迹预测方法，其特征在于，还包括：S170、基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹。3.根据权利要求1或2所述的车辆轨迹预测方法，其特征在于，S110、基于获取的目标车辆的观测轨迹序列获取目标车辆的第一未来轨迹特征序列，包括：S111、对目标车辆的观测轨迹序列进行嵌入处理，并进行位置编码处理，生成预编码特征；S112、使用第一Transformer模型的编码器对所述预编码特征进行编码处理，获得第一特征向量；以及S113、使用第一Transformer模型的解码器对所述第一特征向量进行解码处理，获得所述第一未来轨迹特征序列。4.根据权利要求1或2所述的车辆轨迹预测方法，其特征在于，S120、基于以所述目标车辆为中心的语义地图获取所述目标车辆的观测图像特征以生成特征图，包括：使用基于CNN的骨干网络对语义地图进行特征提取获取所述目标车辆的观测图像特征以生成特征图。5.根据权利要求4所述的车辆轨迹预测方法，其特征在于，S130中，基于所述特征图获取所述目标车辆的第二未来轨迹特征序列，包括：S131、将所述特征图分割为多个特征子图，获得特征子图序列；S132、对所述特征子图序列进行位置编码处理，获得预编码特征；S133、使用第二Transformer模型的编码器对预编码特征进行编码处理，获得第二特征向量；以及S134、使用第二Transformer模型的解码器对所述第二特征向量进行解码处理，获得所述第二未来轨迹特征序列。6.根据权利要求5所述的车辆轨迹预测方法，其特征在于，S130中，基于所述特征图获取所述目标车辆的至少一个轨迹多模态特征，包括：S135、使用第三Transformer模型的解码器对所述第二特征向量进行解码处理，获得所述目标车辆的至少一个轨迹多模态特征；
优选地，所述第一Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器；优选地，所述第二Transformer模型的解码器为经过可学习的嵌入初始化并进行了轨迹特征学习的解码器；优选地，所述第三Transformer模型的解码器为经过可学习的嵌入初始化并进行了多模态特征学习的解码器；优选地，S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，包括：将每一个轨迹多模态特征与所述未来轨迹融合特征序列中的每个未来轨迹融合特征进行拼接处理，获得基于每一个轨迹多模态特征的最终未来轨迹特征；优选地，S160、将所述未来轨迹融合特征序列中的每个未来轨迹融合特征与所述至少一个轨迹多模态特征进行第二融合处理，获得至少一个最终未来轨迹特征以用于生成至少一个最终未来预测轨迹，还包括：对每一个最终未来轨迹特征进行基于自注意力机制(Self
‑
Attention)的处理，并通过多层感知机获得基于每一个最终未来轨迹特征的最终未来预测轨迹；优选地，S170、基于语义地图中的车道线对所述最终未来预测轨迹进行修正，以获得修正轨迹，包括：S171、对于每一条最终未来预测轨迹，获取与其距离最近的车道线；S172、对最终未来预测轨迹进行基于GRU的编码处理，获得最终未来预测轨迹编码序列；对与所述最终未来预测轨迹距离最近的车道线进行基于GRU的编码处理，获得车道线编码序列，对车道线编码序列进行位置编码，获得最终车道线编码序列；S173、对所述最终未来预测轨迹编码序列及所述最终车道线编码序列进行基于多头注意力机制(Multi
‑
head Attention)的处理，获得修正轨迹特征；以及S174、基于多层感知机对所述修正轨迹特征进行解码处理，获得所述修正轨迹。7.一种车辆轨迹预测装置，其特征在于，包括：第一未来轨迹特征序列获取模块，所述第一未来轨迹特征序列获取模...

【专利技术属性】
技术研发人员：林华东，范圣印，李雪，
申请(专利权)人：苏州易航远智智能科技有限公司，
类型：发明
国别省市：