基于动态时空交互图的车辆轨迹预测建模方法与装置制造方法及图纸

本申请涉及一种基于动态时空交互图的车辆轨迹预测建模方法及装置，属于自动驾驶的轨迹预测领域，所述方法包括：获取原始车辆轨迹数据和原始地图数据并进行预处理，得到预处理数据；根据所述轨迹预处理数据和所述地图预处理数据，得到车辆历史轨迹特征和车辆动态交互特征；将所述车辆历史轨迹特征信息和车辆动态交互特征信息输入预构建的车辆轨迹预测模块中进行联合预测，得到最终轨迹预测结果以及轨迹为真的置信度。本申请通过动态时空交互图对车辆之间的交互关系进行建模，将历史轨迹特征和动态交互特征进行融合，从而提取出车辆行驶特征的高阶表示，然后对该高阶表示进行解码以预测车辆未来轨迹，加强了车辆长期预测的稳定性以及预测结果的准确性。性以及预测结果的准确性。性以及预测结果的准确性。

【技术实现步骤摘要】
基于动态时空交互图的车辆轨迹预测建模方法与装置


[0001]本申请属于车辆自动驾驶
，具体涉及一种基于动态时空交互图的车辆轨迹预测建模方法及装置。

技术介绍

[0002]随着社会自动化、智能化水平的不断提高，现有的技术已能够从视频数据、传感器数据等中挖掘出前所未有的数据信息，将其应用于交通事故避免和智能驾驶等领域。其中，车辆轨迹预测是其重要的应用之一。自动驾驶若能精准预测周围车辆与行人的位置，则可极大降低交通事故发生的概率。在过去十年中，自动驾驶行业发展迅速，自动驾驶每个子模块（感知、状态估计、运动规划等）的研发在硬件（各种新传感器）和软件方面都得到了推动。随着在自主车辆上使用车载计算硬件实现实时性能的最新进展，自动驾驶行业今天面临的主要挑战之一是建模和预测道路使用者的未来行为意图。为了让自动驾驶推理并执行最安全的运动计划，它应该能够理解它与其他道路使用者的交互。对此类行为进行建模并非易事，涉及各种因素，例如人流统计、目标数量、环境条件、交通规则、上下文线索等。这意味着自动驾驶要与其他道路使用者共存，不仅要遵守交通规则和法规，还要具有社会意识，即它应该了解如何与道路使用者的进行交互以确保交通畅通。
[0003]针对此现状，近年来许多学者展开了车辆轨迹预测的研究，这些方法利用过去观察到的历史数据，建立模型，让机器从结构化或非结构化的数据中去学习推理行为、交互、环境语义信息等规则。一般可以分为基于物理模型的方法、基于模式学习、基于规划的方法。基于物理模型的方法，即将目标车辆的运动状态表示为位置、速度和加速度，并使用不同的物理模型进行预测。使用这种方法的优点是简单，可接受性强，但仅适用于运动不确定性很小的情形。与基于物理的方法不同，基于模式学习的方法从观察到的车辆轨迹的数据中学习运动模式，通过将不同的函数模型拟合到数据中来学习运动行为，该函数通常是非参数的，是从统计观测中学习的，并且其参数不能像许多基于物理的方法那样可以直接解释。基于规划的方法与前两种建模方法不同，基于规划的方法在对目标运动进行建模时必须考虑当前行为对未来的影响，将其作为其模型的一部分。因此，大部分研究工作都使用目标函数，这些函数最小化一系列操作的总成本。
[0004]但是由于客观环境的影响，车辆之间、车辆与环境的交互变得复杂且抽象，传统模型基于手工设计不能模拟存在交互作用的复杂情形，且适应性差，限制了模型的预测性能。图神经网络表现出基于图数据的依赖关系进行建模的强大功能，可以建模车辆行驶过程中的交互过程，但是目前基于图神经网络方法的模型无法准确建模车辆之间的动态交互，导致轨迹的预测精度不高。

技术实现思路

[0005]综上所述，本申请的目的在于克服传统模型的不足，提供一种基于动态时空交互图的车辆轨迹预测建模方法及装置，以解决传统模型直接使用卷积网络计算成本高，使用
环境中上下文信息不够全面，导致无法准确预测车辆未来轨迹等问题。
[0006]为实现以上目的，本申请采用如下技术方案：一种基于动态时空交互图的车辆轨迹预测建模方法，包括：获取原始车辆轨迹数据和原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；将所述轨迹预处理数据、地图预处理数据输入预构建的动态时空交互图模块中进行特征提取与特征融合，得到车辆历史轨迹特征与车辆动态交互特征；将所述车辆历史轨迹特征与车辆动态交互特征输入预构建的车辆轨迹预测模型中，得到预测的车辆未来轨迹；其中，对原始车辆轨迹数据得到所述轨迹预处理数据，包括：确定所述原始车辆轨迹数据中的主车，将所述主车周围半径r范围内，其平均速度大于阈值c的车辆轨迹数据提取出来，得到移动车辆轨迹数据集；将所述移动车辆轨迹数据中的每一辆车表示为一个节点，得到移动车辆节点集；将所述原始车辆数据中平均速度小于等于阈值c的车辆位置数据提取出来，得到静止车辆位置数据集；根据所述移动车辆节点集构建全连接无向图，得到车辆交互关系图，所述全连接无向图用于表示车辆之间的初始交互关系，并根据所述全连接无向图得到邻接矩阵；根据所述原始地图数据以及所述静止车辆数据集得到地图预处理数据，包括：对原始地图数据进行渲染，得到以图片表示的语意地图，将所述静止车辆数据集中的车辆绘制在所述语意地图同一坐标系中，得到静止车辆位置图；结合所述语意地图与所述静止车辆位置图，得到地图预处理数据。
[0007]将图神经网络应用于车辆动态交互轨迹预测，构建车辆轨迹预测模型。最后实验结果表明该模型达到现有算法水平，在标准数据集上成功预测车辆未来轨迹。
[0008]进一步的，所述动态时空交互图模块，包括：空间特征处理模块，用于根据所述轨迹预处理数据和所述地图预处理数据，进行车辆静态交互特征提取和生成新的所述车辆交互关系图；时间特征处理模块，用于根据不同时间帧的所述车辆关系交互图，进行车辆动态交互特征提取和生成车辆历史交互特征以及生成车辆历史轨迹特征；
[0009]进一步的，所述空间特征处理模块，由地图特征处理模块、图注意力计算模块和多层感知机级联组成：所述地图特征处理模块包括：地图裁剪器和卷积神经网络；其中地图裁剪器用于根据所述地图预处理数据和所述主车位置坐标得到当前帧地图；卷积神经网络用于根据所述当前帧地图，进行当前帧地图特征提取；所述图注意力计算模块包括：特征编码器、前馈神经网络和图空间卷积层；其中所述特征编码器由多层感知机组成，用于增加所述轨迹预处理数据特征维度，将二维位置坐标映射到高维空间，使得所述空间特征处理模块能在高维空间中提取数据特征；所述前馈神经网络用于计算车辆之间的静态图注意力系数；所述图空间卷积层用于根据所述静态图注意力系数计算当前帧的车辆位置特征；根据所述静态图注意力系数生成所述车辆交互关系图；所述多层感知机用于根据所述当前帧的车辆位置特征和所述当前帧地图特征，生
成下一帧的车辆位置预测坐标。
[0010]进一步的，所述时间特征处理模块，由注意力计算模块和图递归模块级联组成：所述注意力计算模块包括：线性变换层和归一化点乘层；其中所述线性变换层用于增加所述车辆交互静态特征维度，使得所述时间特征处理模块能在高维空间提取交互特征；所述归一化点乘层用于计算注意力系数。所述图递归卷积模块用于根据所述车辆关系交互图和所述注意力系数，得到车辆动态交互特征。
[0011]进一步的，所述车辆轨迹预测模块，包括车辆轨迹输出模块和车辆轨迹判断模块，其中：车辆轨迹输出模块，用于根据所述车辆历史交互特征和车辆历史轨迹特征预测车辆的未来轨迹；车辆轨迹判断模块，用于根据所述车辆历史轨迹和所述未来轨迹判断预测轨迹为真的置信度。
[0012]进一步的，所述根据所述车辆历史交互特征和车辆历史轨迹特征预测车辆的未来轨迹，包括：所述车辆轨迹输出模块以所述车辆历史轨迹特征和所述车辆动态交互特征为输入，预测车辆未来轨迹；所述轨迹输出模块包括两个分支，其中一个是独立预测分支，另一个是联合预测分支；所述独立预测分支中使用所述车辆历史轨迹特征预测下一帧位置坐标，所述联合预测分支使用所述车辆动态交互特征和所属车辆历史轨迹特征为输入预测下一帧位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态交互时空图的车辆轨迹预测的建模方法，其特征在于，包括以下步骤：获取原始车辆轨迹数据和原始地图数据并进行预处理，得到轨迹预处理数据与地图预处理数据；将所述轨迹预处理数据、地图预处理数据输入预构建的动态时空交互图模块中进行特征提取与特征融合，得到车辆历史轨迹特征与车辆动态交互特征；将所述车辆历史轨迹特征与车辆动态交互特征输入预构建的车辆轨迹预测模块中，得到预测的车辆未来轨迹；其中，对原始车辆轨迹数据得到所述轨迹预处理数据，包括：确定所述原始车辆轨迹数据中的主车，将所述主车周围半径r范围内，其平均速度大于阈值c的车辆轨迹数据提取出来，得到移动车辆轨迹数据集；将所述移动车辆轨迹数据中的每一辆车表示为一个节点，得到移动车辆节点集；将所述原始车辆数据中平均速度小于等于阈值c的车辆位置数据提取出来，得到静止车辆位置数据集；根据所述移动车辆节点集构建全连接无向图，得到车辆交互关系图，所述全连接无向图用于表示车辆之间的初始交互关系，并根据所述全连接无向图得到邻接矩阵；根据所述原始地图数据以及所述静止车辆数据集得到地图预处理数据，包括：对原始地图数据进行渲染，得到以图片表示的语意地图，将所述静止车辆数据集中的车辆绘制在所述语意地图同一坐标系中，得到静止车辆位置图；结合所述语意地图与所述静止车辆位置图，得到地图预处理数据。2.根据权力要求1所述的方法，其特征在于，所述动态时空交互图模块，包括：空间特征处理模块，用于根据所述轨迹预处理数据和所述地图预处理数据，进行车辆静态交互特征提取和生成新的所述车辆交互关系图；时间特征处理模块，用于根据不同时间帧的所述车辆关系交互图，进行车辆动态交互特征提取，生成车辆历史交互特征以及生成车辆历史轨迹特征。3.根据权力要求1所述的方法，所述车辆轨迹预测模块，包括：车辆轨迹输出模块，用于根据所述车辆历史交互特征和车辆历史轨迹特征预测车辆的未来轨迹；车辆轨迹判断模块，用于根据所述车辆历史轨迹和所述未来轨迹判断预测轨迹为真的置信度。4.根据权利要求2所述的方法，其特征在于，所述空间特征处理模块，由地图特征处理模块、图注意力计算模块和多层感知机级联组成：所述地图特征处理模块包括：地图裁剪器和卷积神经网络；其中地图裁剪器用于根据所述地图预处理数据和所述主车位置坐标得到当前帧地图；卷积神经网络用于根据所述当前帧地图，进行当前帧地图特征提取；所述图注意力计算模块包括：特征编码器、前馈神经网络和图空间卷积层；其中所述特征编码器由多层感知机组成，用于增加所述轨迹预处理数据特征维度，将二维位置坐标映射到高维空间，使得所述空间特征处理模块能在高维空间中提取数据特征；所述前馈神经网络用于计算车辆之间的静态图注意力系数；所述图空间卷积层用于根据所述静态图注意力系数计算当前帧的车辆位置特征；根据所述静态图注意力系数生成所述车辆交互关系图；
所述多层感知机用于根据所述当前帧的车辆位置特征和所述当前帧地图特征，生成下一帧的车辆位置预测坐标。5.根据权利要求2所述的方法，...

【专利技术属性】
技术研发人员：程国志，
申请(专利权)人：程国志，
类型：发明
国别省市：