一种跨模态语义信息监督的轨迹预测方法技术

本发明专利技术涉及轨迹预测技术领域，特别是指一种跨模态语义信息监督的轨迹预测方法及装置。一种跨模态语义信息监督的轨迹预测方法包括采集车辆信息、行驶信息和地图信息，获得语义监督信息以及未来轨迹真值信息；根据地图特征和历史轨迹特征获得全局背景信息特征；根据未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征；根据语义特征、全局背景信息特征和距真值最近预测轨迹特征，对待训练语义监督轨迹预测模型进行对比学习训练，基于未来轨迹真值信息，获得语义监督轨迹预测模型，根据语义监督轨迹预测模型进行轨迹预测。本发明专利技术是一种针对场景语义信息的准确、高效的语义监督轨迹预测方法。预测方法。预测方法。

【技术实现步骤摘要】
一种跨模态语义信息监督的轨迹预测方法


[0001]本专利技术涉及轨迹预测
，特别是指一种跨模态语义信息监督的轨迹预测方法及装置。

技术介绍

[0002]轨迹预测是一种用于预测移动物体未来位置的技术，常用于自动驾驶、无人机、机器人导航和交通流预测等领域。在轨迹预测中，首先需要对感兴趣的物体进行检测和识别，并跟踪其在连续帧中的位置。物体检测与跟踪技术的发展对于轨迹预测至关重要。轨迹预测中存在不确定性，包括传感器噪声、不完全物体遮挡和未来环境变化等因素。有效的不确定性建模可以帮助评估预测结果的可靠性并提供决策依据。
[0003]轨迹预测算法一般以道路地图和场景中智能体的历史状态作为输入。为了编码场景上下文信息，早期的研究通常将它们转化为图像形式，以便使用卷积神经网络进行处理。由于图像信息计算量大，后面的算法改进了地图和历史状态的编码方式，用向量化信息代替图像信息表示上下文信息。比如，构建了车道图来捕捉地图拓扑结构，或使用图结构表示地图和历史轨迹信息。
[0004]现有方法中，普遍利用地图信息和车辆轨迹信息作为模型的监督信息，仅将车辆的未来轨迹信息作为约束模型的输出，并更新模型参数。然而，仅仅利用坐
[0005]标信息作为监督信号，只是让模型拟合可能行走的轨迹，而没有显式的让模型理解当前的车辆类型、行驶距离、车辆意图等信息以及为什么要按照特定方式行驶的原因。
[0006]现有技术中，缺乏一种针对场景语义信息的准确、高效的语义监督轨迹预测方法。

技术实现思路

[0007]本专利技术实施例提供了一种跨模态语义信息监督的轨迹预测方法及装置。所述技术方案如下：
[0008]一方面，提供了一种跨模态语义信息监督的轨迹预测方法，该方法由电子设备实现，该方法包括：
[0009]S1、采集车辆信息、行驶信息和地图信息，获得语义监督信息以及未来轨迹真值信息；
[0010]S2、基于编码器
‑
解码器架构进行模型建立，获得待训练语义监督轨迹预测模型；
[0011]S3、将所述语义监督信息进行特征向量化，获得语义特征；
[0012]S4、根据所述语义监督信息，通过所述待训练语义监督轨迹预测模型，获得地图特征、历史轨迹特征以及未来轨迹特征；
[0013]S5、根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征；
[0014]S6、根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征；
[0015]S7、根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，
对所述待训练语义监督轨迹预测模型进行对比学习训练，基于所述未来轨迹真值信息，获得损失函数收敛结果；
[0016]S8、当所述损失函数收敛结果为收敛时，获得语义监督轨迹预测模型，根据所述语义监督轨迹预测模型进行轨迹预测；当所述损失函数收敛结果为不收敛时，返回S1。
[0017]其中，所述语义监督信息包括行驶方向信息、行驶意图信息、行驶距离信息以及车辆类型信息。
[0018]可选地，所述根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征，包括：
[0019]将所述地图特征以及历史轨迹特征进行拼接，获得整体信息特征；
[0020]对所述历史轨迹特征的最后一个时刻的坐标进行连续向量映射，获得最后一个时刻坐标向量；将所述最后一个时刻坐标向量，输入预设的注意力模块，获得查询矩阵；
[0021]根据所述整体信息特征，获得关键矩阵以及价值矩阵；
[0022]根据所述查询矩阵、所述关键矩阵以及所述价值矩阵进行注意力交互，获得全局背景信息特征。
[0023]可选地，所述根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征，包括：
[0024]根据所述未来轨迹特征进行维度映射变换，获得车辆行驶轨迹坐标；
[0025]根据所述车辆行驶轨迹坐标进行筛选，获得距真值最近预测轨迹坐标；
[0026]根据所述距真值最近预测轨迹坐标，在所述未来轨迹特征中进行对应选择，获得距真值最近预测轨迹特征。
[0027]可选地，所述根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得损失函数收敛结果，包括：
[0028]根据所述语义特征以及所述全局背景信息特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第一损失函数收敛结果；
[0029]根据所述语义特征以及所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第二损失函数收敛结果；
[0030]根据所述未来轨迹特征，获得未来轨迹坐标；根据所述未来轨迹真值信息，获得未来轨迹真值坐标；根据所述未来轨迹坐标和未来轨迹真值坐标，计算高斯混合模型损失，获得第三损失函数收敛结果；
[0031]根据所述第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果，获得损失函数收敛结果；
[0032]所述损失函数收敛结果包括收敛以及不收敛；其中，所述收敛是指当所述第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果同时为收敛；所述不收敛是指第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果不同时为收敛。
[0033]另一方面，提供了一种跨模态语义信息监督的轨迹预测装置，该装置应用于一种跨模态语义信息监督的轨迹预测方法，该装置包括：
[0034]语义监督信息获取模块，用于采集车辆信息、行驶信息和地图信息，获得语义监督
信息以及未来轨迹真值信息；
[0035]模型建立模块，用于基于编码器
‑
解码器架构进行模型建立，获得待训练语义监督轨迹预测模型；
[0036]特征向量化模块，用于将所述语义监督信息进行特征向量化，获得语义特征；
[0037]特征提取模块，用于根据所述语义监督信息，通过所述待训练语义监督轨迹预测模型，获得地图特征、历史轨迹特征以及未来轨迹特征；
[0038]全局背景信息特征获取模块，用于根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征；
[0039]预测轨迹特征获取模块，用于根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征；
[0040]收敛结果获取模块，用于根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，基于所述未来轨迹真值信息，获得损失函数收敛结果；
[0041]模型获取模块，用于当所述损失函数收敛结果为收敛时，获得语义监督轨迹预测模型，根据所述语义监督轨迹预测模型进行轨迹预测；当所述损失函数收敛结果为不收敛时，返回语义监督信息获取模块。
[0042]其中，所述语义监督信息包括行驶方向信息、行驶意图信息、行驶距离信息以及车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态语义信息监督的轨迹预测方法，其特征在于，所述方法包括：S1、采集车辆信息、行驶信息和地图信息，获得语义监督信息以及未来轨迹真值信息；S2、基于编码器
‑
解码器架构进行模型建立，获得待训练语义监督轨迹预测模型；S3、将所述语义监督信息进行特征向量化，获得语义特征；S4、根据所述语义监督信息，通过所述待训练语义监督轨迹预测模型，获得地图特征、历史轨迹特征以及未来轨迹特征；S5、根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征；S6、根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征；S7、根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，基于所述未来轨迹真值信息，获得损失函数收敛结果；S8、当所述损失函数收敛结果为收敛时，获得语义监督轨迹预测模型，根据所述语义监督轨迹预测模型进行轨迹预测；当所述损失函数收敛结果为不收敛时，返回S1。2.根据权利要求1所述的一种跨模态语义信息监督的轨迹预测方法，其特征在于，所述语义监督信息包括行驶方向信息、行驶意图信息、行驶距离信息以及车辆类型信息。3.根据权利要求1所述的一种跨模态语义信息监督的轨迹预测方法，其特征在于，所述根据所述地图特征和所述历史轨迹特征进行特征拼接，获得全局背景信息特征，包括：将所述地图特征以及历史轨迹特征进行拼接，获得整体信息特征；对所述历史轨迹特征的最后一个时刻的坐标进行连续向量映射，获得最后一个时刻坐标向量；将所述最后一个时刻坐标向量，输入预设的注意力模块，获得查询矩阵；根据所述整体信息特征，获得关键矩阵以及价值矩阵；根据所述查询矩阵、所述关键矩阵以及所述价值矩阵进行注意力交互，获得全局背景信息特征。4.根据权利要求1所述的一种跨模态语义信息监督的轨迹预测方法，其特征在于，所述根据所述未来轨迹特征进行映射变换，获得距真值最近预测轨迹特征，包括：根据所述未来轨迹特征进行维度映射变换，获得车辆行驶轨迹坐标；根据所述车辆行驶轨迹坐标进行筛选，获得距真值最近预测轨迹坐标；根据所述距真值最近预测轨迹坐标，在所述未来轨迹特征中进行对应选择，获得距真值最近预测轨迹特征。5.根据权利要求1所述的一种跨模态语义信息监督的轨迹预测方法，其特征在于，所述根据所述语义特征、所述全局背景信息特征和所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，基于所述未来轨迹真值信息，获得损失函数收敛结果，包括：根据所述语义特征以及所述全局背景信息特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第一损失函数收敛结果；根据所述语义特征以及所述距真值最近预测轨迹特征，对所述待训练语义监督轨迹预测模型进行对比学习训练，获得第二损失函数收敛结果；根据所述未来轨迹特征，获得未来轨迹坐标；根据所述未来轨迹真值信息，获得未来轨迹真值坐标；根据所述未来轨迹坐标和未来轨迹真值坐标，计算高斯混合模型损失，获得第
三损失函数收敛结果；根据所述第一损失函数收敛结果、所述第二损失函数收敛结果以及所述第三损失函数收敛结果，获得损失函数收敛结果；所述损失函数收敛结果包括收敛以及不收敛；其中，所述收敛是指当所述第一损失函数收敛结果、第二损失函数收敛结果以及所述第三损失函数收敛结果同时为收敛；所述不收敛是指第一损失函数收敛结果、第二损失函数收敛结果以及所述第三...

【专利技术属性】
技术研发人员：刘宏坤，徐婧林，刘红敏，李科，陈征，范晓东，汪历良，
申请(专利权)人：宁波弗浪科技有限公司，
类型：发明
国别省市：