一种基于多模态代理查询的运动预测方法技术

技术编号：40021202 阅读：23 留言：0更新日期：2024-01-16 16:47

本发明专利技术公开了一种基于多模态代理查询的运动预测方法，属于自动驾驶技术领域。包括：提取车辆周围不同模态下的环境特征执行目标检测，将检测结果编码为代理查询；将代理查询初始化为可学习查询向量，将不同模态下的环境特征作为环境信息相关的键向量和值向量，先后更新查询向量，生成环境信息相关的代理查询；提取高精地图的地图特征作为地图信息相关的键向量和值向量，更新环境信息相关的代理查询，生成地图信息相关的代理查询作为最终代理查询，用于完成自动驾驶车辆周围物体运动预测的任务。本发明专利技术从多模态数据中获取代理信息，结合多维场景特征和高精地图对周围物体进行运动预测，极大程度上避免了物体漏检问题，提高了预测精度。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术属于自动驾驶，具体涉及一种基于多模态代理查询的运动预测方法。

技术介绍

1、安全是高级驾驶辅助系统(adas)和自动驾驶汽车的基石。为了提高道路行驶安全性，汽车行业正朝着更加"智能"的方向发展。主要挑战之一是保证车辆可以检测危险情况并做出相应反应，以避免或减轻事故。这就需要预测车辆当前的所处环境在未来一段时间内的可能演变，并对相应的事件做出风险评估。

2、运动预测(motion prediction)模块主要解决自动驾驶车辆与周围环境中的其他潜在运动物体(车辆、行人等)之间的行为交互问题。该模块的作用是预测感知模块所检测到的前景物体未来一段时间内的运动情况，并将预测的结果转化为当前空间维度上一段连续的运动轨迹。将自动驾驶车辆周围的其他车辆、行人、非机动车等物体的预测运动轨迹作为输入，以便自动驾驶车辆可以做出更加合理、安全的驾驶决策。一般而言，感知模块的输出就是预测模块的输入，包括当前场内其他前景物体的位置、速度、朝向、分类(如车辆，行人，自行车)等信息。运动预测模块会结合提供的物体属性信息、历史运动轨迹信息以及高精...

【技术保护点】

1.一种基于多模态代理查询的运动预测方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态代理查询的运动预测方法，其特征在于，所述的步骤(1)包括：

3.根据权利要求2所述的基于多模态代理查询的运动预测方法，其特征在于，所述的点云特征提取网络采用三维稀疏卷积网络。

4.根据权利要求2所述的基于多模态代理查询的运动预测方法，其特征在于，所述的步骤(2)包括：

5.根据权利要求4所述的基于多模态代理查询的运动预测方法，其特征在于，所述的图像目标检测输出头和点云目标检测输出头采用堆叠的卷积层和一个线性层实现。