基于视觉融合进行精确运动预测的多模态时空模型制造技术

技术编号:39946332 阅读:22 留言:0更新日期:2024-01-08 22:57
本发明专利技术公开了一种基于视觉融合进行精确运动预测的多模态时空模型,包括:输入编码器模块:分别对轨迹和地图进行编码,并通过特征融合将轨迹和地图的特征整合在一起;空间‑时间交互模块:通过采用空间‑时间交叉注意力机制来提取车辆轨迹之间的空间‑时间交互行为,并通过一个门控机制输出优化后的结果;轨迹解码器模块:利用线性残差层生成多模态轨迹,接收来自空间‑时间交互模块的优化输出,并为车辆预测多个可能的轨迹;以捕捉车辆之间的时空相互作用,并利用道路的地理结构提高预测准确性。

【技术实现步骤摘要】

本专利技术涉及自动驾驶中车辆轨迹预测,特别是一种基于视觉融合进行精确运动预测的多模态时空模型


技术介绍

1、随着人工智能技术的普及,自动驾驶、智能交通、机器人控制和智能物流等领域蓬勃发展。准确预测运动物体的运动轨迹是确保交通安全和效率的重要问题,为了实现这一目标,使用了各种传感器来收集环境中的数据,这些多源视觉信息通常与来自激光雷达的点云信息和其他传感器的时间序列数据进行融合和理解,以进一步表示丰富的交通信息。在智能物流等领域,准确的轨迹预测在实现智能路径规划和优化物流运输操作等目标中十分重要。同样,在自动驾驶和机器人控制中,对其他车辆、行人和障碍物的轨迹进行预测对于确保安全和高效的导航和控制决策至关重要。因此,轨迹预测任务的发展具有重要的应用价值和社会意义。

2、车辆的未来轨迹通常受到三个主要因素的影响:道路结构、车辆的历史运动轨迹以及周围其他车辆的运动轨迹。然而,视觉数据并不总是可靠的。在夜间、雨天或重度雾霾等场景下,摄像头捕捉到的图像质量可能会显著下降;光照强度的突然变化可能会使摄像头暂时失明,这些目前在视觉领域中的问题尚未解决。...

【技术保护点】

1.一种基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,包括:

2.根据权利要求1所述的基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,所述输入编码器模块具体包括以下组件:

3.根据权利要求1所述的基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,所述空间-时间交互模块具体包括以下组件:

4.根据权利要求3所述的基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,门控参数的设计具体包括:

5.根据权利要求1所述的基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,在所述轨迹解码器模块中,通过使用公式(...

【技术特征摘要】

1.一种基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,包括:

2.根据权利要求1所述的基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,所述输入编码器模块具体包括以下组件:

3.根据权利要求1所述的基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,所述空间-时间交互模块具体包括以下组件:

4.根据权利要求3所述的基于视觉融合进行精确运动预测的多模态时空模型,其特征在于,门控参数的设计具体包括:<...

【专利技术属性】
技术研发人员:汪晓丁林晖刘建敏镇子航江磊林铖彧
申请(专利权)人:福建师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1