当前位置: 首页 > 专利查询>江苏大学专利>正文

一种基于多模态信息融合和大模型推演的自动驾驶车辆风险态势预测方法、系统及存储介质技术方案

技术编号:43378905 阅读:78 留言:0更新日期:2024-11-19 17:56
本发明专利技术公开了一种基于多模态信息融合和大模型推演的自动驾驶车辆风险态势预测方法、系统及存储介质,该方案整合了来自摄像头、激光雷达、多传感器的多模态信息,对可见光图像和红外图像进行信息传递和聚合。将来自多个传感器的数据进行融合,形成环视的动态时空信息。使用邻居交叉注意力机制融合2D‑3D环视图像的动静态特征;利用大模型建立预测模型,对时空风险信息和文本提示信息进行分析,生成短期和长期的预测结果。通过评估每个短期规划和相应的长期应对计划的成本,选择总成本最小的一个作为最优策略,指导智能车辆的安全行驶。

【技术实现步骤摘要】

本专利技术涉及智能车辆,尤其涉及基于大模型的智能车辆长短期行车风险态势推演方法、系统及存储介质。该方法利用多模态的传感器信息,结合大模型生成的长短期风险预测结果,利用优化方法进行智能车辆的安全行驶规划。


技术介绍

1、随着自动驾驶技术的发展,智能车辆的安全性和可靠性越发受到关注。传统的自动驾驶系统往往基于固定规则或简单的模型进行决策,无法充分考虑复杂的交通环境和障碍物感知信息,因此存在着一定的局限性。针对这一问题,本专利技术提出了一种基于多模态信息融合大模型推演自动驾驶风险态势方法,能够更准确地预测车辆的风险情况,从而实现更安全的行驶规划。


技术实现思路

1、本专利技术提供了一种基于多模态信息融合和大模型推演的自动驾驶风险态势预测方法、系统及存储介质。通过多模态信息和大模型推演相结合,实现了对自动驾驶风险的预测和应对。该方法在整合了来自多传感器的多模态信息的基础上,利用大模型建立预测模型,生成短期和长期的预测结果。通过评估每个短期规划和相应的长期应对计划的成本,选择总成本最小的一个作为最优策略,指导智能车辆的本文档来自技高网...

【技术保护点】

1.一种基于多模态信息融合和大模型推演的自动驾驶车辆风险态势预测方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的自动驾驶车辆风险态势预测方法,其特征在于,所述步骤S1的实现包括如下:

3.根据权利要求2所述的自动驾驶车辆风险态势预测方法,其特征在于,所述S1.1具体包括如下:

4.根据权利要求2所述的自动驾驶车辆风险态势预测方法,其特征在于,所述S1.2具体包括如下步骤:

5.根据权利要求1所述的自动驾驶车辆风险态势预测方法,其特征在于,所述S2的具体实现包括如下:

6.根据权利要求1所述的自动驾驶车辆风险态势预测方法...

【技术特征摘要】

1.一种基于多模态信息融合和大模型推演的自动驾驶车辆风险态势预测方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的自动驾驶车辆风险态势预测方法,其特征在于,所述步骤s1的实现包括如下:

3.根据权利要求2所述的自动驾驶车辆风险态势预测方法,其特征在于,所述s1.1具体包括如下:

4.根据权利要求2所述的自动驾驶车辆风险态势预测方法,其特征在于,所述s1.2具体包括如下步骤:

5.根据权利要求1所述的自动驾驶车辆风险态势预测方法,其特征在于,所述s2的具体实现包括如下:

6.根据...

【专利技术属性】
技术研发人员:刘擎超陈思齐蔡英凤王海陈龙熊晓夏
申请(专利权)人:江苏大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1