基于大模型的车辆自动驾驶方法及系统技术方案

本发明专利技术提供一种基于大模型的车辆自动驾驶方法及系统，方法包括：获取传感数据；根据音频转换模型对音频数据进行转换得到第一文本数据，基于视觉转换模型对视觉数据进行转换得到第二文本数据，基于语言大模型对用户输入的文本数据、第一文本数据和第二文本数据进行处理，得到感知辅助信息和决策辅助信息；根据车辆周围的环境特征、定位数据和驾驶数据获取初步决策结果，环境特征基于视觉数据、定位数据、感知辅助信息对车辆周围信息进行目标检测确定；根据初步决策结果和决策辅助信息，得到最优决策结果，根据最优决策结果生成最优规划路径以调整车辆运行状态。本发明专利技术充分考虑了车辆周围的环境特征，提高了车辆在特殊天气及全场景下的安全性。

【技术实现步骤摘要】

本专利技术涉及自动驾驶，尤其涉及一种基于大模型的车辆自动驾驶方法及系统。

技术介绍

1、自动驾驶车辆是一种降低交通拥挤，提高交通安全的装备。

2、现有的自动驾驶车辆以激光雷达数据、视觉数据、毫米波雷达数据等为输入，通过自动驾驶系统实现车辆的自动驾驶。自动驾驶系统包括：感知定位、决策规划和控制3个主要模块。因此，自动驾驶车辆的安全性主要取决于各模块的精度和效率。目前的自动驾驶系统在一定条件下(例如：正常光照)，可以取得很好的效果。但是，在现实生活中，场景变化快及环境区别大(例如：扬尘天气、雨雪等)，在此状况下，自动驾驶车辆的安全性无法保证。具体而言，自动驾驶车辆在特殊天气及全场景下的安全性低。

技术实现思路

1、本专利技术提供的基于大模型的车辆自动驾驶方法及系统，用于解决现有技术中存在的自动驾驶车辆在特殊天气及全场景下的安全性低的问题。

2、本专利技术提供的一种基于大模型的车辆自动驾驶方法，包括：

3、获取车辆的传感数据，所述传感数据包括用户输入的文本数据、音频数据、视觉数据本文档来自技高网...

【技术保护点】

1.一种基于大模型的车辆自动驾驶方法，其特征在于，包括：

2.根据权利要求1所述的基于大模型的车辆自动驾驶方法，其特征在于，所述定位数据包括激光雷达数据，所述环境特征通过如下步骤获取：

3.根据权利要求2所述的基于大模型的车辆自动驾驶方法，其特征在于，所述基于所述感知辅助信息，对所述图像数据和部分图像数据进行目标检测，获取第二目标检测结果，包括：

4.根据权利要求1-3任一项所述的基于大模型的车辆自动驾驶方法，其特征在于，所述根据所述初步决策结果和决策辅助信息，得到最优决策结果，包括：

5.根据权利要求2-3所述的基于大模型的车辆自动驾驶方...

【技术特征摘要】

1.一种基于大模型的车辆自动驾驶方法，其特征在于，包括：

2.根据权利要求1所述的基于大模型的车辆自动驾驶方法，其特征在于，所述定位数据包括激光雷达数据，所述环境特征通过如下步骤获取：

3.根据权利要求2所述的基于大模型的车辆自动驾驶方法，其特征在于，所述基于所述感知辅助信息，对所述图像数据和部分图像数据进行目标检测，获取第二目标检测结果，包括：

4.根据权利要求1-3任一项所述的基于大模型的车辆自动驾驶方法，其特征在于，所述根据所述初步决策结果和决策辅助信息，得到最优决策结果，包括：

5.根据权利要求2-3所述的基于大模型的车辆自动驾驶方法，其特征在于，所述车辆的感知辅助信息和所述决策辅助信息的获取方式包括：

【专利技术属性】
技术研发人员：陈龙，刘坤华，王飞跃，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：