当前位置: 首页 > 专利查询>吉林大学专利>正文

一种基于视觉语言大模型的自动驾驶决策规划方法及系统技术方案

技术编号:41831023 阅读:22 留言:0更新日期:2024-06-27 18:15
本发明专利技术涉及自动驾驶技术领域,具体公开了一种基于视觉语言大模型的自动驾驶决策规划方法,所述方法包括建立以大型语言模型为基础模型的视觉语言大模型;构建多模态指令遵循数据集,将多模态指令遵循数据集中的多模态数据进行编码与对齐;对大型语言模型进行轻量微调,得到微调后的大型语言模型;基于微调后的大型语言模型获取预测标记并对预测标记进行解码;将视觉语言大模型在多模态指令遵循数据集上进行微调,构建的多模态指令遵循数据集提高决策过程的拟人思维能力,提出的新型视觉语言模型具备高鲁棒性及泛化性,能够处理多种复杂的交通驾驶场景,尤其是通常对于其他模型具有挑战性的长尾驾驶场景。

【技术实现步骤摘要】

本专利技术涉及自动驾驶,具体是一种基于视觉语言大模型的自动驾驶决策规划方法。


技术介绍

1、近年来,自动驾驶取得了显著的进展,迅速成为现代科技中最具发展潜力的领域之一,并有望改变全球交通系统。自动驾驶系统的核心之一是决策规划模块,包括行为规划和运动规划。行为规划是一种高级决策过程,专注于确定自动驾驶车辆的高级行为,如车道变换、速度调节等;而运动规划作为一种低级决策过程,旨在为自动驾驶车辆设计安全且高效的行驶轨迹。这种分层决策制定模式使得自动驾驶系统能够智能应对复杂多变的交通环境。

2、决策规划面临的挑战在于需要适应多样化的驾驶场景并做出合理的驾驶策略。在传统的自动驾驶系统中,决策规划通常是基于规则的方法,通过事先设计明确的规则来确定驾驶策略,以处理各种场景。这种方法具有高度的可解释性,但当遇到规则未能覆盖或者系统未见过的极端驾驶场景,尤其是长尾边缘场景时,决策规划可能会失败。

3、为了确保车辆能够处理各种驾驶场景,基于学习的方法已成为现代自动驾驶系统中决策制定的主流方案。这种方法采用了数据驱动,通过学习大规模的人类驾驶数据来训练决策本文档来自技高网...

【技术保护点】

1.一种基于视觉语言大模型的自动驾驶决策规划方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于视觉语言大模型的自动驾驶决策规划方法,其特征在于,所述构建多模态指令遵循数据集的步骤,具体包括:

3.根据权利要求1所述的一种基于视觉语言大模型的自动驾驶决策规划方法,其特征在于,所述将多模态指令遵循数据集中的多模态数据进行编码与对齐的步骤,具体包括:

4.根据权利要求1所述的一种基于视觉语言大模型的自动驾驶决策规划方法,其特征在于,通过低秩适应作为适配器对大型语言模型进行轻量微调。

5.根据权利要求4所述的一种基于视觉语言大模型的...

【技术特征摘要】

1.一种基于视觉语言大模型的自动驾驶决策规划方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于视觉语言大模型的自动驾驶决策规划方法,其特征在于,所述构建多模态指令遵循数据集的步骤,具体包括:

3.根据权利要求1所述的一种基于视觉语言大模型的自动驾驶决策规划方法,其特征在于,所述将多模态指令遵循数据集中的多模态数据进行编码与对齐的步骤,具体包括:

4.根据权利要求1所述的一种基于视觉语言大模型的自动驾驶决...

【专利技术属性】
技术研发人员:赵睿袁其瑞高菲高镇海张天瑶李津羽
申请(专利权)人:吉林大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1