当前位置: 首页 > 专利查询>清华大学专利>正文

基于端到端自动驾驶大模型的驾驶行为标注方法及装置制造方法及图纸

技术编号:43854365 阅读:18 留言:0更新日期:2024-12-31 18:45
本发明专利技术提供一种基于端到端自动驾驶大模型的驾驶行为标注方法及装置,其中的方法包括:获取当前驾驶场景的多视角图像;基于预先训练的端到端自动驾驶大模型,获取多视角图像对应的多组查询向量;获取提示词文本,并根据提示词文本和多组查询向量,获取当前驾驶行为的标注结果。该方法通过将端到端自动驾驶大模型中多个功能模块输出的多组查询向量作为驾驶行为标注的触发条件之一,而不是仅以图像作为驾驶行为标注的触发条件,能够实现对自动驾驶行为的准确、有效标注,标注结果和自动驾驶大模型的中间输出结果具有高度一致性,进而提升自动驾驶行为的标注精度和可解释性。

【技术实现步骤摘要】

本专利技术涉及自动驾驶,尤其涉及一种基于端到端自动驾驶大模型的驾驶行为标注方法及装置


技术介绍

1、传统的端到端自动驾驶大模型进行驾驶行为决策时,具有“黑箱”属性,即乘车者无法了解当前驾驶行为决策的原因、只能直接得到决策结果。为实现行为决策的可解释性,需要通过自然语言对自动驾驶模型的决策进行解释。基于深度学习的图像-语言多模态模型已经被用于自动驾驶行为标注,但大多是以图像直接作为模型输入进行推理,这样会损失掉推理、决策等中间信息,无法分析出模型做出决策的中间原因,故不能真正实现对自动驾驶模型的可解释性。并且,由于其较大的参数量,往往需要大量的数据进行训练才能得到一个优质模型。

2、因此,解决现有驾驶行为标注方法存在的缺乏可解释性、标注精度不高,效果不佳的问题,显得十分必要。


技术实现思路

1、本专利技术提供一种基于端到端自动驾驶大模型的驾驶行为标注方法及装置,用以克服现有驾驶行为标注方法存在的缺乏可解释性、标注精度不高,效果不佳的缺陷,实现自动驾驶行为的准确、有效标注。>

2、一方面,本文档来自技高网...

【技术保护点】

1.一种基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,包括:

2.根据权利要求1所述的基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,所述根据所述提示词文本和所述多组查询向量,获取当前驾驶行为的标注结果,包括:

3.根据权利要求2所述的基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,所述对所述多组查询向量进行预处理和转化处理,得到查询编码向量,包括:

4.根据权利要求2所述的基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,所述根据所述文本编码向量和所述查询编码向量,获取当前驾驶行为的标注结果,包括:

5.根...

【技术特征摘要】

1.一种基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,包括:

2.根据权利要求1所述的基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,所述根据所述提示词文本和所述多组查询向量,获取当前驾驶行为的标注结果,包括:

3.根据权利要求2所述的基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,所述对所述多组查询向量进行预处理和转化处理,得到查询编码向量,包括:

4.根据权利要求2所述的基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,所述根据所述文本编码向量和所述查询编码向量,获取当前驾驶行为的标注结果,包括:

5.根据权利要求3所述的基于端到端自动驾驶大模型的驾驶行为标注方法,其特征在于,还包括:

6.根据权利要求1所述的基于端到端自动驾驶大模型的驾驶行为标...

【专利技术属性】
技术研发人员:丁恺睿高焕昂陈博远赵昊张武强余鹏程
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1