基于自动驾驶场景的大模型应用方法、装置、设备及介质制造方法及图纸

技术编号:43707934 阅读:29 留言:0更新日期:2024-12-18 21:19
本申请实施例提供了一种基于自动驾驶场景的大模型应用方法、装置、设备及介质。方法包括:从当前的自动驾驶数据中获取待识别图像;根据预先训练得到的目标视觉模型的视觉主干网络,对待识别图像进行特征提取,并将提取到的特征输入至目标视觉模型的感知头中,得到第一待识别特征;通过目标视觉模型中的后验优化轨迹生成器,对第一待识别特征进行随机梯度下降处理,得到用于指示目标视觉模型后续推理方向的第二待识别特征;通过目标视觉模型对第一待识别特征和第二待识别特征融合得到的目标待识别特征进行语义识别,得到待识别图像的图像识别结果。以此,能够在提高图像识别的识别效率的同时,提高模型对图像识别的准确性。

【技术实现步骤摘要】

本申请涉及计算机视觉,尤其涉及一种基于自动驾驶场景的大模型应用方法、装置、设备及介质


技术介绍

1、自动驾驶是指利用机电一体化、人工智能和多智能体系统等技术,实现对车辆如汽车、卡车、飞机或水上交通工具等的辅助或全自动控制操作。街景语义理解是自动驾驶中的一个重要环节,旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。

2、相关技术中,一般采用视觉模型对街景图像进行识别。然而,由于车载计算平台的功耗和空间限制,将可能导致模型在实际对街景图像识别的过程中的延迟增加,从而导致模型对街景图像的识别效率降低;另一方面,由于一般视觉模型缺乏自适应能力,导致在面对新环境时,模型对新环境的识别准确性降低。


技术实现思路

1、本申请实施例的主要目的在于提出一种基于自动驾驶场景的大模型应用方法、装置、设备及介质,能够在提高图像识别的识别效率的同时,提高模型对图像识别的准确性。

2、为实现上述目的,本申请实施例的第一方面提出了一种基于自动驾驶场景的大模型应用方法,所述方本文档来自技高网...

【技术保护点】

1.一种基于自动驾驶场景的大模型应用方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述目标待识别特征以下方式融合得到:

3.根据权利要求1所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述通过所述目标视觉模型中的后验优化轨迹生成器,对所述第一待识别特征进行随机梯度下降处理,得到用于指示所述目标视觉模型后续推理方向的第二待识别特征,包括:

4.根据权利要求1所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述目标视觉模型通过以下方式训练得到:

5.根据权利要求4所述的基于自动...

【技术特征摘要】

1.一种基于自动驾驶场景的大模型应用方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述目标待识别特征以下方式融合得到:

3.根据权利要求1所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述通过所述目标视觉模型中的后验优化轨迹生成器,对所述第一待识别特征进行随机梯度下降处理,得到用于指示所述目标视觉模型后续推理方向的第二待识别特征,包括:

4.根据权利要求1所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述目标视觉模型通过以下方式训练得到:

5.根据权利要求4所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述从历史自动驾驶数据中获取样本待识别图像之前,还包括:

6.根据权利要求4所述的基于自动驾驶场景的大模型应用方法,其特征在于,所述第一样本...

【专利技术属性】
技术研发人员:寇卫斌朱光旭王帅韩凯峰陈琪美
申请(专利权)人:深圳市大数据研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1