System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 定位和建图模型的训练方法、装置、电子设备及存储介质制造方法及图纸_技高网

定位和建图模型的训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40664654 阅读:4 留言:0更新日期:2024-03-18 18:58
本公开提出一种定位和建图模型的训练方法、装置、电子设备及存储介质,涉及计算机技术领域,尤其涉及自动驾驶、深度学习、计算机视觉等人工智能技术领域,可应用于室外道路、自动驾驶、智能辅助驾驶等等场景中。具体方案为:在获取到初始数据集后,首先基于每个初始数据中的图像数据、地图数据及车辆位姿,生成相应的提示信息,然后将每个图像数据及其对应的提示信息输入预设的大模型中,获取大模型输出的每个图像数据中包含的道路元素的第一标签,之后利用各图像数据、各点云数据及各图像数据中包含的道路元素的第一标签,对初始定位和建图模型进行训练,以获取定位和建图模型中的主网络。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及自动驾驶、深度学习、计算机视觉等人工智能,具体涉及一种定位和建图模型的训练方法、装置、电子设备及存储介质


技术介绍

1、目前自动驾驶场景下的定位和建图模型通常使用视觉模型作为主干网络,且视觉模型通常在大规模图像识别数据集上训练得到。这种方法得到的定位和建图模型,主要依赖于训练采用的图像识别数据集的规模及标注结果,成本高,效率低。


技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、本公开第一方面实施例提出了一种定位和建图模型的训练方法,包括:

3、获取初始数据集,其中,所述初始数据集中的每个初始数据包括图像数据,点云数据、地图数据及所述图像数据对应的车辆位姿,所述地图数据中包括各道路元素对应的向量;

4、基于每个初始数据中的所述图像数据、所述地图数据及所述车辆位姿,生成相应的提示信息;

5、将每个所述图像数据及其对应的所述提示信息输入预设的大模型中,获取所述大模型输出的每个所述图像数据中包含的道路元素的第一标签;

6、利用各所述图像数据、各所述点云数据及各所述图像数据中包含的道路元素的第一标签,对初始定位和建图模型进行训练,以获取定位和建图模型中的主网络,其中,所述主网络为用于对输入的图像数据及点云数据进行特征提取及融合的网络。

7、本公开第二方面实施例提出了一种定位和建图模型的训练装置,包括:

8、第一获取模块,用于获取初始数据集,其中,所述初始数据集中的每个初始数据包括图像数据,点云数据、地图数据及所述图像数据对应的车辆位姿,所述地图数据中包括各道路元素对应的向量;

9、生成模块,用于基于每个初始数据中的所述图像数据、所述地图数据及所述车辆位姿,生成相应的提示信息;

10、第二获取模块,用于将每个所述图像数据及其对应的所述提示信息输入预设的大模型中,获取所述大模型输出的每个所述图像数据中包含的道路元素的第一标签;

11、训练模块,用于利用各所述图像数据、各所述点云数据及各所述图像数据中包含的道路元素的第一标签,对初始定位和建图模型进行训练,以获取定位和建图模型中的主网络,其中,所述主网络为用于对输入的图像数据及点云数据进行特征提取及融合的网络。

12、本公开第三方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本公开第一方面实施例提出的定位和建图模型的训练方法。

13、本公开第四方面实施例提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,实现如本公开第一方面实施例提出的定位和建图模型的训练方法。

14、本公开第五方面实施例提出了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时,实现如本公开第一方面实施例提出的定位和建图模型的训练方法。

15、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种定位和建图模型的训练方法,包括:

2.如权利要求1所述的方法,其中,所述基于每个初始数据中的所述图像数据、所述地图数据及所述车辆位姿,生成相应的提示信息,包括:

3.如权利要求2所述的方法,其中,在所述将每个所述图像数据及其对应的所述提示信息输入预设的大模型中,获取所述大模型输出的每个所述图像数据中包含的道路元素的第一标签之后,还包括:

4.如权利要求2所述的方法,其中,所述从所述初始数据i中的地图数据i中的各道路元素对应的向量中,采集预设数量的三维参考点,包括:

5.如权利要求4所述的方法,其中,所述基于所述转换矩阵,将所述地图数据i中的道路元素对应的轮廓进行映射,获取所述地图数据i中的道路元素对应的二维包围框,包括:

6.如权利要求1-5任一所述的方法,其中,所述对初始定位和建图模型进行训练,包括:

7.如权利要求6所述的方法,其中,在所述根据所述预测稠密深度与参考稠密深度间的第二差异,确定第二修正梯度之前,还包括:

8.如权利要求6所述的方法,其中,所述对初始定位和建图模型进行训练,包括:

9.如权利要求8所述的方法,其中,在所述基于所述预测三维占用概率图与参考三维占用概率图间的第三差异,对所述融合网络进行修正之前,还包括:

10.一种定位和建图模型的训练装置,包括:

11.如权利要求10所述的装置,其中,所述生成模块,具体用于:

12.如权利要求11所述的装置,其中,所述生成模块,还用于:

13.如权利要求11所述的装置,其中,所述生成模块,还用于:

14.如权利要求13所述的装置,其中,所述生成模块,还用于:

15.如权利要求10-14所述的装置,其中,所述训练模块,具体用于:

16.如权利要求15所述的装置,其中,所述训练模块,还用于:

17.如权利要求15所述的装置,其中,所述训练模块,还用于:

18.如权利要求17所述的装置,其中,所述训练模块,还用于:

19.一种电子设备,其特征在于,包括:

20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

...

【技术特征摘要】

1.一种定位和建图模型的训练方法,包括:

2.如权利要求1所述的方法,其中,所述基于每个初始数据中的所述图像数据、所述地图数据及所述车辆位姿,生成相应的提示信息,包括:

3.如权利要求2所述的方法,其中,在所述将每个所述图像数据及其对应的所述提示信息输入预设的大模型中,获取所述大模型输出的每个所述图像数据中包含的道路元素的第一标签之后,还包括:

4.如权利要求2所述的方法,其中,所述从所述初始数据i中的地图数据i中的各道路元素对应的向量中,采集预设数量的三维参考点,包括:

5.如权利要求4所述的方法,其中,所述基于所述转换矩阵,将所述地图数据i中的道路元素对应的轮廓进行映射,获取所述地图数据i中的道路元素对应的二维包围框,包括:

6.如权利要求1-5任一所述的方法,其中,所述对初始定位和建图模型进行训练,包括:

7.如权利要求6所述的方法,其中,在所述根据所述预测稠密深度与参考稠密深度间的第二差异,确定第二修正梯度之前,还包括:

8.如权利要求6所述的方法,其中,所述对初始定位和建图模型进行训练,包括:

9.如权利要求8所述的方法,其中,在所述基于所述预测三...

【专利技术属性】
技术研发人员:黄淮扬梁爽何宇喆芮晓飞万国伟白宇
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1