System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 单目三维目标检测模型训练方法、装置、设备及存储介质制造方法及图纸_技高网

单目三维目标检测模型训练方法、装置、设备及存储介质制造方法及图纸

技术编号:40075275 阅读:4 留言:0更新日期:2024-01-17 01:03
本发明专利技术公开了单目三维目标检测模型训练方法、装置、设备及存储介质。该方法包括:将第一图像样本和第二图像样本输入待训练模型,得到目标预测类别和目标预测三维位置信息;根据目标预测三维位置信息和相机参数得到第一图像样本和第二图像样本对应的目标预测二维位置信息;根据第一图像样本和第二图像样本对应的目标预测类别、第一图像样本和第二图像样本对应的目标预测二维位置信息、第一图像样本对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及目标参数确定目标损失函数;基于目标损失函数训练待训练模型的参数,得到目标单目三维目标检测模型,通过本发明专利技术的技术方案,能够仅需目标的二维参数实现模型参数的调优。

【技术实现步骤摘要】

本专利技术实施例涉及计算机视觉,尤其涉及单目三维目标检测模型训练方法、装置、设备及存储介质


技术介绍

1、三维目标检测是计算机视觉领域非常关键的技术之一,在机器人和自动驾驶等领域扮演者非常重要的角色。该技术可以描述为给定摄像头采集到的图像信息,检测图像中存在的目标并预测目标的三维信息,基于深度学习的模型可以实现上述功能。

2、而基于深度学习的单目三维目标检测模型根据模型参数的优化策略一般采用监督学习的方法,其中,监督学习方法需要为单目三维目标检测模型提供目标的三维参数,由于该参数标记过程的成本极高,无法在大规模数据上实现快速标记,导致实际应用过程中成本消耗极大。


技术实现思路

1、本专利技术实施例提供单目三维目标检测模型训练方法、装置、设备及存储介质,解决了现有技术中由于单目三维目标检测模型的参数优化需要提供目标的三维参数导致其模型参数优化过程中成本消耗高的问题。

2、根据本专利技术的一方面,提供了一种单目三维目标检测模型训练方法,包括:

3、获取待训练模型、训练样本集以及相机参数,其中,所述训练样本集包括:至少一组图像样本,所述至少一组图像样本包括第一图像样本和第二图像样本,所述第一图像样本和所述第二图像样本为相邻图像样本;

4、将训练样本集中第一图像样本和第二图像样本输入待训练模型,得到第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测三维位置信息以及第二图像样本对应的目标预测三维位置信息

5、根据第一图像样本对应的目标预测三维位置信息和相机参数得到第一图像样本对应的目标预测二维位置信息;

6、根据第二图像样本对应的目标预测三维位置信息和相机参数得到第二图像样本对应的目标预测二维位置信息;

7、根据第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测二维位置信息、第二图像样本对应的目标预测二维位置信息、第一图像样本对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及目标参数确定目标损失函数;

8、基于目标损失函数训练待训练模型的参数,得到目标单目三维目标检测模型。

9、根据本专利技术的另一方面,提供了一种单目三维目标检测模型训练装置,该单目三维目标检测模型训练装置包括:

10、获取模块,用于获取待训练模型、训练样本集以及相机参数,其中,所述训练样本集包括:至少一组图像样本,所述至少一组图像样本包括第一图像样本和第二图像样本,所述第一图像样本和所述第二图像样本为相邻图像样本;

11、第一得到模块,用于将训练样本集中第一图像样本和第二图像样本输入待训练模型,得到第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测三维位置信息以及第二图像样本对应的目标预测三维位置信息;

12、第二得到模块,用于根据第一图像样本对应的目标预测三维位置信息和相机参数得到第一图像样本对应的目标预测二维位置信息;

13、第三得到模块,用于根据第二图像样本对应的目标预测三维位置信息和相机参数得到第二图像样本对应的目标预测二维位置信息;

14、确定模块,用于根据第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测二维位置信息、第二图像样本对应的目标预测二维位置信息、第一图像样本对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及目标参数确定目标损失函数;

15、第四得到模块,用于基于目标损失函数训练待训练模型的参数,得到目标单目三维目标检测模型。

16、根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括:

17、至少一个处理器;以及

18、与所述至少一个处理器通信连接的存储器;其中,

19、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的单目三维目标检测模型训练方法。

20、根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的单目三维目标检测模型训练方法。

21、本专利技术实施例通过获取待训练模型、训练样本集以及相机参数,其中,所述训练样本集包括:至少一组图像样本,所述至少一组图像样本包括第一图像样本和第二图像样本,所述第一图像样本和所述第二图像样本为相邻图像样本;将训练样本集中第一图像样本和第二图像样本输入待训练模型,得到第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测三维位置信息以及第二图像样本对应的目标预测三维位置信息;根据第一图像样本对应的目标预测三维位置信息和相机参数得到第一图像样本对应的目标预测二维位置信息;根据第二图像样本对应的目标预测三维位置信息和相机参数得到第二图像样本对应的目标预测二维位置信息;根据第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测二维位置信息、第二图像样本对应的目标预测二维位置信息、第一图像样本对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及目标参数确定目标损失函数;基于目标损失函数训练待训练模型的参数,得到目标单目三维目标检测模型,解决了现有技术中由于单目三维目标检测模型的参数优化需要提供目标的三维参数导致其模型参数优化过程中成本消耗高的问题,能够提高计算损失函数的精确性,进而仅需目标的二维参数实现模型参数的调优,降低目标三维参数标记成本,提升模型应用范围。

22、应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种单目三维目标检测模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据第一图像样本对应的目标预测三维位置信息和相机参数得到第一图像样本对应的目标预测二维位置信息,包括:

3.根据权利要求1所述的方法,其特征在于,根据第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测二维位置信息、第二图像样本对应的目标预测二维位置信息、第一图像样本对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及目标参数确定目标损失函数,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标参数包括:第一图像样本的目标类别参数、第二图像样本的目标类别参数、第一图像样本对应的目标二维位置信息参数、第二图像样本对应的目标二维位置信息参数、第一图像样本对应的目标二维方向向量参数、第二图像样本对应的目标二维方向向量参数以及第一图像样本和第二图像样本之间的运动参数。

5.根据权利要求4所述的方法,其特征在于,根据第一图像样本对应的目标预测二维方向向量、第二图像样本对应的目标预测二维方向向量、第一图像样本对应的目标预测三维方向向量、第二图像样本对应的目标预测三维方向向量、第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测二维位置信息、第二图像样本对应的目标预测二维位置信息、第一图像对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及目标参数确定目标损失函数,包括:

6.根据权利要求5所述的方法,其特征在于,根据第一图像样本对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及第一图像样本和第二图像样本之间的运动参数确定第四损失函数,包括:

7.一种单目三维目标检测模型训练装置,其特征在于,包括:

8.根据权利要求7所述的装置,其特征在于,所述第二得到模块具体用于:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的单目三维目标检测模型训练方法。

...

【技术特征摘要】

1.一种单目三维目标检测模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据第一图像样本对应的目标预测三维位置信息和相机参数得到第一图像样本对应的目标预测二维位置信息,包括:

3.根据权利要求1所述的方法,其特征在于,根据第一图像样本对应的目标预测类别、第二图像样本对应的目标预测类别、第一图像样本对应的目标预测二维位置信息、第二图像样本对应的目标预测二维位置信息、第一图像样本对应的目标预测三维位置信息、第二图像样本对应的目标预测三维位置信息以及目标参数确定目标损失函数,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标参数包括:第一图像样本的目标类别参数、第二图像样本的目标类别参数、第一图像样本对应的目标二维位置信息参数、第二图像样本对应的目标二维位置信息参数、第一图像样本对应的目标二维方向向量参数、第二图像样本对应的目标二维方向向量参数以及第一图像样本和第二图像样本之间的运动参数。

5.根据权利要求4所述的方法,其特征在于,根据第一图像样本对应的目标预测二维方向向量、第二图像样...

【专利技术属性】
技术研发人员:张天奇张健曹容川曹天书张建王宇
申请(专利权)人:中国第一汽车股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1