System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 识别模型训练方法、装置以及可移动智能设备制造方法及图纸_技高网

识别模型训练方法、装置以及可移动智能设备制造方法及图纸

技术编号:40595783 阅读:4 留言:0更新日期:2024-03-12 21:58
本申请提供一种识别模型训练方法、装置以及可移动智能设备,涉及智能驾驶技术领域,能够使得采用训练得到的识别模型进行障碍物识别时,获得的障碍物的3D信息更加准确。方法包括:获取第一拍摄组件采集的第一图像,第一拍摄组件对应第一视角,根据第一图像生成第二拍摄组件对应的第二图像,第二拍摄组件根据第一拍摄组件确定,第二拍摄组件对应第二视角。根据第一图像中的第一对象的第一三维信息确定第二图像中的该第一对象的第二三维信息,根据所述第二图像以及所述第一对象的第二三维信息训练识别模型,识别模型用于识别第一拍摄组件采集的图像中的对象。

【技术实现步骤摘要】

本申请涉及智能驾驶领域,尤其涉及识别模型训练方法、装置以及可移动智能设备


技术介绍

1、目前,可移动智能设备(例如,智能驾驶车辆、扫地机器人等)可以利用视觉传感器(例如:摄像头)等获取环境信息,以进行障碍物的识别。其中,基于单目(monocular)相机的障碍物识别是一种低成本的视觉感知方案。其原理是将单目相机采集的图像输入预置的识别模型中,通过该识别模型即可输出该图像中包括的各障碍物的三维(3dimensions,3d)信息,比如:3d坐标,尺寸、朝向角等。

2、相关方案中,通过获取图像以及该图像中包括的障碍物的3d信息来训练上述识别模型。但是,由于获取到的障碍物的3d信息分布的不均衡,在采用该分布不均衡的障碍物的3d信息训练得到的识别模型进行障碍物识别时,获得的障碍物的3d信息不准确。


技术实现思路

1、本申请提供一种识别模型训练方法、装置以及可移动智能设备,能够使得采用训练得到的识别模型进行障碍物识别时,获得的障碍物的3d信息更加准确。

2、为达到上述目的,本申请采用如下技术方案:

3、第一方面,本申请提供一种识别模型训练方法,该方法包括:获取第一拍摄组件采集的第一图像,该第一拍摄组件对应第一视角;根据该第一图像生成第二拍摄组件对应的第二图像,该第二拍摄组件根据第一拍摄组件确定,该第二拍摄组件对应第二视角;根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息;根据所述该第二图像以及该第二三维信息训练识别模型,该识别模型用于识别该第一拍摄组件采集的图像中的对象。

4、基于上述技术方案,通过第一拍摄组件采集的图像生成第二拍摄组件对应的图像,而第二拍摄组件可以根据第一拍摄组件确定,第一拍摄组件对应第一视角,第二拍摄组件对应第二视角,这样可以获得与第一拍摄组件不同视角的图像,使得获得的图像数据更加丰富。根据第一拍摄组件采集的图像中的对象的三维信息确定第二拍摄组件对应的图像中的该对象的三维信息,可以获得与第一拍摄组件不同视角的图像中该对象的三维信息,进而获得分布地更加均衡的三维信息,然后利用该分布地更加均衡的三维信息训练识别模型,可以降低由于训练数据分布不均衡给识别模型的预测结果带来的影响。后续,在利用该识别模型进行对象检测时,获得的对象的三维信息更加准确。

5、一种可能的设计中,该第二拍摄组件为虚拟拍摄组件;在该根据该第一图像生成第二拍摄组件对应的第二图像之前,该方法还包括:将该第一拍摄组件的坐标系旋转预设角度获得该第二拍摄组件。基于该设计,通过将第一拍摄组件的坐标系旋转预设角度获得第二拍摄组件,这样可以获得一个虚拟的与第一拍摄组件视角不同的拍摄组件,进而可以将第一拍摄组件采集的图像以及该图像中的对象的三维信息,转换成该虚拟的拍摄组件对应的图像以及该图像中的对象的三维信息,因此能够获得不同视角的对象的三维信息,使得获得的训练数据分布地更加均衡,由此能够降低由于训练数据分布不均衡给训练的模型带来的影响。

6、一种可能的设计中,第一拍摄组件与第二拍摄组件的内参相同;或者,第一拍摄组件与第二拍摄组件的内参不同。

7、一种可能的设计中,该根据该第一图像生成第二拍摄组件对应的第二图像,包括:确定该第一图像中的第一像素点在预设参考面上的第一坐标,该第一像素点为该第一图像中的任意一个像素点;根据该第一坐标确定该第一像素点与该第二拍摄组件对应的第二坐标;根据该第二坐标确定第二像素点;根据该第二像素点生成该第二图像。基于该设计,以预设参考面为参考,由于第一像素点与预设参考面的点是存在对应关系的,而第二像素点与预设参考面上的点也存在对应关系。因此通过以预设参考面为中介,即可根据第一拍摄组件采集的图像中的像素点确定第二拍摄组件对应的像素点,并根据第二拍摄组件对应的第二像素点生成第二拍摄组件对应的图像。

8、一种可能的设计中,该预设参考面为以该第一拍摄组件的光心为球心的球面。基于该设计,预设参考面为以第一拍摄组件的光心为球心的球面,这样,在将第一拍摄组件的坐标系旋转预设角度获得第二拍摄组件时,预设参考面不会发生改变,第一拍摄组件与第二拍摄组件对应的预设参考面均为同一个球面,进而可以以该预设参考面为中介,根据第一拍摄组件采集的图像中的像素点确定第二拍摄组件对应的图像中的像素点,以生成第二拍摄组件对应的图像。

9、一种可能的设计中,该根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息,包括:根据该第一三维信息、该第一拍摄组件与该第二拍摄组件的坐标转换关系确定该第二三维信息。基于该设计,可以将第一拍摄组件采集的图像中的对象的三维信息转换为第二拍摄组件对应的图像中的该对象的三维信息。

10、一种可能的设计中,在该根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息之前,该方法还包括:获取传感器采集的与该第一图像对应的点云数据,该点云数据中包括该第一对象的第三三维信息;根据该第三三维信息以及该第一拍摄组件与该传感器之间的坐标转换关系确定该第一三维信息。基于该设计,可以将传感器采集的对象的三维信息转换成第一拍摄组件采集的图像中的该对象的三维信息。

11、一种可能的设计中,第一三维信息、第二三维信息、或者第三三维信息包括以下一种或多种:三维坐标、尺寸、朝向角。

12、第二方面,本申请提供一种识别模型训练装置,所述识别模型训练装置包括实现上述方法相应的模块或单元,该模块或单元可以通过硬件实现,软件实现,或者通过硬件执行相应的软件实现。在一种可能的设计中,该识别模型训练装置包括获取单元(或称获取模块)和处理单元(或称处理模块);该获取单元,用于获取第一拍摄组件采集的第一图像,该第一拍摄组件对应第一视角。该处理单元,用于:根据该第一图像生成第二拍摄组件对应的第二图像,该第二拍摄组件根据该第一拍摄组件确定,该第二拍摄组件对应第二视角;根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息;根据该第二图像以及该第二三维信息训练识别模型,该识别模型用于识别该第一拍摄组件采集的图像中的对象。

13、一种可能的设计中,该第二拍摄组件为虚拟拍摄组件;该处理单元,还用于将该第一拍摄组件的坐标系旋转预设角度获得该第二拍摄组件。

14、一种可能的设计中,该第一拍摄组件与该第二拍摄组件的内参相同;或者,该第一拍摄组件与该第二拍摄组件的内参不同。

15、一种可能的设计中,该处理单元,具体用于:确定该第一图像中的第一像素点在预设参考面上的第一坐标,该第一像素点为该第一图像中的任意一个像素点;根据该第一坐标确定该第一像素点与该第二拍摄组件对应的第二坐标;根据该第二坐标确定第二像素点;根据该第二像素点生成该第二图像。

16、一种可能的设计中,该预设参考面为以该第一拍摄组件的光心为球心的球面。

17、一种可能的设计中,该处理单元,具体用于根据该第一三维信息、该第一本文档来自技高网...

【技术保护点】

1.一种识别模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第二拍摄组件为虚拟拍摄组件;在所述根据所述第一图像生成第二拍摄组件对应的第二图像之前,所述方法还包括:

3.根据权利要求1或2所述的方法,其特征在于:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述第一图像生成第二拍摄组件对应的第二图像,包括:

5.根据权利要求4所述的方法,其特征在于,所述预设参考面为以所述第一拍摄组件的光心为球心的球面。

6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述第一图像中的第一对象的第一三维信息确定所述第二图像中的所述第一对象的第二三维信息,包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,在所述根据所述第一图像中的第一对象的第一三维信息确定所述第二图像中的所述第一对象的第二三维信息之前,所述方法还包括:

8.一种识别模型训练装置,其特征在于,包括获取单元和处理单元;

9.根据权利要求8所述的装置,其特征在于,所述第二拍摄组件为虚拟拍摄组件;所述处理单元,还用于将所述第一拍摄组件的坐标系旋转预设角度获得所述第二拍摄组件。

10.根据权利要求8或9所述的装置,其特征在于:

11.根据权利要求8-10任一项所述的装置,其特征在于,所述处理单元,具体用于:

12.根据权利要求11所述的装置,其特征在于,所述预设参考面为以所述第一拍摄组件的光心为球心的球面。

13.根据权利要求8-12任一项所述的装置,其特征在于,

14.根据权利要求8-13任一项所述的装置,其特征在于,

15.一种识别模型训练装置,其特征在于,包括:处理器,所述处理器与存储器耦合;所述处理器,用于执行所述存储器中存储的计算机程序,以使得所述识别模型训练装置执行如权利要求1-7中任一项所述的方法。

16.一种可移动智能设备,其特征在于,包括:第一拍摄组件以及权利要求8-15中任意一项所述的识别模型训练装置,所述第一拍摄组件用于采集第一图像,并将所述第一图像传输给所述识别模型训练装置。

...

【技术特征摘要】

1.一种识别模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第二拍摄组件为虚拟拍摄组件;在所述根据所述第一图像生成第二拍摄组件对应的第二图像之前,所述方法还包括:

3.根据权利要求1或2所述的方法,其特征在于:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述第一图像生成第二拍摄组件对应的第二图像,包括:

5.根据权利要求4所述的方法,其特征在于,所述预设参考面为以所述第一拍摄组件的光心为球心的球面。

6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述第一图像中的第一对象的第一三维信息确定所述第二图像中的所述第一对象的第二三维信息,包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,在所述根据所述第一图像中的第一对象的第一三维信息确定所述第二图像中的所述第一对象的第二三维信息之前,所述方法还包括:

8.一种识别模型训练装置,其特征在于,包括获取单元和处理单元;

9.根据权利要...

【专利技术属性】
技术研发人员:毕舒展张洁谢鹏寰
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1