System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 三维对象检测模型的训练方法及三维对象检测方法技术_技高网

三维对象检测模型的训练方法及三维对象检测方法技术

技术编号:40004089 阅读:13 留言:0更新日期:2024-01-09 04:30
本公开提供了一种三维对象检测模型的训练方法及三维对象检测方法,涉及人工智能技术领域,具体为计算机视觉、虚拟现实、深度学习、大模型等技术领域,可应用于自动驾驶等场景。三维对象检测模型的训练方法包括:获取第一样本图像、第一样本图像的深度图标签和第一样本图像中的目标对象的第一属性标签;将第一样本图像输入特征提取模块,以得到第一图像特征;将第一图像特征输入属性检测模块,以得到目标对象的第一预测属性;基于第一图像特征,确定第一样本图像的预测深度图;基于第一预测属性、第一属性标签、预测深度图和深度图标签,确定三维对象检测模型的第一损失值;基于第一损失值,调整三维对象检测模型的参数。

【技术实现步骤摘要】

本公开涉及人工智能,具体为计算机视觉、虚拟现实、深度学习、大模型等,可应用于自动驾驶等场景。


技术介绍

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、自动驾驶技术涉及环境感知、行为决策、轨迹规划以及运动控制等多个方面。依赖于传感器、视觉计算系统和定位系统的协同合作,具有自动驾驶功能的车辆可以在无需驾驶员进行操作或仅需驾驶员进行少量操作的情况下自动地运行。

3、利用人工智能技术可以实现三维(3d)对象检测。三维对象检测指的是检测对象的三维信息(例如长、宽、高、中心点坐标、类别、朝向角等),在障碍物感知、轨迹规划、运动控制等自动驾驶任务中有着广泛应用。

4、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现思路

1、本公开提供了一种三维对象检测模型的训练方法及装置、三维对象检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面,提供了一种三维对象检测模型的训练方法,所述三维对象检测模型包括特征提取模块和属性检测模块,所述方法包括:获取第一样本图像、所述第一样本图像的深度图标签和所述第一样本图像中的目标对象的第一属性标签;将所述第一样本图像输入所述特征提取模块,以得到所述特征提取模块输出的第一图像特征;将所述第一图像特征输入所述属性检测模块,以得到所述属性检测模块输出的目标对象的第一预测属性;基于所述第一图像特征,确定所述第一样本图像的预测深度图;基于所述第一预测属性、所述第一属性标签、所述预测深度图和所述深度图标签,确定所述三维对象检测模型的第一损失值;以及基于所述第一损失值,调整所述三维对象检测模型的参数。

3、根据本公开的一方面,提供了一种三维对象检测方法,包括:获取待检测的图像;以及将所述图像输入经训练的三维对象检测模型,以得到所述三维对象检测模型输出的所述图像中的目标对象的三维属性,其中,所述三维对象检测模型根据上述三维对象检测模型的训练方法训练得到。

4、根据本公开的一方面,提供了一种三维对象检测模型的训练装置,所述三维对象检测模型包括特征提取模块和属性检测模块,所述装置包括:第一获取模块,被配置为获取第一样本图像、所述第一样本图像的深度图标签和所述第一样本图像中的目标对象的第一属性标签;第一输入模块,被配置为将所述第一样本图像输入所述特征提取模块,以得到所述特征提取模块输出的第一图像特征;第二输入模块,被配置为将所述第一图像特征输入所述属性检测模块,以得到所述属性检测模块输出的目标对象的第一预测属性;第一确定模块,被配置为基于所述第一图像特征,确定所述第一样本图像的预测深度图;第二确定模块,被配置为基于所述第一预测属性、所述第一属性标签、所述预测深度图和所述深度图标签,确定所述三维对象检测模型的第一损失值;以及调整模块,被配置为基于所述第一损失值,调整所述三维对象检测模型的参数。

5、根据本公开的一方面,提供了一种三维对象检测装置,包括:获取模块,被配置为获取待检测的图像;以及输入模块,被配置为将所述图像输入经训练的三维对象检测模型,以得到所述三维对象检测模型输出的所述图像中的目标对象的三维属性,其中,所述三维对象检测模型根据上述三维对象检测模型的训练装置训练得到。

6、根据本公开的一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一方面的方法。

7、根据本公开的一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一方面的方法。

8、根据本公开的一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时能够实现上述任一方面的方法。

9、根据本公开的一个或多个实施例,能够提高三维对象检测的准确性。

10、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种三维对象检测模型的训练方法,所述三维对象检测模型包括特征提取模块和属性检测模块,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求2所述的方法,其中,所述第一样本图像由图像采集设备在第一时刻采集得到,所述点云数据由激光雷达在第二时刻采集得到,所述图像采集设备和所述激光雷达被配置为对同一环境进行感知,并且所述第一时刻与所述第二时刻的差在预设范围内。

4.根据权利要求2或3所述的方法,其中,所述深度图标签包括所述第一样本图像中的多个像素各自的深度值标签,并且其中,所述基于所述点云数据,确定所述第一样本图像的深度图标签包括:

5.根据权利要求4所述的方法,还包括:

6.根据权利要求1-5中任一项所述的方法,其中,所述基于所述第一图像特征,确定所述第一样本图像的预测深度图包括:

7.根据权利要求6所述的方法,还包括:

8.根据权利要求1-7中任一项所述的方法,还包括:

9.根据权利要求8所述的方法,其中,所述利用第二样本图像和所述第二样本图像中的目标对象的第二属性标签对所述三维对象检测模型进行预训练包括:

10.根据权利要求1-9中任一项所述的方法,其中,所述第一属性标签包括第一二维属性标签和第一三维属性标签,所述属性检测模块包括二维属性检测模块和三维属性检测模块,所述将所述第一图像特征输入所述属性检测模块,以得到所述属性检测模块输出的目标对象的第一预测属性包括:

11.一种三维对象检测方法,包括:

12.一种三维对象检测模型的训练装置,所述三维对象检测模型包括特征提取模块和属性检测模块,所述装置包括:

13.根据权利要求12所述的装置,还包括:

14.根据权利要求13所述的装置,其中,所述第一样本图像由图像采集设备在第一时刻采集得到,所述点云数据由激光雷达在第二时刻采集得到,所述图像采集设备和所述激光雷达被配置为对同一环境进行感知,并且所述第一时刻与所述第二时刻的差在预设范围内。

15.根据权利要求13或14所述的装置,其中,所述深度图标签包括所述第一样本图像中的多个像素各自的深度值标签,并且其中,所述第三确定模块包括:

16.根据权利要求15所述的装置,其中,所述第三确定模块还包括:

17.根据权利要求12-16中任一项所述的装置,其中,所述第一确定模块包括:

18.根据权利要求17所述的装置,还包括:

19.根据权利要求12-18中任一项所述的装置,还包括:

20.根据权利要求19所述的装置,其中,所述预训练模块包括:

21.根据权利要求12-20中任一项所述的装置,其中,所述第一属性标签包括第一二维属性标签和第一三维属性标签,所述属性检测模块包括二维属性检测模块和三维属性检测模块,所述第二输入模块包括:

22.一种三维对象检测装置,包括:

23.一种电子设备,包括:

24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-11中任一项所述的方法。

25.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

...

【技术特征摘要】

1.一种三维对象检测模型的训练方法,所述三维对象检测模型包括特征提取模块和属性检测模块,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求2所述的方法,其中,所述第一样本图像由图像采集设备在第一时刻采集得到,所述点云数据由激光雷达在第二时刻采集得到,所述图像采集设备和所述激光雷达被配置为对同一环境进行感知,并且所述第一时刻与所述第二时刻的差在预设范围内。

4.根据权利要求2或3所述的方法,其中,所述深度图标签包括所述第一样本图像中的多个像素各自的深度值标签,并且其中,所述基于所述点云数据,确定所述第一样本图像的深度图标签包括:

5.根据权利要求4所述的方法,还包括:

6.根据权利要求1-5中任一项所述的方法,其中,所述基于所述第一图像特征,确定所述第一样本图像的预测深度图包括:

7.根据权利要求6所述的方法,还包括:

8.根据权利要求1-7中任一项所述的方法,还包括:

9.根据权利要求8所述的方法,其中,所述利用第二样本图像和所述第二样本图像中的目标对象的第二属性标签对所述三维对象检测模型进行预训练包括:

10.根据权利要求1-9中任一项所述的方法,其中,所述第一属性标签包括第一二维属性标签和第一三维属性标签,所述属性检测模块包括二维属性检测模块和三维属性检测模块,所述将所述第一图像特征输入所述属性检测模块,以得到所述属性检测模块输出的目标对象的第一预测属性包括:

11.一种三维对象检测方法,包括:

12.一种三维对象检测模型的训练装置,所述三维对象检测模型包括特征...

【专利技术属性】
技术研发人员:顾闻王学宽张伟谭啸
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1