System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 目标信息确定方法及装置、样本数据的生成方法及装置、及应用其的目标检测方法及装置制造方法及图纸_技高网

目标信息确定方法及装置、样本数据的生成方法及装置、及应用其的目标检测方法及装置制造方法及图纸

技术编号:40933725 阅读:3 留言:0更新日期:2024-04-18 14:53
本发明专利技术公开一种目标信息确定方法及装置和目标检测方法及装置,方法包括对第一感知数据和第二感知数据进行融合,其中,所述第一感知数据为图像数据,所述第二感知数据包括点云数据;根据融合后的第一感知数据和第二感知数据、以及第一感知数据中对目标物体的标注信息生成目标物体的三维空间信息。本发明专利技术实施例提供的方案通过将不同维度的传感器感知数据直接进行融合,有效了提高目标检测的准确率;并且,本发明专利技术实施例还根据感知层面的数据融合结果,获取到了目标物体的三维空间信息,因而能够准确确定出目标物体的空间位置和尺寸大小,且通过三维空间信息也能够进一步提高目标检出的准确率和可靠性。

【技术实现步骤摘要】

本专利技术涉及目标检测,尤其涉及一种目标信息确定方法及装置、用于目标检测模型的样本数据的生成方法及装置、目标检测模型构建方法及装置、和应用其的目标检测方法及装置,以及计算设备、移动工具和存储介质。


技术介绍

1、随着深度学习在图像领域的应用的快速发展,基于视觉的深度学习目标检测已广泛的应用于各个领域。如在无人驾驶领域,基于深度学习的目标检测已被广泛用于障碍物检测、目标跟踪、交通灯检测等方面。在无人驾驶领域,现有的深度学习目标检测主要是基于相机传感器的图像数据进行检测的,具体地,其一般是基于大量经过标注的图像数据来训练出深度学习目标检测模型,以利用训练出的目标检测模型达到检测相机视场中的特定目标的目的。这种检测方案由于严重依赖单一传感器数据,因此目标检测精度严重受限,如可能存在漏检、误检和预测精度损失等不良情况,这会对无人驾驶系统的可靠性产生一定影响。因此,为了提高目标检测的精度,业内目前还提出了一种将相机传感器与激光雷达的数据进行融合的方案,其是在基于相机传感器的图像数据的目标检测结果的基础上,通过将图像数据的目标检测结果与激光雷达的点云目标检测结果进行映射融合以提高目标检出率。但这种方式下,数据融合依赖的图像目标检测结果仍是在单一传感器下得到的预测结果,因而检测精度的提高是有限的,也是不稳定的。


技术实现思路

1、基于此,本专利技术实施例提供一种目标检测方案,以至少解决现有技术中的目标检测结果精度不高的问题。

2、第一方面,本专利技术实施例提供一种目标信息确定方法,其包括:

3、对第一感知数据和第二感知数据进行融合,其中,所述第一感知数据为图像数据,所述第二感知数据包括点云数据;

4、根据融合后的第一感知数据和第二感知数据、以及第一感知数据中对目标物体的标注信息生成目标物体的三维空间信息,其中,所述三维空间信息被用作用于表征目标物体的目标信息,其包括目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值。

5、第二方面,本专利技术实施例提供一种用于目标检测模型的样本数据的生成方法,其包括:

6、对第一感知数据和第二感知数据进行融合,生成融合数据和对目标物体的三维标注标签,其中,所述第一感知数据为图像数据,所述第二感知数据为点云数据,所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据,所述三维标注标签包括目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值;

7、根据第一感知数据中对目标物体的标注结果获取目标物体的目标类别标签和二维标注标签;

8、将融合数据作为目标检测模型的输入部分,将目标物体的目标类别标签、二维标注标签和三维标注标签作为目标检测模型的输出部分,形成用于训练目标检测模型的样本数据。

9、第三方面,本专利技术实施例提供一种目标检测模型构建方法,其包括:

10、利用本专利技术第二方面所述方法生成的样本数据,对选用的网络模型进行训练,生成用于目标检测的目标检测模型。

11、第四方面,本专利技术实施例提供一种目标检测方法,其包括:

12、基于第二感知数据对第一感知数据进行通道扩展,生成融合数据,其中,所述第一感知数据为图像数据,所述第二感知数据为点云数据,所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据;

13、将所述融合数据输入至预先训练好的目标检测模型,以获取目标检测模型输出的对目标物体的预测结果,其中,所述预测结果至少包括目标物体的三维空间信息,其中,所述三维空间信息为目标物体的三维包围框的中心点x值、y值和三维包围框的宽度值、长度值、高度值。

14、第五方面,本专利技术实施例提供一种目标信息确定装置,其包括:

15、传感器融合模块,用于对第一感知数据和第二感知数据进行融合,其中,所述第一感知数据为图像数据,所述第二感知数据包括点云数据;

16、三维标注模块,用于根据融合后的第一感知数据和第二感知数据、以及第一感知数据中对目标物体的标注信息生成目标物体的三维空间信息,其中,所述三维空间信息包括目标物体的三维包围框的中心点的x值、y值和包围框的宽度值、长度值、高度值,其被用作用于表征目标物体的目标信息。

17、第六方面,本专利技术实施例提供一种用于目标检测模型的样本数据的生成装置,其包括:

18、三维数据生成模块,用于对第一感知数据和第二感知数据进行融合,生成融合数据和对目标物体的三维标注标签,其中,所述第一感知数据为图像数据,所述第二感知数据为点云数据,所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据,所述三维标注标签包括目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值;

19、二维数据生成模块,用于根据第一感知数据中对目标物体的标注结果获取目标物体的目标类别标签和二维标注标签;

20、样本数据确定模块,用于将融合数据作为目标检测模型的输入部分,将目标物体的目标类别标签、二维标注标签和三维标注标签作为目标检测模型的输出部分,形成用于训练目标检测模型的样本数据。

21、第七方面,本专利技术实施例提供一种目标检测模型训练装置,其包括:

22、模型训练模块,用于利用生成的样本数据,对选用的网络模型进行训练,生成用于目标检测的目标检测模型,其中,所述样本数据的输入部分为包含r、g、b、x、y和激光反射值的6通道数据,输出部分包括目标物体的目标类别标签、二维标注标签和三维标注标签,所述目标类别标签为目标物体的类别,所述二维标注标签为目标物体的二维像素框的中心点的x值和y值以及二维像素框的长度值和宽度值,所述三维标注标签包括目标物体的三维包围框的中心点的x值、y值和包围框的宽度值、长度值、高度值。

23、第八方面,本专利技术实施例提供一种目标检测装置,其包括:

24、通道扩展模块,用于基于第二感知数据对第一感知数据进行通道扩展,生成融合数据,其中,所述第一感知数据为图像数据,所述第二感知数据为点云数据,所述融合数据为包含r、g、b、x、y和激光反射值的6通道数据;

25、目标检测模块,用于将所述融合数据输入至预先训练好的目标检测模型,以获取目标检测模型输出的对目标物体的预测结果,其中,所述预测结果至少包括目标物体的三维空间信息,其中,所述三维空间信息为目标物体的三维包围框的中心点的x值、y值和三维包围框的宽度值、长度值、高度值。

26、第九方面,本专利技术实施例提供一种计算设备,其包括:

27、存储器,用于存储可执行指令;以及

28、处理器,用于执行存储器中存储的可执行指令,所述可执行指令在由所述处理器执行时实现本专利技术第一方面提供的方法步骤。

29、第十方面,本专利技术实施例提供了一种移动工具,其包括根据本专利技术第九方面所述的计算设备。

30、第十一方面,本专利技术实施例提供了一种存储介质,其上存储有计算机程序,该本文档来自技高网...

【技术保护点】

1.一种目标信息确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对第一感知数据和第二感知数据进行融合,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据融合后的第一感知数据和第二感知数据、以及第一感知数据中对目标物体的标注信息生成目标物体的三维空间信息,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,还包括:

5.用于目标检测模型的样本数据的生成方法,其特征在于,所述方法包括:

6.根据权利要求5所述的方法,其特征在于,对第一感知数据和第二感知数据进行融合,生成融合数据,包括:

7.根据权利要求6所述的方法,其特征在于,对第一感知数据和第二感知数据进行融合,生成对目标物体的三维标注标签,包括:

8.目标检测模型构建方法,其特征在于,包括:

9.目标检测方法,其特征在于,包括:

10.根据权利要求9所述的方法,其特征在于,所述目标检测模型通过权利要求8所述的方法训练得到,所述预测结果还包括目标物体的目标类别标签和二维像素信息,其中,所述二维像素信息为目标物体的二维像素框的中心点的x值和y值以及二维像素框的长度值和宽度值。

11.目标信息确定装置,其特征在于,包括:

12.用于目标检测模型的样本数据的生成装置,其特征在于,包括:

13.目标检测模型训练装置,其特征在于,包括:

14.目标检测装置,其特征在于,包括:

15.一种计算设备,其特征在于,包括:

16.移动工具,其特征在于,所述移动工具包括:权利要求15所述的计算设备。

17.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至10中任意一项所述方法的步骤。

...

【技术特征摘要】

1.一种目标信息确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对第一感知数据和第二感知数据进行融合,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据融合后的第一感知数据和第二感知数据、以及第一感知数据中对目标物体的标注信息生成目标物体的三维空间信息,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,还包括:

5.用于目标检测模型的样本数据的生成方法,其特征在于,所述方法包括:

6.根据权利要求5所述的方法,其特征在于,对第一感知数据和第二感知数据进行融合,生成融合数据,包括:

7.根据权利要求6所述的方法,其特征在于,对第一感知数据和第二感知数据进行融合,生成对目标物体的三维标注标签,包括:

8.目标检测模型构建方法,其特征在于,包括:

9.目标检测方...

【专利技术属性】
技术研发人员:柳晓东任巨龙邵枭虎张哲赵凭
申请(专利权)人:北京智行者科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1