单目三维目标检测后处理方法、装置和电子设备制造方法及图纸

本公开提出一种单目三维目标检测后处理方法、装置和电子设备，该方法包括：获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。性。性。

【技术实现步骤摘要】
单目三维目标检测后处理方法、装置和电子设备


[0001]本公开涉及图像识别
，具体涉及一种单目三维目标检测后处理方法、装置和电子设备。

技术介绍

[0002]目标检测的任务是找出图像或视频中的感兴趣目标，同时实现输出检测目标的位置和类别，这是机器视觉领域的核心问题之一。随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。基于神经网络的检测算法主要集中在两个方向，两阶段的算法和一阶段的算法，尽管二者在生成检测框的步骤上有所区分，但是二者都需要对最终生成的候选框做进一步的处理，从而筛除低质量的候选框，保留高质量的候选框作为目标检测框输出，但是过于复杂的后处理方法将制约模型在硬件上的性能，不利于实际应用。
[0003]相关技术中，在筛除低质量的候选框时，可能会产生较大的计算开销，影响算法的实时性，且可能存在冗余的检测框，无法保证目标检测框的准确性。

技术实现思路

[0004]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本公开的目的在于提出一种单目三维目标检测后处理方法、装置、电子设备和存储介质，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。
[0006]本公开第一方面实施例提出的单目三维目标检测后处理方法，包括：
[0007]获取候选检测框的检测输出信息和相机内参，其中，所述检测输出信息包括：与所述候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；
[0008]根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框；
[0009]根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度：
[0010]根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值；
[0011]根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框。
[0012]本公开第一方面实施例提出的单目三维目标检测后处理方法，通过获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确
定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。
[0013]本公开第二方面实施例提出的单目三维目标检测后处理装置，包括：
[0014]第一获取模块，用于获取候选检测框的检测输出信息和相机内参，其中，所述检测输出信息包括：与所述候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；
[0015]生成模块，用于根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框；
[0016]第一确定模块，用于根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度；
[0017]第二确定模块，用于根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值；
[0018]第三确定模块，用于根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框。
[0019]本公开第二方面实施例提出的单目三维目标检测后处理装置，通过获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。
[0020]本公开第三方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本公开第一方面实施例提出的单目三维目标检测后处理方法。
[0021]本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的单目三维目标检测后处理方法。
[0022]本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的单目三维目标检测后处理方法。
[0023]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0024]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0025]图1是本公开一实施例提出的单目三维目标检测后处理方法的流程示意图；
[0026]图2是本公开另一实施例提出的单目三维目标检测后处理方法的流程示意图：
[0027]图3是本公开另一实施例提出的单目三维目标检测后处理方法的流程示意图；
[0028]图4是本公开一实施例提出的单目三维目标检测后处理装置的结构示意图；
[0029]图5是本公开另一实施例提出的单目三维目标检测后处理装置的结构示意图；
[0030]图6示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
[0031]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0032]图1是本公开一实施例提出的单目三维目标检测后处理方法的流程示意图。
[0033]其中，需要说明的是，本实施例的单目三维目标检测后处理方法的执行主体为单目三维目标检测后处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等，如终端可为手机、掌上电脑等。
[0034]如图1所示，该单目三维目标检测后处理方法，包括：
[0035]S101：获取候选检测框的检测输出信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目三维目标检测后处理方法，其特征在于，包括：获取候选检测框的检测输出信息和相机内参，其中，所述检测输出信息包括：与所述候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框；根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度；根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值；根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框。2.如权利要求1所述的方法，其特征在于，所述根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框，包括：根据所述相机内参、所述像素中心坐标和所述深度信息，确定所述候选检测框的三维中心坐标；根据所述三维中心坐标和所述尺寸信息，确定与所述候选检测框对应的三维顶点坐标；根据所述相机内参，确定所述三维顶点坐标在目标像素坐标系中的最小包络矩形作为所述二维包络框。3.如权利要求1所述的方法，其特征在于，所述根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度，包括：根据所述二维包络框，确定多个所述候选检测框之间的二维重叠度；根据所述深度信息，确定多个所述候选检测框之间的深度相似值；根据所述旋转角度，确定多个所述候选检测框之间的角度相似值；根据所述二维重叠度、所述深度相似值和所述角度相似值，确定所述三维重叠度。4.如权利要求1所述的方法，其特征在于，所述根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值，包括：确定所述候选检测框对应待检测对象的第一中心坐标；根据所述像素中心坐标和所述第一中心坐标，确定所述候选检测框的候选中心置信度；根据所述候选类别置信度和所述候选中心置信度，确定所述候选质量值。5.如权利要求1所述的方法，其特征在于，所述根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框，包括：确定多个所述候选检测框的分类信息；根据所述分类信息对多个所述候选检测框进行聚类处理，以得到多个检测框集合，其中，所述检测框集合中包括至少一个所述候选检测框；根据所述候选质量值和所述三维重叠度，确定与所述检测框集合对应的所述目标检测框。6.如权利要求5所述的方法，其特征在于，所述根据所述候选质量值和所述三维重叠度，确定与所述检测框集合...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：