一种目标检测的方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种目标检测的方法、装置、电子设备及存储介质，其中，该方法包括：对待检测图像进行特征提取，得到待检测图像的特征图；基于特征图，生成待检测图像中的目标对象投影至地面的投影区域对应的深度图；基于深度图以及特征图，确定目标对象的三维检测信息。本公开中的投影区域一定程度上与目标对象产生了联系，这样，在局部地面对应的深度图能够针对性的指导在该局部地面上的目标对象的特征图进行三维检测，提升检测的精度。提升检测的精度。提升检测的精度。

【技术实现步骤摘要】
一种目标检测的方法、装置、电子设备及存储介质


[0001]本公开涉及图像处理
，具体而言，涉及一种目标检测的方法、装置、电子设备及存储介质。

技术介绍

[0002]相较于二维(2D，2
‑
Dimension)目标检测任务，三维(3D，3
‑
Dimension)目标检测任务难度更大，复杂度更高，往往需要从3D场景中检测出目标的3D几何信息和语义信息，主要包括目标的长宽高、中心点和朝向角信息。其中，由于单目图像的3D目标检测具有经济适用的优良特性，被广泛应用于各种领域(如无人驾驶领域)。
[0003]然而，基于单目图像的3D目标检测技术主要依赖于一些外部的子任务，这些子任务负责执行2D目标检测、深度图估计等任务。由于子任务单独训练，本身存在精度损失，限制了网络模型的性能上限，无法满足3D检测的精度需求。

技术实现思路

[0004]本公开实施例至少提供一种目标检测的方法、装置、电子设备及存储介质，以提升3D目标检测的精度。
[0005]第一方面，本公开实施例提供了一种目标检测的方法，所述方法包括：
[0006]对待检测图像进行特征提取，得到所述待检测图像的特征图；
[0007]基于所述特征图，生成所述待检测图像中的目标对象投影至地面的投影区域对应的深度图；
[0008]基于所述深度图以及所述特征图，确定所述目标对象的三维检测信息。
[0009]采用上述目标检测的方法，不仅可以对待检测图像进行特征提取，还可以基于提取得到的特征图，生成待检测图像中的目标对象投影至地面的投影区域对应的深度图，进而基于深度图和特征图确定目标对象的三维检测信息。由于生成的深度图是指向待检测图像中的目标对象的，且对应的是目标对象投影到地面的投影区域，该投影区域一定程度上与目标对象关联，这样，在利用局部地面上的目标对象的特征图进行三维检测时可以以该局部地面对应的深度图作为指导，从而提升检测的精度。
[0010]在一种可能的实施方式中，在得到所述待检测图像的特征图之后，所述方法还包括：
[0011]对所述特征图进行二维检测，得到针对所述目标对象的二维检测信息；
[0012]所述基于所述深度图以及所述特征图，确定所述目标对象的三维检测信息，包括：
[0013]基于所述二维检测信息，确定针对所述目标对象的三维先验框信息；
[0014]基于所述三维先验框信息、所述深度图以及所述特征图，确定所述目标对象的三维检测框信息。
[0015]这里的三维检测可以是结合三维先验框信息的检测，三维先验框一定程度上可以约束三维检测的起始位置，以在起始位置附近搜索三维检测框信息，从而进一步提升三维
检测的精度。
[0016]在一种可能的实施方式中，所述二维检测信息包括所述目标对象所在二维检测框信息和所述目标对象所属类别信息；所述基于所述二维检测信息，确定针对所述目标对象的三维先验框信息，包括：
[0017]基于所述目标对象所属类别信息，确定所述目标对象所属类别包括的各个子类别的聚类信息；
[0018]根据所述各个子类别的聚类信息以及所述目标对象所在二维检测框信息，确定针对所述目标对象的三维先验框信息。
[0019]这里的三维先验框可以是结合目标对象所属类别信息来确定的。目标对象所属类别不同，所对应的三维先验框的大小、位置等可能都不同，利用类别信息可以辅助确定三维先验框的位置，准确度较高。
[0020]在一种可能的实施方式中，所述根据所述各个子类别的聚类信息以及所述目标对象所在二维检测框信息，确定针对所述目标对象的三维先验框信息，包括：
[0021]针对所述各个子类别中的每个子类别，基于该子类别的聚类信息包括的聚类高度值、所述目标对象所在二维检测框信息包括的宽度值，确定与该子类别对应的深度值；
[0022]基于该子类别的聚类信息以及与该子类别对应的深度值，确定针对所述目标对象的一个三维先验框信息。
[0023]在一种可能的实施方式中，所述基于所述三维先验框信息、所述深度图以及所述特征图，确定所述目标对象的三维检测框信息，包括：
[0024]根据所述深度图以及所述特征图确定三维检测框偏移量；
[0025]基于所述三维先验框信息以及所述三维检测框偏移量，确定所述目标对象的三维检测框信息。
[0026]这里可以是针对偏移量的预测，结合偏移量以及三维先验框可以得到更为准确的三维检测框。
[0027]在一种可能的实施方式中，所述根据所述深度图以及所述特征图确定三维检测框偏移量，包括：
[0028]基于所述目标对象所在二维检测框信息包括的位置范围，分别从所述深度图以及所述特征图中提取与所述位置范围匹配的深度图和特征图；
[0029]基于与所述位置范围匹配的深度图和特征图确定所述三维检测框偏移量。
[0030]这里，利用目标对象所在二维检测框信息包括的位置范围可以实现深度图和特征图在对应位置处的裁剪，这将使得所预测得到的偏移量是针对目标对象的，而不包含其他干扰区域的相关信息，提升预测精度。
[0031]在一种可能的实施方式中，所述三维先验框信息为多个；所述基于所述三维先验框信息以及所述三维检测框偏移量，确定所述目标对象的三维检测框信息，包括：
[0032]确定与每个所述三维先验框信息对应的权重；
[0033]基于各个所述三维先验框信息、每个所述三维先验框信息对应的权重、以及所述三维检测框偏移量，确定所述目标对象的三维检测框信息。
[0034]在一种可能的实施方式中，所述方法还包括：
[0035]根据所述深度图以及所述特征图确定所述目标对象所在类别信息包括的各个子
类别的预测概率；
[0036]所述确定与每个所述三维先验框信息对应的权重，包括：
[0037]基于各个子类别的预测概率，确定与每个所述子类别对应的三维先验框信息的权重。
[0038]考虑到针对不同的子类别的预测概率并不相同，概率越大，说明目标对象指向对应子类别的可能性也就越高，进而可以为对应的三维先验框信息赋予更高的权重，这将进一步提升最终所得到的三维检测框的预测精度。
[0039]在一种可能的实施方式中，所述对所述特征图进行检测，得到针对所述目标对象的二维检测信息，包括：
[0040]根据所述特征图确定二维检测框偏移量；
[0041]基于预设的二维先验框信息以及所述二维检测框偏移量，确定所述目标对象的二维检测信息。
[0042]在一种可能的实施方式中，所述深度图为通过训练好的深度图生成网络确定的；所述深度图生成网络是由图像样本、以及基于所述图像样本中标注的目标对象的三维标注框信息确定的标注深度图训练得到的。
[0043]在一种可能的实施方式中，所述目标对象的三维标注框信息包括标注框底面中心点的位置坐标和深度值；按照如下步骤获取所述标注深度图：
[0044]基于三维标注框所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测的方法，其特征在于，所述方法包括：对待检测图像进行特征提取，得到所述待检测图像的特征图；基于所述特征图，生成所述待检测图像中的目标对象投影至地面的投影区域对应的深度图；基于所述深度图以及所述特征图，确定所述目标对象的三维检测信息。2.根据权利要求1所述的方法，其特征在于，在得到所述待检测图像的特征图之后，所述方法还包括：对所述特征图进行检测，得到针对所述目标对象的二维检测信息；所述基于所述深度图以及所述特征图，确定所述目标对象的三维检测信息，包括：基于所述二维检测信息，确定针对所述目标对象的三维先验框信息；基于所述三维先验框信息、所述深度图以及所述特征图，确定所述目标对象的三维检测框信息。3.根据权利要求2所述的方法，其特征在于，所述二维检测信息包括所述目标对象所在二维检测框信息和所述目标对象所属类别信息；所述基于所述二维检测信息，确定针对所述目标对象的三维先验框信息，包括：基于所述目标对象所属类别信息，确定所述目标对象所属类别包括的各个子类别的聚类信息；根据所述各个子类别的聚类信息以及所述目标对象所在二维检测框信息，确定针对所述目标对象的三维先验框信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述各个子类别的聚类信息以及所述目标对象所在二维检测框信息，确定针对所述目标对象的三维先验框信息，包括：针对所述各个子类别中的每个子类别，基于该子类别的聚类信息包括的聚类高度值、所述目标对象所在二维检测框信息包括的宽度值，确定与该子类别对应的深度值；基于该子类别的聚类信息以及与该子类别对应的深度值，确定针对所述目标对象的一个三维先验框信息。5.根据权利要求3或4所述的方法，其特征在于，所述基于所述三维先验框信息、所述深度图以及所述特征图，确定所述目标对象的三维检测框信息，包括：根据所述深度图以及所述特征图确定三维检测框偏移量；基于所述三维先验框信息以及所述三维检测框偏移量，确定所述目标对象的三维检测框信息。6.根据权利要求5所述的方法，其特征在于，所述根据所述深度图以及所述特征图确定三维检测框偏移量，包括：基于所述目标对象所在二维检测框信息包括的位置范围，分别从所述深度图以及所述特征图中提取与所述位置范围匹配的深度图和特征图；基于与所述位置范围匹配的深度图和特征图确定所述三维检测框偏移量。7.根据权利要求5或6所述的方法，其特征在于，所述三维先验框信息为多个；所述基于所述三维先验框信息以及所述三维检测框偏移量，确定所述目标对象的三维检测框信息，包括：确定与每个所述三维先验框信息对应的权重；
基于各个所述三维先验框信息、每个所述三维先验框信息对应的权重、以及所述三维检测框偏移量，确定所述目标对象的三维检测框信息。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：根据所述深度图以及所述特征图确定所述目标对象所在类别信息包括的各个子类别的预测概率；...

【专利技术属性】
技术研发人员：刘配，杨国润，王哲，石建萍，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：