深度检测方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了一种深度检测方法、装置、计算机设备及存储介质，其中，该方法包括：获取待处理图像；基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。本公开实施例能够提升预测得到的目标对象在相机坐标系中深度信息的准确度。确度。确度。

【技术实现步骤摘要】
深度检测方法、装置、计算机设备及存储介质


[0001]本公开涉及图像处理
，具体而言，涉及一种深度检测方法、装置、计算机设备及存储介质。

技术介绍

[0002]三维目标检测是计算机视觉领域的一个重要而具有挑战性的问题，在自动驾驶、机器人技术、增强或虚拟现实等计算机视觉应用中发挥着重要作用。单目三维目标检测能够利用单目摄像机获取的单目图像，实现对弹幕图像中的目标对象进行三维检测的目的。
[0003]在对单目图像进行三维目标检测时，需要得到目标对象的中心点在单目图像对应的相机坐标系中的深度值；当前确定目标对象中心点在单目图像对应的相机坐标系中的深度值时，存在深度值精度置信度较差的问题。

技术实现思路

[0004]本公开实施例至少提供一种深度检测方法、装置、计算机设备及存储介质。
[0005]第一方面，本公开实施例提供了一种深度检测方法，包括：获取待处理图像；基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；基于所述中间深度值和所述待处理图像，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
[0006]这样，通过在获取待处理图像后，基于待处理图像，确定目标对象的二维检测框在待处理图像对应的图像坐标系中的二维位置信息、以及目标对象在待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息，然后基于二维位置信息、投影位置信息、以及二维检测框和三维检测框之间的投影关系信息，得到目标对象在相机坐标系中国的中间深度值，并基于该中间深度值，得到目标对象在相机坐标系中的目标深度值，从而将二维检测框和三维检测框之间的投影关系信息作为约束，提升最终所得到的目标对象在相机坐标系中的目标深度值的置信度。
[0007]一种可能的实施方式中，所述基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息，包括：对所述待处理图像进行特征提取，获取待处理图像的特征图；基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率、与各个特征点对应的第一位置偏移量、和以各个特征点为中心点的下采样二维检测框的下采样尺寸信息；基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息；其中，下采样二维检测框，为对待处理图像进行下采样后，所述目标对象二维检测框产生限缩形成的检测框。
[0008]一种可能的实施方式中，所述二维位置信息包括：所述二维检测框的中心点在所
述图像坐标系中的第一坐标信息、以及所述二维检测框的尺寸信息。
[0009]一种可能的实施方式中，所述基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息，包括：基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中确定目标特征点；基于所述目标特征点在所述特征图中的位置信息、所述目标特征点的第一位置偏移量、以及下采样率，确定所述二维检测框的中心点在所述图像坐标系中的第一坐标信息；以及，基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息。
[0010]一种可能的实施方式中，所述对所述待处理图像进行特征提取，获取待处理图像的特征图，包括：利用预先训练的骨干神经网络对所述待处理图像进行特征提取，得到所述待处理图像的特征图；所述基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率，包括：利用预先训练的中心点预测神经网络对特征图进行中心点预测处理，得到特征图中的各个特征点属于目标对象的中心点的概率。
[0011]一种可能的实施方式中，采用下述方式训练所述中心点预测神经网络：获取样本图像，以及样本对象的中心点在所述样本图像中的标注位置信息；其中，所述样本对象的中心点为样本对象在所述样本图像对应的相机坐标系中的三维检测框的中心点在所述样本图像中的投影点；利用所述样本图像、以及所述位置标注信息，对待训练的骨干神经网络、以及待训练的中心点预测神经网络进行训练，得到训练好的所述中心点预测神经网络。
[0012]一种可能的实施方式中，基于所述待处理图像，所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息，包括：基于所述待处理图像的特征图，得到与所述特征图中的每个特征点对应的第二位置偏移量；基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息。
[0013]一种可能的实施方式中，所述投影位置信息包括下述至少一种：所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
[0014]一种可能的实施方式中，所述基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息，包括：基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中，确定目标特征点；基于所述目标特征点在所述特征图中的位置信息、所述目标特征点对应的第二位置偏移量、以及所述下采样率，确定所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。
[0015]一种可能的实施方式中，所述基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值，包括：基于所述二维位置信息、所述投影位置信息、所述目标对象的实际尺寸信息、所述目标对象的朝向信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象在所述相机坐标系中的中间深度值。
[0016]一种可能的实施方式中，还包括：基于所述待处理图像的特征图，对所述目标对象进行尺寸预测处理，得到所述目标对象的实际尺寸信息；和/或，基于所述待处理图像的特征图，对所述目标对象进行朝向预测处理，得到所述目标对象在所述相机坐标系中的朝向信息。
[0017]一种可能的实施方式中，所述二维检测框和三维检测框的投影关系信息，是基于所述三维检测框在图像坐标系中的投影的尺寸信息和位置信息、与所述二维检测框的尺寸信息和位置信息建立的。
[0018]一种可能的实施方式中，所述基于所述中间深度值，得到所述目标对象的中心点在所述相机坐标系中的目标深度值，包括：对所述目标对象的中心点在所述相机坐标系中的中间深度值构成的深度图像进行非线性变换，得到深度特征图；基于所述深度特征图、以及所述待处理图像的特征图，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。
[0019]一种可能的实施方式中，所述基于所述深度特征图、以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度检测方法，其特征在于，包括：获取待处理图像；基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息、以及所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息；基于所述二维位置信息、所述投影位置信息、以及所述二维检测框和所述三维检测框之间的投影关系信息，得到所述目标对象的中心点在所述相机坐标系中的中间深度值；基于所述中间深度值和所述待处理图像，得到所述目标对象的中心点在所述相机坐标系中的目标深度值。2.根据权利要求1所述的深度检测方法，其特征在于，所述基于所述待处理图像，确定目标对象的二维检测框在所述待处理图像对应的图像坐标系中的二维位置信息，包括：对所述待处理图像进行特征提取，获取待处理图像的特征图；基于所述特征图，得到所述特征图中的各个特征点属于目标对象的中心点的概率、与各个特征点对应的第一位置偏移量、和以各特征点为中心点的下采样二维检测框的下采样尺寸信息；基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息；其中，下采样二维检测框，为对待处理图像进行下采样后，所述目标对象二维检测框产生限缩形成的检测框。3.根据权利要求2所述的深度检测方法，其特征在于，所述二维位置信息包括：所述二维检测框的中心点在所述图像坐标系中的第一坐标信息、以及所述二维检测框的尺寸信息。4.根据权利要求3所述的深度检测方法，其特征在于，所述基于所述概率、所述第一位置偏移量以及所述下采样尺寸信息，得到所述二维位置信息，包括：基于所述特征图中的每个特征点属于目标对象的中心点的概率，从所述特征图中确定目标特征点；基于所述目标特征点在所述特征图中的位置信息、所述目标特征点的第一位置偏移量、以及下采样率，确定所述二维检测框的中心点在所述图像坐标系中的第一坐标信息；以及，基于所述目标特征点对应的下采样尺寸信息、以及所述下采样率，确定所述二维检测框的尺寸信息。5.根据权利要求2
‑
4任一项所述的深度检测方法，其特征在于，所述对所述待处理图像进行特征提取，获取待处理图像的特征图，包括：利用预先训练的骨干神经网络对所述待处理图像进行特征提取，得到所述待处理图像的特征图；所述基于所述特征图，得到所述特征图中的每个特征点属于目标对象的中心点的概率，包括：利用预先训练的中心点预测神经网络对特征图进行中心点预测处理，得到特征图中的各个特征点属于目标对象的中心点的概率。
6.根据权利要求5所述的深度检测方法，其特征在于，采用下述方式训练所述中心点预测神经网络：获取样本图像，以及样本对象的中心点在所述样本图像中的标注位置信息；其中，所述样本对象的中心点为样本对象在所述样本图像对应的相机坐标系中的三维检测框的中心点在所述样本图像中的投影点；利用所述样本图像、以及所述位置标注信息，对待训练的骨干神经网络、以及待训练的中心点预测神经网络进行训练，得到训练好的所述中心点预测神经网络。7.根据权利要求1
‑
6任一项所述的深度检测方法，其特征在于，基于所述待处理图像，所述目标对象在所述待处理图像对应的相机坐标系中的三维检测框在所述在所述图像坐标系中的投影位置信息，包括：基于所述待处理图像的特征图，得到与所述特征图中的每个特征点对应的第二位置偏移量；基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息。8.根据权利要求7所述的深度检测方法，其特征在于，所述投影位置信息包括下述至少一种：所述三维检测框的中心点在所述图像坐标系中投影点的第二坐标信息。9.根据权利要求8所述的深度检测方法，其特征在于，所述基于所述特征图中的每个特征点属于目标对象的中心点的概率、所述第二位置偏移量、以及下采样率，得到所述三维检测框在所述在所述图像坐标系中的投影位置信息，包括：基于...

【专利技术属性】
技术研发人员：张胤民，马新柱，伊帅，侯军，欧阳万里，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：