一种基于平面约束与位置约束的3D目标检测方法及系统技术方案

本发明专利技术公开了一种基于平面约束与位置约束的3D目标检测方法及系统，输入数据RGB图像，使用深度估计模型ForeSeE训练得到深度图；使用实例分割掩膜对得到的深度图进行分割，将获得的前景部分转换为前景点云；以得到的前景点云为中心，大小与GT检测框相同生成伪点云框标签；冻结深度估计模型的参数，训练3D检测网络，采用伪点云标签作为训练标签，完成第一阶段训练，冻结3D检测网络F

【技术实现步骤摘要】
一种基于平面约束与位置约束的3D目标检测方法及系统


[0001]本专利技术属于图像处理
，具体涉及一种基于平面约束与位置约束的3D目标检测方法及系统。

技术介绍

[0002]3D目标检测是自动驾驶，机器人避障等领域一个重要任务。其目的是获得周围物在三维空间内的位置，体积信息。3D目标检测可以根据输入数据形式的不同分为基于点云的算法与基于图像的检测算法。虽然目前基于图像的检测算法精度落后于纯点云检测算法；但是由于相机具有分辨率高、成本较低、部署方便等优势，基于图像的检测算法如单目3D检测仍是当下学界和工业界的研究热点。近几年有学者提出了一种伪点云形式的单目检测方法。伪点云检测算法将单目检测解耦为深度估计与纯点云3D检测两个单独的模块。该方法先进行深度估计，再将深度图转换成伪点云，最后利用伪点云作为输入训练纯点云检测模型。伪点云检测算法可以借助高精度纯点云检测算法来提升单目检测精度。算法中的深度估计模块可以借助大规模数据集进行预训练，能提高泛化性，适应更加复杂多变的场景。3D检测模块也可以根据实际场景需求灵活选择高精度的检测模型。
[0003]伪点云检测方法的难点在于深度估计。单目深度估计本身是一个病态问题，其预测的深度图通常是不准确的，与真实点云相比，伪点云中的物体通常形状会严重失真以及伴随位置偏移，从而导致3D检测性能下降。基于上述描述，伪点云检测方法中深度估计的问题可以总结如下两类：
[0004]一、深度估计模糊导致伪点云中的物体形状发生严重失真。由于传统的深度估计通常注重于降低深度估计的像素级误差，而不是优化深度结构。预测深度图通常在物体内部和轮廓周围模糊。预测深度图中的模糊会导致伪点云的变形。伪点云中物体存在形状扭曲，轮廓周围存在拖尾等现象。这使得3D检测网络很难在训练时从失真的伪点云中学习有效的特征。因此3D检测网络可能会在预测阶段时产生大量误检结果。近年来，一些后处理方法被提出来解决伪点云失真问题。这些方法通常利用实例分割或重新设计伪点云稀疏方案来减少拖尾点云。然而，额外的处理操作可能会使整体模型变得复杂，无法适用于实时应用。此外，物体内部的失真因也无法得到很好的处理。
[0005]二、深度估计误差导致物体预测位置出现偏差。从单张RGB图像中估计物体的绝对距离是十分困难的。尤其是随着距离变远，深度标签变得稀疏，深度估计误差会愈发严重。深度估计误差将导致伪点云中物体的位置发生偏移，从而干扰3D检测结果。最近的一些方法提出通过深度估计模型和3D检测网络的联合训练来解决这个问题。然而，由于位置偏移问题，一些GT标签可能无法准确地对应于伪点云中物体的预测位置。联合训练中使用这些GT标签会干扰3D检测网络的训练，使其无法学习伪点云中物体的正确位置，从而降低了3D检测的性能。
[0006]因此，如何解决单目深度估计下伪点云中的物体形状失真以及位置偏移两个问题已经成为了伪点云检测方法的关键。

技术实现思路

[0007]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于平面约束与位置约束的3D目标检测方法及系统，用于解决由于深度估计误差造成伪点云形状失真与预测位置误差的技术问题，从而提升伪点云3D目标检测的性能。
[0008]本专利技术采用以下技术方案：
[0009]一种基于平面约束与位置约束的3D目标检测方法，包括以下步骤：
[0010]S1、输入数据RGB图像，使用深度估计模型ForeSeE训练得到深度图；
[0011]S2、使用实例分割掩膜对步骤S1得到的深度图进行分割，将获得的前景部分转换为前景点云；
[0012]S3、以步骤S2得到的前景点云为中心，大小与GT检测框相同生成伪点云框标签；
[0013]S4、冻结深度估计模型的参数，训练3D检测网络，采用步骤S3得到的伪点云标签作为训练标签，完成第一阶段训练，冻结3D检测网络F
‑
PointNet的参数，训练深度估计模型，利用GT检测框作为3D检测器的标签训练深度估计网络，完成第二阶段训练；交替训练第一阶段和第二阶段，使得3D检测网络F
‑
PointNet时刻正确预测伪点云位置。
[0014]具体的，步骤S1中，使用深度估计模型ForeSeE训练并预测深度的损失函数loss
wcel
如下：
[0015][0016]其中，wcel_
fg
，wcel_
bg
分别为前景与背景的像素级交叉熵损失函数；α为前景损失的权重。
[0017]具体的，步骤S1中，法向量约束loss
normal
计算如下：
[0018][0019]其中，N为物体2D框内的有效点组数，为预测法向量，为真实法向量。
[0020]具体的，步骤S1中，梯度约束计算如下：
[0021][0022]其中，N为物体2D框内的有效点组数，为预测水平梯度差，为真实水平梯度差，为预测垂直梯度差，为真实垂直梯度差。
[0023]具体的，步骤S2中，使用如下转换公式将前景深度转换为前景点云：
[0024][0025][0026]其中，u，v为像素坐标，f
x
，f
y
为相机焦距，c
x
，c
y
为图像中心点像素坐标，z为预测深
度。
[0027]具体的，步骤S3中，伪点云框即以伪点云为中心的一个大小与GT检测框相同的检测框，当GT框存在偏差时，伪点云框表示伪点云的位置，当ratio值大于0.25时，使用GT框的中心点作为伪点云框的中心点；当ratio值小于0.25时，使用物体所有伪点云位置的平均值作为伪点云框的中心点。
[0028]进一步的，伪点云框中心位置center
pseudo
计算如下：
[0029][0030]其中，Num
GT
为一个伪点云物体处于GT框中的点云数量，Num
all
为一个伪点云物体所有的点云数量，center
GT
为GT框中心位置，mean为前景点云中心位置，thh为ratio的阈值。
[0031]具体的，步骤S4中，第一个阶段的损失函数loss1
det
如下：
[0032]loss1
det
＝PointNetLoss(Box
pred
,Pseudolabel)
[0033]其中，FPointNetLoss为检测网络F
‑
PointNet原有的损失函数，Box
pred
为预测3D框，Pseudo为伪点云标签。
[0034]具体的，步骤S4中，第二个阶段的损失函数loss
all
如下：
[0035]loss
all
＝1*oss
wcel
+2*oss
normal
+3*oss
grad本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于平面约束与位置约束的3D目标检测方法，其特征在于，包括以下步骤：S1、输入数据RGB图像，使用深度估计模型ForeSeE训练得到深度图；S2、使用实例分割掩膜对步骤S1得到的深度图进行分割，将获得的前景部分转换为前景点云；S3、以步骤S2得到的前景点云为中心，大小与GT检测框相同生成伪点云框标签；S4、冻结深度估计模型的参数，训练3D检测网络，采用步骤S3得到的伪点云标签作为训练标签，完成第一阶段训练，冻结3D检测网络F
‑
PointNet的参数，训练深度估计模型，利用GT检测框作为3D检测器的标签训练深度估计网络，完成第二阶段训练；交替训练第一阶段和第二阶段，使得3D检测网络F
‑
PointNet时刻正确预测伪点云位置。2.根据权利要求1所述的基于平面约束与位置约束的3D目标检测方法，其特征在于，步骤S1中，使用深度估计模型ForeSeE训练并预测深度的损失函数loss
wcel
如下：其中，wcel_loss
fg
，wcel_loss
bg
分别为前景与背景的像素级交叉熵损失函数；α为前景损失的权重。3.根据权利要求1所述的基于平面约束与位置约束的3D目标检测方法，其特征在于，步骤S1中，法向量约束loss
normal
计算如下：其中，N为物体2D框内的有效点组数，为预测法向量，为真实法向量。4.根据权利要求1所述的基于平面约束与位置约束的3D目标检测方法，其特征在于，步骤S1中，梯度约束计算如下：其中，N为物体2D框内的有效点组数，为预测水平梯度差，为真实水平梯度差，为预测垂直梯度差，为真实垂直梯度差。5.根据权利要求1所述的基于平面约束与位置约束的3D目标检测方法，其特征在于，步骤S2中，使用如下转换公式将前景深度转换为前景点云：使用如下转换公式将前景深度转换为前景点云：其中，u，v为像素坐标，f
x
，f
y
为相机焦距，c
x
，c
y
为图像中心点像素坐标，z为预测深度。6.根据权利要求1所述的基于平面约束与位置约束的3D目标检测方法，其特征在于，步骤S3中，伪点云框即以伪点云为中心的一个大小与GT检测框相同的检测框，当GT框存在偏
差时，伪点云框表示伪点云的位置，当ratio值大于0.25时，使用GT框的中心点作为伪点云框的中心点；当ratio值小于0.25时，使用物体所有伪点云位置的平均值作为伪点云框的中心点。7.根据权利要求6所述的基于平面约束与位置约束的3D目标检测方法，其特征在于，...

【专利技术属性】
技术研发人员：杨勐，周祥，丁瑞，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：