一种无需后处理操作的3D目标检测方法技术

本发明专利技术公开了一种无需后处理操作的3D目标检测方法，包括：(1)初始化K个3D候选框和1个物体嵌入特征；(2)对输入的点云样本进行特征提取，得到点特征；(3)在点特征上提取K个3D候选框特征；(4)使用物体嵌入特征对3D候选框特征进行筛选和提取，得到K个特征；(5)使用自注意力模型让K个特征交换特征信息，得到K个提议特征；(6)根据提议特征预测K个预测结果，并与标注信息一对一匹配后训练；(7)用步骤(6)预测的K个预测结果的3D候选框替代步骤(1)的K个3D候选框，用步骤(5)得到的特征提议替代步骤(1)的物体嵌入；重复步骤(3)～(7)多次得到检测结果。本发明专利技术可以解决现有3D目标检测器存在冗余预测的问题。预测的问题。预测的问题。

【技术实现步骤摘要】
一种无需后处理操作的3D目标检测方法


[0001]本专利技术属于计算机视觉领域，尤其是涉及一种无需后处理操作的3D目标检测方法。

技术介绍

[0002]3D目标检测是一项广泛应用于无人驾驶、室内物体检测、机器人导航等的技术。3D目标检测任务的输入为点云数据，输出的预测结果包括3D框的位置，3D框中物体的类别，以及3D框的置信度。
[0003]近年来3D目标检测器的检测精度有了大幅提升，其中典型的工作包括：《Deep Hough Voting for 3D Object Detection in Point Clouds》，《AHierarchical Graph Network for 3D Object Detection on Point Clouds》，《H3dnet:3d object detection using hybrid geometric primitives》，《Mlcvnet:Multi
‑
level context votenet for 3d object detection》。
[0004]然而，这些检测器的预测结果都存在大量的冗余(即一个物体会被重复检测到多次)。因此，这些检测器需要额外的后处理操作来去掉冗余的检测框。然而，这些后处理操作常常会花费大量时间，阻碍了3D目标检测器的实时应用。
[0005]3D物体检测器的训练流程可以概括为：输入一个点云样本，检测器产生K个预测结果(即3D框的位置，3D框中物体的类别，以及3D框的置信度)。随后，根据标注信息(即真实的3D框位置和3D框中物体的类别)来评估模型预测的K个结果，从而训练模型。
[0006]现有的3D目标检测器之所以会产生冗余的检测，是因为在评估模型预测的K个结果时采用的是“一对多”的匹配策略，即可能模型预测的多个结果会匹配同一个真实的物体。这种策略导致模型无法分辨其预测的结果是否存在冗余。
[0007]除了3D目标检测，2D目标检测领域同样存在上述“预测结果存在冗余”的问题。近期，2D目标检测领域出现了一批方法来解决该问题。但是，相比2D目标检测是在2D图像中检测物体，3D目标检测需要在3D空间中检测物体。由于后者的搜索空间更大，因此2D目标检测领域的解决方案是否能用于3D目标检测依然是个疑问。
[0008]因此，需要设计一种新的3D目标检测方法，在检测过程中可以避免产生冗余的检测，使得在评估模型预测的K个结果时采用“一对一”的匹配策略，即每个真实的物体仅匹配一个模型产生的结果。这种策略使模型可以分辨冗余的预测结果。然而，目前主流的3D目标检测器在结构上并不适应这种策略。

技术实现思路

[0009]本专利技术提供了一种无需后处理操作的3D目标检测方法，引入“一对一”的分配策略，同时采用新的结构来解决检测结果存在冗余的问题。
[0010]一种无需后处理操作的3D目标检测方法，包括以下步骤：
[0011](1)在目标区域内，初始化K个3D候选框和1个物体嵌入特征；
[0012](2)对输入的点云样本进行特征提取，得到点特征V；
[0013](3)在点特征V上提取K个3D候选框的特征；
[0014](4)使用物体嵌入特征对K个3D候选框的特征进一步进行筛选和提取，得到K个特征F∈R
K
×
C
；
[0015](5)使用自注意力模型让K个特征交换特征信息，得到K个提议特征P∈R
K
×
C
；
[0016](6)根据K个提议特征预测出K个预测结果，并与标注信息一对一匹配，根据匹配结果计算损失后通过反向传播进行训练；
[0017](7)用步骤(6)最近一次训练预测的K个预测结果的3D候选框替代步骤(1)中的K个3D候选框，并用步骤(5)最近一次得到的特征提议替代步骤(1)中的物体嵌入；重复步骤(3)～步骤(7)多次后，采用最近一次步骤(6)输出的K个预测结果作为最终的检测结果。
[0018]进一步地，步骤(1)中，K个3D候选框随着训练的进行能够编码物体最可能出现的K个位置；物体嵌入特征随着训练的进行能够编码待检测物体的通用特征，表示为E∈R1×
C
，其中，C表示特征维度。
[0019]进一步地，步骤(2)的具体过程为：
[0020]输入一个点云样本S∈R
n
×3，其中n表示点的数量，3对应点的三维坐标(即xyz坐标)；采用特征提取模型提取点特征V∈R
m
×
(c+3)
，其中，m表示特征点数量，c表示特征维度，3对应特征点在空间中的三维坐标。
[0021]进一步地，所述的特征提取模型包括但不限于PointNet和Sparse Conv。
[0022]进一步地，步骤(3)的具体过程为：
[0023]在得到步骤(1)的K个3D候选框和步骤(2)的点特征V后，提取候选框特征其中K表示候选框个数，r表示每个候选框对应的特征的分辨率，C表示候选框特征的维度。提取候选框特征的方法包括但不限于3D RoI MaxPooling。
[0024]进一步地，步骤(4)的具体过程为：
[0025]在得到步骤(1)的C维物体嵌入和步骤(3)中提取的候选框特征后，使前者对后者进行筛选和提取，得到K个特征F∈R
K
×
C
。
[0026]进一步地，步骤(6)中，匹配方法包括但不限于贪婪匹配算法和匈牙利匹配算法，匹配时，计算K个预测结果和G个标注物体的相似性，并进行一一匹配，未匹配上的预测结果作为负样本，匹配上的预测结果作为正样本。
[0027]本专利技术的方法可以应用于大部分3D目标检测器以解决存在冗余预测的问题，进一步地，有助于去掉3D目标检测器中常用的后处理步骤，以节省大量的时间开销。
附图说明
[0028]图1为本专利技术一种无需后处理操作的3D目标检测方法的流程图；
[0029]图2为本专利技术实施例中点云样本进行特征提取的场景图。
具体实施方式
[0030]下面结合附图和实施例对本专利技术做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本专利技术的理解，而对其不起任何限定作用。
[0031]如图1所示，一种无需后处理操作的3D目标检测方法，包括以下步骤：
[0032]步骤1，在目标区域内，初始化K个3D候选框和1个物体嵌入特征。候选框和物体嵌入特征都是可学习的。随着训练的进行，物体嵌入特征会编码待检测物体的通用特征，表示为E∈R1×
C
，其中，C表示特征维度；
[0033]步骤2，我们用现有的VoteNet采用的特征提取模型PointNet对输入的点云样本进行特征提取。具体可参照《Deep Hough Voting for 3D Object Detection in Point Clouds》。点云样本S∈R
n
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无需后处理操作的3D目标检测方法，其特征在于，包括以下步骤：(1)在目标区域内，初始化K个3D候选框和1个物体嵌入特征；(2)对输入的点云样本进行特征提取，得到点特征V；(3)在点特征V上提取K个3D候选框的特征；(4)使用物体嵌入特征对K个3D候选框的特征进一步进行筛选和提取，得到K个特征F∈R
K
×
C
；(5)使用自注意力模型让K个特征交换特征信息，得到K个提议特征P∈R
K
×
C
；(6)根据K个提议特征预测出K个预测结果，并与标注信息一对一匹配，根据匹配结果计算损失后通过反向传播进行训练；(7)用步骤(6)最近一次训练预测的K个预测结果的3D候选框替代步骤(1)中的K个3D候选框，并用步骤(5)最近一次得到的特征提议替代步骤(1)中的物体嵌入；重复步骤(3)～步骤(7)多次后，采用最近一次步骤(6)输出的K个预测结果作为最终的检测结果。2.根据权利要求1所述的无需后处理操作的3D目标检测方法，其特征在于，步骤(1)中，K个3D候选框随着训练的进行能够编码物体最可能出现的K个位置；物体嵌入特征随着训练的进行能够编码待检测物体的通用特征，表示为E∈R1×
C
，其中，C表示特征维度。3.根据权利要求1所述的无需后处理操作的3D目标检测方法，其特征在于，步骤(2)的具体过程为：输入一个点云样本S∈R
n
×...

【专利技术属性】
技术研发人员：刘子立，蔡登，徐国栋，杨鸿辉，何晓飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：