一种基于上下文感知特征聚集的3D目标检测方法技术

本发明专利技术公开了一种基于上下文感知特征聚集的3D目标检测方法，步骤如下：S1、提取输入点云的局部特征点集并预测坐标和特征偏移量；S2、根据投票操作形成的特征聚类生成优化后的搜索半径；S3、根据步骤S2中的优化后的搜索半径生成语义特征；S4、根据步骤S3中的语义特征进行3D目标的检测框分类和回归任务得到具有3D检测框的最终输出结果。与现有技术相比，本发明专利技术的目标检测方法能在保持网络轻量级的同时，提升了目标检测任务的精度，达到理想的目标检测效果。标检测效果。标检测效果。

【技术实现步骤摘要】
一种基于上下文感知特征聚集的3D目标检测方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于上下文感知特征聚集的3D目标检测方法。

技术介绍

[0002]近年来，深度学习的兴起极大地推动了计算机视觉领域的快速发展，在很多传统2D目标检测任务上都取得了突出的成果，但难以直接应用到更为广泛的三维场景的任务中，因此3D目标检测具有重要研究价值。3D目标检测是一种对三维场景中的物体进行定位和识别的计算机技术，目前已经成为计算机视觉在理解三维场景的重要研究方向之一，广泛应用于自动驾驶、智能机器人、增强现实等
，具有很重要的研究意义。
[0003]基于点云数据的3D目标检测由于其数据格式的简单、灵活，且保留了完整的三维数据信息而受到越来越多的关注。针对点云数据，又根据不同的表示方式衍生出不同的学习方法。基于投影的方法将数据转换为图片形式，将成熟的2D目标检测方法迁移到3D领域，受限于2D目标检测框架，没有充分利用3D数据信息且可拓展性较差。基于体素的方法可以更好地提取局部特征，但是体素化的分辨率较低时容易丢失信息，分辨率较高时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文感知特征聚集的3D目标检测方法，其特征在于，所述3D目标检测方法包括以下步骤：S1、提取输入点云的局部特征点集并预测坐标和特征偏移量，过程如下：S101、提取输入点云的局部特征点集；S102、预测局部特征点集中特征点的坐标和特征偏移量；S103、使用局部特征点集中特征点的坐标和特征偏移量进行坐标和特征的投票操作，形成特征聚类；S2、根据投票操作形成的特征聚类生成优化后的搜索半径，过程如下：S201、对投票后的特征聚类进行采样操作得到一组聚类中心点X；S202、对每个聚类中心点X进行搜索得到对应的一组强关键点集；S203、将每组强关键点集的特征进行聚合来预测搜索半径的偏移量，生成优化后的搜索半径；S3、根据步骤S2中生成的优化后的搜索半径生成语义特征，过程如下：S301、根据该优化后的搜索半径重新对每个聚类中心进行自适应半径的最近邻搜索得到新的一组关键点集；S302、基于新得到的关键点集进行特征聚合操作，得到语义特征；S4、根据步骤S3中的语义特征进行3D目标的检测框分类和回归任务得到具有3D检测框的最终输出结果，过程如下：S401、根据语义特征，利用多层感知机检测框分类和回归，得到中间结果向量；S402、解码中间结果向量，得到一组冗余的3D检测框；S403、对冗余的3D检测框进行去冗余处理，得到无冗余的3D检测框的最终输出结果。2.根据权利要求1所述的一种基于上下文感知特征聚集的3D目标检测方法，其特征在于，步骤S101中，采用通用的最远点采样策略，对原始点云进行采样得到输入数量一致的点云；使用点云深度学习网络工具PointNet++作为骨干网络提取局部特征点。3.根据权利要求1所述的一种基于上下文感知特征聚集的3D目标检测方法，其特征在于，步骤S102中，使用多层感知机预测局部特征点集中特征点的坐标和特征偏移量，将PointNet++采集的特征点输入多层感知机得到所有特征点坐标偏移量和特征偏移量。4.根据权利要求1所述的一种基于上下文感知特征聚集的3D目标检测方法，其特征在于，步骤S103中，局部特征点集中特征点的坐标投票操作定义如下：其中，表示预测的第i个点的坐标偏移量，表示经过投票后的局部特征点集中特征点坐标,p
i
表示投票前的特征点坐标；局部特征点集中特征点的特征投票操作定义如下：其中，f
i
表示投票前提取的局部特征，表示预测的特征偏移量，表示经过投票后的局部特征；对投票后的局部特征点集中特征点计算误差损失函数作为监督信号，所述误差损失函
数定义如下：Loss
vote
＝Dist(C,G)其中，Dist(
·
)表示计算给定点集之间的欧式距离，C表示投票后得到的局部特征中特征点集，G表示聚类中心点对应的真实物体中心构成的点集；对局部特征进行投票操作时，采用基于投票方向的矢量损失函数作为额外监督信号，其中，基于投票方向的矢量损失函数定义如下：其中，SmoothL1(
·
)表示L1平滑损失函数：u
i
＝Norm(g
i
‑
p
i
)，u
i,j
表示u
i
的第j维值，表示期望的投票方向矢量，g
i
表示真实物体中心点坐标，x,y表示参与运算的两个自然数，Norm(
·
)表示归一化操作：||x||表示对x求范数，表示预测的投票方向矢量，v
i,j
表示v
i
第j维值。5.根据权利要求1所述的一种基于上下文感知特征聚集的3D目标检测方法，其特征在于，步骤S201中，对投票后的特征点进行通用的最远点采样操作得到一组聚类中心点X。6.根据权利要求1所述的一种基于上下文感知特征聚集的3D目标检测方法，其特征在于，步骤S202中，使用固定半径r对每个聚类中心点X进行最邻近搜索得到对应的一组强关键点集。7.根据权利要求1所述的一种基于上下文感知特征聚集的3D目标检测方法，其特征在于，步骤S203中，，使用多层感知机和最大池化层将每组强关键点集的特征进行聚合，从而预测搜索半径的偏移量，生成优化后的搜索半径。定义如下半径损失函数进行监督学习，并采用梯度下降法进行反向传播；半径损失函数定义如下：Loss
radii
＝Loss
pos
‑
radii
+Loss
neg
‑
radii
其中，Loss
pos
‑
radii
＝Norm(mask
×
SmoothL1(μ
r
+var
r
,g
r
))表示有效检测框对应的半径损失值，mask表示正负样本的二进制掩码，用于标注过滤有效检测框，均值μ
r
＝Mu(Dist(S,G))，S表示最近邻搜索得到的关键点集所对应的投票前坐标点集，G表示聚类中心点对应的真实物体中心构成的点集，Mu(
·
)表示计算给定一组数据的均值，方差var
r
＝Var(Dist(S,G))，Var(
·
)表示计算给定一组数据的方差，期望的搜索半径值l、w、h分别表示检测框所表示的长方体的长、宽、高，Loss
neg
‑
radii
＝(μ
r
+var
r
)
×
(1
‑
mask)表示无效检测框对应的半径损失值。8.根据权利要求1所述的一种基于上下文感知特征聚集的3D目标检测方法，...

【专利技术属性】
技术研发人员：毛爱华，陈婉昕，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：