基于关系特征的三维室内物体检测方法技术

本发明专利技术公开了基于关系特征的三维室内物体检测方法，在特征提取阶段，深入学习了点与点之间的关系特征，提出了一个融合卷积池化模块，使得模型能够捕捉到更多点云场景中的邻域关键特征；在投票阶段，受到注意力机制的启发，根据点与物的关系，将点云划分为前景点与背景点，并设计出一个投票权重模块来降低背景点对检测结果的影响；然后，通过学习物与物之间的空间关系，在生成物体提议后，根据物体关系对提议进行筛选，剔除可能性较低的物体组合，从而提高物体检测准确率。而提高物体检测准确率。而提高物体检测准确率。

【技术实现步骤摘要】
基于关系特征的三维室内物体检测方法


[0001]本专利技术属于计算机视觉及人工智能
，涉及基于关系特征的三维室内物体检测方法。

技术介绍

[0002]作为室内场景三维重建的重要步骤，物体检测需要充分学习物体对象的形状特征，借助先进的算法以及神经网络，利用边界框的方法来将场景中的物体检测出来，从而对每一个物体进行定位并提取其语义信息。因此，点云物体检测技术具有重要的研究意义和广泛的应用前景。
[0003]当前最常用的基于点云数据的物体检测网络是由Charles等人于2019年提出的VoteNet网络框架。该网络一经提出，就在多个数据集上，于多个评价指标中取得了SOTA(state
‑
of
‑
the
‑
art)的效果，所以受到了点云领域研究者们的广泛关注。
[0004]VoteNet网络虽然在当时取得了很好的效果，但是它仍然存在着许多不足之处，比如特征提取部分采用的是PointNet++网络，其在特征降维部分的方法并没有很好地保留关键特征；其次，在种子点向物体中心投票这一环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于关系特征的三维室内物体检测方法，其特征在于，具体按照以下步骤实施：步骤1，通过嵌入了融合卷积池化层的SA层对输入的点云进行下采样以及特征提取，再使用FP层对点云进行上采样以及特征优化，最终得到多个具有高维特征的种子点；步骤2，通过一个MLP让种子点向可能的物体中心进行投票，从而得到初始投票点，再通过一个权重模块对投票点的特征进行优化，得到最终的投票点；步骤3，使用SA层对投票点进行聚类，生成物体的初步提议；然后将初步提议输入到空间关系模块中，把得到的提议间的空间关系特征与提议特征拼接起来，再输入到MLP中进行训练得到优化后的提议特征；最后通过3D NMS方法剔除置信度低的物体提议，即得到最终的物体包围盒，完成点云物体检测。2.根据权利要求1所述的基于关系特征的三维室内物体检测方法，其特征在于，步骤1具体为：步骤1.1，点云下采样：使用最远点采样法在输入的点云数据中采样到M个点；步骤1.2，点云分组：以这M个点为中心，接着使用球查询方法在每个中心点附近寻求S个点，从而组成M个局部区域；步骤1.3，获取局部点云特征：通过MLP来对各个局部区域进行特征提取与升维，得到了具有局部分组特征的点云数据；步骤1.4，池化操作：将步骤1.3得到的点云数据分别输入到平均池化层和最大池化层，分别获取各个局部区域特征的平均值以及最大值；步骤1.5，卷积操作：将步骤1.4得到的两个结果分别先用一层1
×
1的卷积提取特征，再进行数据批量标准化操作，然后用整流线性单位函数对特征优化，最后再经过一层1
×
1的卷积处理，最终得到了两个提取到更深层特征的点云；步骤1.6，特征聚合：将步骤1.5得到的两个点云的特征进行相加，则完成了SA1层的点云下采样以及特征提取；步骤1.7，多个SA层进行特征提取：将经过每个SA层处理后得到的点云作为下一个SA层的输入，重复执行步骤1.1
‑
1.6，依次完成SA2层、SA3层以及SA4层的点云下采样以及特征提取；步骤1.8，点云上采样以及特征优化：将经过SA4层处理后得到的点云及其特征通过两个连续的FP层进行点云上采样以及特征的优化，最终得到的点云中的点，即为具有高维特征的种子点。3.根据权利要求1所述的基于关系特征的三维室内物体检测方法，其特征在于，所述步骤2具体为：步骤2.1，预测物体中心点：将种子点都输入到MLP中，每个种子点都通过MLP来投票出一个物体中心点，MLP输出的结果为每个种子点距离所投票中心点的坐标偏移量和...

【专利技术属性】
技术研发人员：宁小娟，黄磊，巩亮，苏浩楠，肖照林，金海燕，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：