基于深度霍夫投票的3D物体识别系统及其识别方法技术方案

本发明专利技术提出了一种基于深度霍夫投票的3D物体识别系统及其识别方法，识别系统包括：votenet检测模块，用于输入N个点云，并基于pointnet++骨干网络学习点云特征和从种子点学习霍夫投票生成M个投票；RGB模块，与种子点相连，用于2D图像上的对象检测和点云上的点云特征提取，之后再将2D图像投票以及语义和纹理提示提升到3D种子点；PPC模块，与种子点相连，用于对种子点云携带的特征信息进行分析；OOC模块，当点云经过初始处理、霍夫投票、采样聚类之后形成簇群；以及GSC模块，与种子点和簇群相连，以应用MLP层来进一步聚合全局信息，并且输出随后被扩展并与OOC模块的输出特征地图相结合。相较于现有技术，本发明专利技术能够直接处理原始数据，不依赖于任何2D检测器。不依赖于任何2D检测器。不依赖于任何2D检测器。

【技术实现步骤摘要】
基于深度霍夫投票的3D物体识别系统及其识别方法


[0001]本专利技术涉及一种基于深度霍夫投票的3D物体识别系统及其识别方法。

技术介绍

[0002]当前的3D对象检测方法受到2D检测器的严重影响，为了利用2D检测器中的架构，他们通常将3D点云转换为规则网格(即，转换为体素网格或鸟瞰图像)，或者依赖于2D图像中的检测来提出3D框。
[0003]为了避免处理不规则的点云，当前的3D检测方法在各个方面严重依赖基于2D的检测器。例如，“Deep sliding shapes for amodal 3dobject detection in rgb
‑
d images”将2D检测框架，如fast/Mask R
‑
CNN扩展到3D。他们将不规则的点云体素化为规则的3D网格，并应用3D CNN检测器，这无法利用数据中的稀疏性，并且由于昂贵的3D卷积而遭受高计算成本。或者，“Multi
‑
view 3d object detection network for autonomous driving本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度霍夫投票的3D物体识别系统，其特征在于，包括：votenet检测模块，用于输入N个点云，并基于pointnet++骨干网络学习点云特征和从种子点学习霍夫投票生成M个投票，每个投票都具有3D坐标和高维特征向量；RGB模块，与种子点相连，用于2D图像上的对象检测和点云上的点云特征提取，之后再将2D图像投票以及语义和纹理提示提升到3D种子点，具有串联图像和点云特征的种子点将生成对3D对象中心的投票；PPC模块，与种子点相连，用于对种子点云携带的特征信息进行分析；OOC模块，当点云经过初始处理、霍夫投票、采样聚类之后形成簇群，此时存在K个物体中心，在建议和分类之前、最大池化之后，通过OOC模块使用CGNL的自我注意力模块，以生成新的特征图来记录所有簇群之间的亲和力，即物体与物体之间的关系；以及GSC模块，与种子点和簇群相连，以应用MLP层来进一步聚合全局信息，并且输出随后被扩展并与OOC模块的输出特征地图相结合。2.根据权利要求1所述的基于深度霍夫投票的3D物体识别系统，其特征在于：所述霍夫投票通过在预先计算的代码本中查找确定，并使用基于投票模块的深度网络生成投票。3.根据权利要求2所述的基于深度霍夫投票的3D物体识别系统，其特征在于：所述投票模块通过多层感知器MLP网络实现，该多层感知器MLP网络具有全连接层、ReLU和批量规范化。4.根据权利要求3所述的基于深度霍夫投票的3D物体识别系统，其特征在于：所述多层感知器MLP网络用于获取种子特征f
i
并输出欧几里得空间偏移量Δx
i
∈R3和特征偏移量Δf
i
∈R
C
，使得从种子点s
i
生成的投票v
i
＝[y
i
；g
i
]具有y
i
＝x
i
+Δx
i
和g
i
＝f
i
+Δf
i
，其中，种子点s
i
＝[x
i
；f
i
]，x
i
∈R3，f
i
∈R
C
，R3表示空间偏移量是三维向量，每个分量是实数，R
C
表示特征偏移量是C维向量，每个分量是实数；预测的欧几里得空间偏移量Δx
i
由回归损失函数计算获得：其中1[s
i on object]指示种子点s
i
是否位于对...

【专利技术属性】
技术研发人员：谢世朋，黄岩，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：