一种三维点云实例分割方法、系统及电子设备技术方案

本申请涉及一种三维点云实例分割方法、系统及电子设备。包括：步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。本申请通过加入种子点选择网络，对点云数据中的各个点进行“种子性”判断，进而选择出较好的种子点生成proposal，从而实现更好的实例分割，对网络模型的后处理有明显的提速作用，解决了当前点云实例分割技术准确率不高、效率低下的问题。

A method, system and electronic equipment of 3D point cloud instance segmentation

【技术实现步骤摘要】
一种三维点云实例分割方法、系统及电子设备
本申请属于三维点云数据处理
，特别涉及一种三维点云实例分割方法、系统及电子设备。
技术介绍
近年来由于图像分割技术与神经网络的快速发展，针对2D图像的语义分割技术和实例分割技术已经相当成熟，FCN[Long,J.,Shelhamer,E.,&Darrell,T.(2015).Fullyconvolutionalnetworksforsemanticsegmentation.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.3431-3440).]、SegNet[Badrinarayanan,V.,Kendall,A.,&Cipolla,R.(2017).Segnet:Adeepconvolutionalencoder-decoderarchitectureforimagesegmentation.IEEEtransactionsonpatternanalysisandmachineint本文档来自技高网...

【技术保护点】
1.一种三维点云实例分割方法，其特征在于，包括以下步骤：/n步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；/n步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；/n步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。/n

【技术特征摘要】
1.一种三维点云实例分割方法，其特征在于，包括以下步骤：
步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；
步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；
步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。


2.根据权利要求1所述的三维点云实例分割方法，其特征在于，在所述步骤a中，所述分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签具体为：所述模型使用pointnet++进行特征提取，并在特征提取完成后通过ins.decoder和seg.Decoder作为两个不同的分支进行解码，分别处理语义分割问题和实例分割问题；所述模型的特征编码与pointnet++中最后一个setabstraction模块输出的特征矩阵相同，并且ins.decoder和seg.Decoder两个分支均使用pointnet++中的特征插值模块进行解码；语义分支解码完成后，输出大小为NP×NF的语义特征矩阵Fsem，之后输出大小为NP×NC的语义分割预测结果，其中NC为语义预测的类别数，Np为输入点云数据的点数；实例分支解码完成后，输出大小为NP×NF的实例特征矩阵Fsim，用于解决实例分割问题。


3.根据权利要求2所述的三维点云实例分割方法，其特征在于，在所述步骤b中，所述对每个点的物体类别进行预测，将点嵌入至高维向量中具体包括：输入点云的位置信息，其矩阵大小为NP×3，首先通过接入Pointnet中使用的T-net进行点云位置的仿射变换，将点映射至权威坐标系中，并在点特征卷积后再次使用T-net进行变换，起到规范特征向量的作用；在进行实例分割预测时，将网络输出的实例特征矩阵Fsim与仿射变换后的点云位置以及特征向量连接在一起，进行点实例特征的学习。


4.根据权利要求1至3任一项所述的三维点云实例分割方法，其特征在于，在所述步骤c中，所述通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签具体为：每个点的“种子性”预测即为对网络基本收敛后点在特征空间中“位置”的判断，若点处于相对“中心”的位置，则其种子性较高，反之，则种子性较低；将每个点的实例特征矩阵Fsim和语义特征矩阵Fsem连接在一起，作为种子点选择网络的输入，将该点预测的proposal与groundtruth之间的iou作为软标签，并根据预设值对iou进行划分，若iou小于预设值，则将其硬标签置成0，反之置为1；在得到语义特征向量、种子点选择向量、语义预测向量后，使用非极大值进行后处理，完成实例标签的预测。


5.一种三维点云实例分割系统，其特征在于，包括：
特征提取模块：用于向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；
类别预测模块：用于对每个点的物体类别进行预测，将点嵌入至高维向量中；
种子点选择模块：用于在完成向量嵌...

【专利技术属性】
技术研发人员：徐杨杰，张涌，文森特·周，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44