基于深度网络的三维点云面片分割方法技术

本发明专利技术提出了一种基于深度网络的三维点云面片分割方法，使用深度神经元网络生成固定数量面片集，网络前端使用带有残差前馈的类PointNet特征提取器获得输入点云中每个点的高维特征，网络后端在训练时使用可微SLIC对高维空间中的点进行聚类；基于网络生成的固定数量面片提出了两种可能应用，应用一的主要思路是先获得网络输出的面片集合，再对每一个面片使用其面片中心点最近的原点云真实点来替代该面片从而实现降采样。应用二的主要思路是对面片分割的结果进行区域生长以实现点云分割，分两阶段进行面片生长，第一阶段是基于边界面片的初步生长，第二阶段是针对复杂陡峭三维结构的再次面片生长。构的再次面片生长。构的再次面片生长。

【技术实现步骤摘要】
基于深度网络的三维点云面片分割方法


[0001]本专利技术服务于计算机算法、人工智能、智慧农业、无人系统等
，尤其涉及基于深度网络的三维点云面片分割方法。

技术介绍

[0002]对三维点云进行算法分割与分析是国民经济的一个重要研发方向，能够服务于无人车、智慧城市、农作物自动表型与育种、智能机械制造与加工等领域。三维点云中包含着大量的三维空间中的坐标点(可同时具有色彩和法向量等其他特征)。传统的点云分割算法往往直接在点级别进行计算和操作，容易受到三维传感器噪声点的影响，在复杂的三维物体表面难以获得令人满意的语义分割或者实例分割结果。本专利技术考虑使用中尺度的结构进行点云分割，构建一个深度学习网络把点云预先处理成一个个小面片形成面片集合，后续再针对这些面片进行分割能够避免点级别噪声的影响，且后续操作计算量更小。本文也在所提出的网络生成的面片集合的基础上进一步提出了两种应用方向，分别为基于该网络生成的面片进行抽象的点云降采样方式与基于网络输出的面片进行聚类的点云分割方法。
[0003]自二十世纪九十年代以来，点云面片分割或面片化划分任务大多以无监督聚类算法为主，通过修改聚类算法内的阈值参数能够得到不同的面片分割粒度。Achanta等人提出了一种新的点云迭代聚类算法SLIC(Simple Linear Iterative Clustering)，它使用局部k均值方法不断迭代更新聚类中心实现面片划分。Papon等人提出了基于体素的聚类方法VCCS(Voxel Cloud Connectivity Segmentation)，此方法使用了具有旋转不变性的FPFH特征，规范了初始聚类中心并使用广度优先搜索完成面片聚类。Li等人使用PCA(Principal ComponentAnalysis)得到点云的向量特征，再使用距离阈值和角度阈值来作为聚类条件以获得小面片集，为后续作物点云的器官实例分割提供基础。在使用深度网络的有监督聚类领域，Jampani等人提出了一种基于可微SLIC方法的网络—SSN(Superpixel SamplingNetwork)，可微SLIC使用可实现梯度传导的软关系矩阵替代传统SLIC的最近邻局部聚类操作，并可以集成进入网络当中实现可端到端训练的神经网络，但网络输出分割结果的规整性不佳。
[0004]目前常见的点云降采样方式以无监督算法为主。Vitter等人提出了随机降采样方法，即随机选取一些点进行保留，但能保留住的关键特征点较少。Devroye等人提出了一种均匀体素降采样方法，即等距离地保留一些点，将三维点云划分成一个个正方体，在每个正方体中只取一个点进行代表。Eldar等人提出了最远点降采样方法，首先随机选取一个点，再寻找离这个点最远的点加入集合并依次类推直到选择的点达到规定的上限N。该方法的优点是可以进行所有点的遍历，具有全局性；但缺点是计算量较大。Diez等人提出基于法线特征进行降采样，可尽量保证各个点的法向量方向均匀，在降采样后能够保留局部点云的细节。

技术实现思路

[0005]本专利技术提出了一种专门用于在点云上生成固定数量面片的深度神经元网络，建立了一种基于深度网络的三维点云面片分割方法，并基于该网络的面片分割方法的结果提出了两种应用，应用一为基于该网络生成的面片进行抽象的点云降采样方式；应用二为基于网络输出的面片进行聚类的点云分割方法。分别用作物三维点云的降采样和作物点云器官分割为例，形象化地阐述两个应用可能实现的形式和结果。
[0006]为了实现上述网络及应用，本专利技术的技术方案是首先提出一种带有残差前馈的类PointNet特征提取器作为网络前端，然后提出了SPSLIC方法作为网络后端聚类方法。之后在完成网络训练与测试后，基于网络的面片分割输出实现了两种可能的应用。
[0007]一种基于深度网络的三维点云面片分割方法，包括如下步骤：
[0008]步骤S1、数据准备：准备好带语义标签、实例标签、无监督面片划分标签的点云数据集，并将B
×
N
×
F维度大小的点云数据输入深度网络当中，其中B为训练批量大小，N为输入的每个点云中点的数量，F为每个点所包含的特征维度；
[0009]步骤S2、网络构架与训练方式：用于在点云上生成固定数量面片的深度神经元网络使用带有残差前馈的类PointNet特征提取器作为网络前端提取特征，网络后端在训练时为可微SLIC，在测试时为SPSLIC；
[0010]步骤S3、网络测试阶段：根据步骤S2已训练好且后端为SPSLIC的网络输出固定数量面片集合，对每一个面片使用其面片中心点最近的真实点来替代该面片，每一个点代表一个面片从而实现基于网络生成的面片进行抽象的点云降采样；
[0011]步骤S4：根据步骤S2已训练好且后端为SPSLIC的网络输出固定数量面片集合，对面片集合进行面片生长从而实现点云分割。
[0012]本专利技术首先提出了一种专门用于在点云上生成固定数量面片的深度神经元网络，并基于该网络的面片分割结果提出了两种应用，应用一为基于该网络生成的面片进行抽象的点云降采样方式，可被用于生成包含固定点数的点云数据集，能够满足其他点云深度学习网络的数据集需求；应用二为基于网络输出的面片进行聚类的点云分割方法，以智慧农业领域的作物三维器官识别为例展示了该点云分割方法的应用，有助于农学家与植物学家更好地观测植物器官并分析植物的生长。
[0013]本专利技术为了对单点云生成面片数量固定的面片集，我们提出了一种新的点云面片分割深度网络，网络的前端使用带有残差前馈的类PointNet特征提取器提取高维特征，后端使用一种新的种子点线性迭代聚类方式SPSLIC(SeedPoint Simple Linear Iterative Clustering)对高维点云特征进行loss函数下控制的迭代聚类，最终得到面片集合。本专利技术还在该网络的面片分割结果基础上提出了两种应用，应用一为基于该网络生成的面片进行抽象的点云降采样方式，可被用于生成包含固定点数的点云数据集，能够满足其他点云深度学习网络的数据集需求；应用二为基于网络输出的面片进行聚类的点云分割方法，以智慧农业领域的作物三维器官识别为例展示了该点云分割方法的应用，有助于农学家与植物学家更好地观测植物器官并分析植物的生长。应用一的主要思路是先获得网络输出的面片集合，再对每一个面片使用其面片中心点最近的原点云真实点来替代该面片从而实现降采样。应用二的主要思路是对面片分割的结果进行区域生长以实现点云分割，分两阶段进行面片生长，第一阶段是基于边界面片的初步生长，第二阶段是针对复杂陡峭三维结构的再
次面片生长。
[0014]与现有技术相比，本专利技术的有益效果是：
[0015]1)提出了一种专门用于在点云上生成固定数量面片的深度神经元网络，使用带有残差前馈的类PointNet特征提取器作为网络前端提取特征。训练时，网络后端模块为可微SLIC；测试时，网络后端模块为新提出的SPSLIC。此网络能够为基于面片的两种可能的应用打好基础；
[0016本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度网络的三维点云面片分割方法，其特征在于，包括如下步骤：步骤S1、数据准备：准备好带语义标签、实例标签、无监督面片划分标签的点云数据集，并将B
×
N
×
F维度大小的点云数据输入深度网络当中，其中B为训练批量大小，N为输入的每个点云中点的数量，F为每个点所包含的特征维度；步骤S2、网络构架与训练方式：用于在点云上生成固定数量面片的深度神经元网络使用带有残差前馈的类PointNet特征提取器作为网络前端提取特征，网络后端在训练时为可微SLIC，在测试时为SPSLIC；步骤S3、网络测试阶段：根据步骤S2已训练好且后端为SPSLIC的网络输出固定数量面片集合，对每一个面片使用其面片中心点最近的真实点来替代该面片，每一个点代表一个面片从而实现基于网络生成的面片进行抽象的点云降采样；步骤S4：根据步骤S2已训练好且后端为SPSLIC的网络输出固定数量面片集合，对面片集合进行面片生长从而实现点云分割。2.根据权利要求1所述的基于深度网络的三维点云面片分割方法，其特征在于，上述步骤S1中得到点云数据集的具体步骤包括：步骤S1.1：对数据集中带有实例标签与语义标签的点数不固定的原始点云使用任意无监督降采样算法降采样到点数固定为N的点云；步骤S1.2：对步骤S1.1获得的数据集使用无监督算法SLIC进行初步面片分割形成面片标签，并在原始点云基础上获得新的带面片标签的点云数据集，该面片标签数据能在训练中提高网络输出面片的规整性；步骤S1.3：将带有语义标签、实例标签、面片标签的点云数据集分为训练集与测试集两个部分，并输入网络进行训练。3.根据权利要求2所述的基于深度网络的三维点云面片分割方法，其特征在于，上述步骤S2中网络训练的具体步骤包括：步骤S2.1：以类似PointNet网络结构为主体并带有残差结构的网络组成特征提取器，使用残差结构将点云浅层信息与高维特征进行拼接，并使用一个MLP层对拼接的特征进行信息整合与维度调整；步骤S2.2：原始的SLIC聚类涉及到不可微分的最近邻操作，可微SLIC将不可微分操作转化为可微分操作，将可微SLIC集成进训练框架后形成端到端训练的神经网络；步骤S2.3：可微SLIC对每一个点云会输出维度为N
×
R的软关联矩阵Q，其中N为输入的每个点云中点的数量，R为要求生成的面片集合数量；软关联矩阵Q的列归一化形式在每一列上进行归一化计算，也就是将点云中所有点的特征对某个面片的贡献进行归一化，把所有点的高维信息映射到具体的面片上；软关联矩阵Q的行归一化形式在每一行上进行归一化计算，也就是将每个点对所有面片的贡献进行归一化，将点云中的某一真实标签先与列标准化矩阵相乘，获取所有点对某一个面片的“贡献值”，再与转置后的行标准化矩阵相乘获得输入点云的面片分割预测结果R
pred
；损失函数L的具体形式如下：L＝L
rec
+aL
cpt
+βL
reg
其中，L
rec
是语义与实例约束损失，表示只计算面片中的语义/实例类和真实的语义/实
例标签的误差；L
cpt
约束面片中的点尽量与所在面片中心靠近；L
reg
则是为了约束网络生成如原始SLIC结果那样饱满规整的多边形面片群而设置的损失；和是权重，三种损失函数以及R
pred
的具体公式如下：L
rec
＝L
entropy
(R
seg
,R
pred
)L
reg
＝L
entropy
(R
facet
,R
pred
)其中R
seg
为具体的点云划分真实值展开成行，每一列是一个点的one
‑
hot标签；R
pred
反映了经过软关系矩阵Q约束后的网络面片分割预测标签，表示点i的空间坐标，而表示该点所属的面片中心的三维空间坐标，R
facet
为经...

【专利技术属性】
技术研发人员：李大威，黄闯，
申请(专利权)人：东华大学，
类型：发明
国别省市：