一种基于语义分割的大规模园林场景点云几何补全方法技术

本发明专利技术提供了一种基于语义分割的大规模园林场景点云几何补全方法，包括以下步骤：一、场景点云语义分割：使用在园林点云语义分割数据集上训练得到的点云语义分割网络对输入的园林点云进行语义分割，再通过对各语义类别进行类内聚类得到实例对象；二、对象点云补全：将实例对象归一化后用于补全网络训练，拟合得到单对象对应的潜在向量和生成器，并进一步获得补全后的实例对象；三、场景点云拼装，根据实例对象归一化时保存的对象尺寸及坐标，将补全后的实例对象进行还原拼装得到补全后的园林点云。云。云。

【技术实现步骤摘要】
一种基于语义分割的大规模园林场景点云几何补全方法


[0001]本专利技术涉及一种点云几何补全方法，特别是一种基于语义分割的大规模园林场景点云几何补全方法。

技术介绍

[0002]场景点云几何补全方法旨在将场景点云中的空洞或缺失部分按照其所述类别或周边对象的语义特征进行补全，获取更为完整的场景点云。场景点云中的空洞或缺失通常是由设备扫描过程中物体之间的遮挡，或多视图重建时拍摄视角不够完备导致视角遮挡导致的。在场景点云之中，大规模园林场景是一类特殊的场景，其在空间尺度上分布范围大，点数量极多。场景内部对象非常繁多，分布密集且复杂，存在较多的缺失部分。同时，部分类别的对象存在较多且较为细节的局部结构。这些因素使得对大规模园林场景点云进行几何补全成为一个较难解决的问题。
[0003]针对大规模园林场景，现有技术提出了一些解决方法，例如，专利公开文件1：吴钦城.基于BIM技术场景建造方法和系统及于园林景观数字建模中的应用[P].广东省：CN110298136A,2019
‑
10
‑
01.；专利公开文件2：张青萍,丁明静,梁慧琳.一种私家园林空间数字化测绘和三维可视化方法[P].江苏省：CN109945845A,2019
‑
06
‑
28.通过采集园林场景图像数据，然后利用软件处理得到场景的三维数据。上述方法只能够从园林场景的二维图像重建得到三维数据，无法保证重建结果不出现空洞或缺失部分，同时也无法对大规模园林场景进行几何补全。专利文件3：李长辉,古建筑园林三维激光测量建模关键技术研究与应用.广东省,广州市城市规划勘测设计研究院,2015
‑
01
‑
05.直接对园林场景进行三维激光测量建模，无法保证测量时不出现遮挡等情况导致结果出现空洞或缺失部分。
[0004]针对场景点云的几何补全问题，现有的一些方法通过将场景点云进行体素化后进行点云补全，以完成场景点云几何补全，如文献1：Cherabier I,Schonberger J L,Oswald M R,et al.Learning priors for semantic 3d reconstruction[C]//Proceedings of the European conference on computer vision(ECCV).2018:314
‑
330.；文献2：Dai A,Ritchie D,Bokeloh M,et al.Scancomplete:Large
‑
scale scene completion and semantic segmentation for 3dscans[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018:4578
‑
4587.这类方法在体素表示上对场景进行语义补全以完成几何补全，但这类方法在应用到大规模园林场景上时存在两个问题：第一，大规模园林场景在空间尺度上分布范围大，体素化后进行处理会带来巨大的时间开销和计算成本；第二、园林场景中部分对象存在大量精细的局部结构，体素化会损失这些局部结构，从而导致补全结果精细度不足。
[0005]现有的单对象点云补全方法可以分为有监督方法和无监督方法。有监督方法利用完整的对象点云作为监督训练补全网络，如文献3：Zhang W,Yan Q,Xiao C.Detail preserved point cloud completion via separated feature aggregation[C]//Computer Vision
–
ECCV 2020:16th European Conference,Glasgow,UK,August 23
–
28,
2020,Proceedings,Part XXV 16.Springer International Publishing,2020:512
‑
528.，但这类方法需要大量完整的对象点云作为强监督信息，由于园林场景没有完整的对象点云，无法使用该类方法进行对象点云补全。无监督方法不需要完整对象点云作为监督，通过设计网络结构或引入先验来完成对象点云补全，如文献4：Zhang J,Chen X,Cai Z,et al.Unsupervised 3d shape completion through gan inversion[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:1768
‑
1777.利用预训练的生成器和判别器模型引入先验信息，通过优化生成对象和残缺对象之间的距离损失来学习潜在向量和生成器模型，进而利用学习结果生成完成对象点云。

技术实现思路

[0006]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于语义分割的大规模园林场景点云几何补全方法。
[0007]为了解决上述技术问题，本专利技术公开了一种基于语义分割的大规模园林场景点云几何补全方法，包括以下步骤：
[0008]步骤1，场景点云语义分割：使用在园林点云语义分割数据集上预训练得到的点云语义分割网络对输入的园林场景点云进行语义分割，再通过对各语义类别进行类内聚类得到实例对象；
[0009]进一步的，所述的的场景点云语义分割，具体过程包括以下步骤：
[0010]步骤1
‑
1，利用园林点云语义分割数据集进行语义分割网络训练，获得语义分割网络F
s
；
[0011]进一步的，所述的语义分割网络F
s
如下：
[0012]使用现有处理场景点云的有监督语义分割方法，输入园林场景点云P∈R
N
×6，其中R
N
×6表示N
×
6维的实数域，N为园林场景点云的点数量，每一点包含XYZ轴坐标信息和RGB颜色信息共计6维，输出语义分割结果S
sem
＝{S1，S2，
…
，S
cls
}，其中，S
cls
表示第cls个语义分割结果，cls为园林场景语义类别个数，为第cls类语义类别点云，N
cls
为第cls类语义类别点云中的点数量。
[0013]步骤1
‑
2，利用语义分割网络F
s
对输入的园林场景点云进行语义分割，得到不同的语义类别的分割结果；
[0014]步骤1
‑
3，对各语义类别的点云分别进行类内聚类，获得实例级对象点云3，对各语义类别的点云分别进行类内聚类，获得实例级对象点云其中ins
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割的大规模园林场景点云几何补全方法，其特征在于，包括以下步骤：步骤1，场景点云语义分割：使用在园林点云语义分割数据集上预训练得到的点云语义分割网络对输入的园林场景点云进行语义分割，再通过对各语义类别进行类内聚类得到实例对象；步骤2，对象点云补全：将实例对象归一化后进行补全网络训练，拟合得到单实例对象对应的潜在向量和生成器，并利用潜在向量和生成器进一步获得补全后的实例对象；步骤3，场景点云拼装：根据实例对象归一化时保存的对象尺寸及坐标，将补全后的实例对象进行还原拼装得到补全后的园林点云。2.根据权利要求1所述的一种基于语义分割的大规模园林场景点云几何补全方法，其特征在于，步骤1中所述的场景点云语义分割，具体过程包括以下步骤：步骤1
‑
1，利用园林点云语义分割数据集进行语义分割网络训练，获得语义分割网络F
s
；步骤1
‑
2，利用语义分割网络F
s
对输入的园林场景点云进行语义分割，得到不同的语义类别的分割结果；步骤1
‑
3，对各语义类别的点云分别进行类内聚类，获得实例级对象点云3，对各语义类别的点云分别进行类内聚类，获得实例级对象点云其中ins
n
为实例对象的个数，为第ins
n
个实例对象。3.根据权利要求2所述的一种基于语义分割的大规模园林场景点云几何补全方法，其特征在于，步骤1
‑
1中所述的语义分割网络F
s
如下：使用现有处理场景点云的有监督语义分割方法，输入园林场景点云P∈R
N
×6，其中R
N
×6表示N
×
6维的实数域，N为园林场景点云的点数量，每一点包含XYZ轴坐标信息和RGB颜色信息共计6维，输出语义分割结果S
sem
＝{S1,S2,
···
,S
cls
}，其中，S
cls
表示第cls个语义分割结果，cls为园林场景语义类别个数，为第cls类语义类别点云，N
cls
为第cls类语义类别点云中的点数量。4.根据权利要求3所述的一种基于语义分割的大规模园林场景点云几何补全方法，其特征在于，步骤1
‑
3中所述的类内聚类，具体过程包括以下步骤：步骤1
‑3‑
1，输入语义分割结果S
sem
＝{S1,S2,
···
,S
cls
}，邻域半径eps，eps>0，最小邻域样本数minPts，minPts>1；步骤1
‑3‑
2，若待聚类语义分割结果S
sem
＝Φ，则执行步骤1
‑3‑
8，其中Φ代表空集；否则，从待聚类语义分割结果S
sem
中任取一个点云S＝{s1,s2,
···
,s
t
},s
t
∈R3，其中，s
t
表示点云S中的第t个点，t为点云S中点的数量；更新S
sem
＝S
sem
‑
{S}；其中，更新时，待聚类点云的每一点仅采用3维XYZ轴坐标信息；步骤1
‑3‑
3，初始化当前类别标签K＝0，初始化待处理队列L＝{}，初始化逐点类别C＝{c1,c2,
···
,c
t
},c
t
＝
‑
1，其中c
t
表示第t个点的类别，t为点云S中点的数量；步骤1
‑3‑
4，若待聚类点云S＝Φ，执行步骤1
‑3‑
2，其中Φ代表空集；否则，从点云S中任取一点s，更新S＝S
‑
{s}；计算点s与其他所有点的欧几里得距离，并从中选取距离小于邻域半径eps的点作为点s的邻域Neighbors；若|Neighbors|<minPts，则重新执行步骤1
‑3‑
4，否则执行步骤1
‑3‑
5，其中|
·
|代表统计集合
·
中元素的个数；步骤1
‑3‑
5，更新K＝K+1，更新点s的类别标签c＝K，更新待处理队列L＝Neighbors；
步骤1
‑3‑
6，若待处理队列L＝Φ，则返回步骤1
‑3‑
4；否则，从待处理队列L中取出一点p，更新队列L＝L
‑
{p}，若点p的类别标签c
p
＝
‑
1，则更新c
p
＝K，执行步骤1
‑3‑
7；否则，则重新执行步骤1
‑3‑
6；步骤1
‑3‑
7，计算点p与其他所有点的欧几里得距离，并从中选取距离小于邻域半径eps的点作为点p的邻域Neighbors
p
；若|Neighbors
p
|≥minPts，则更新队列L＝L∪Neighbors
p
，否则不进行任何操作，返回步骤136继续执行；步骤1
‑3‑
8，对所有语义类别中，聚类标签大于0的点按照聚类标签进行切分，得到单个实例对象，合并所有语义类别的实例对象，得到园林场景点云语义分割后的所有实例对象集合5.根据权利要求4所述的一种基于语义分割的大规模园林场景点云几何补全方法，其特征在于，步骤2所述的对象点云补全，具体过程包括以下步骤：步骤2
‑
1，对实例对象集合I
ins
中的各实例对象分别进行归一化操作，得到归一化实例对象集合以及各对象的尺寸scale＝{sc1,sc2,
···
,sc
n
}和原坐标coord＝{co1,co2,
···
,co
n
}；其中，sc
n
表示第n个对象的尺寸，co
n
表示第n个对象的原坐标，表示第norm
n
个归一化实例对象，norm
n
表示归一化实例对象的个数；步骤2
‑
2，对各归一化实例对象分别进行补全网络训练，拟合得到各对象的潜在向量Z＝{z1,z2,
···
,z
n
}和生成器模型G＝{g1,g2,
···
,g
n
}；步骤2
‑
3，将步骤2
‑
...

【专利技术属性】
技术研发人员：覃池泉，黄燚，沈怡静，吴超楠，钱圣诞，
申请(专利权)人：苏州工艺美术职业技术学院，
类型：发明
国别省市：