一种基于视角生成器的点云补全方法技术

本发明专利技术公开了一种基于视角生成器的点云补全方法，该方法首先使用不可见点移除算法对数据集进行预处理；然后设计了一个基于视角的点云补全网络PV

【技术实现步骤摘要】
一种基于视角生成器的点云补全方法


[0001]本专利技术属于计算机视觉
；尤其涉及一种基于视角生成器的点云补全技术。

技术介绍

[0002]近年来，点云补全任务在计算机视觉和机器人领域引起了广泛的关注。因为分辨率或遮挡等限制，由深度相机或激光雷达等设备获取的原始点云数据通常是稀疏和残缺的。不完整的三维物体极大地限制了其在实际生活中的应用，如目标检测、场景分割等其他下游任务。因此，从部分观察的残缺点云中预测或推断出缺失的结构是非常必要的，这在三维视觉领域具有非常重要的潜力和价值，尤其是自动驾驶、机器人等应用场景。
[0003]许多工作都试图解决点云补全问题。这些方法根据三维数据的表示方法可以分为三类：基于体素的方法、基于网格的方法和基于点云的方法。基于体素的方法在体积数据上进行形状补全，例如采用占用网格或TSDF体素表示等。使用体素表示方法的优点是可以直接使用卷积操作，但缺点是会消耗大量的内存。基于网格的方法将三维物体表示为一组顶点和边的集和。虽然网格可以描述复杂的结构，但由于其固定的顶点连接模式，在模型训练中很难改变拓扑形状。相比之下，点云是一种直观的、简洁的三维数据表示，越来越多的研究关注基于点云的形状补全方法。然而，点云的无序性和不规则性给点云完成任务带来了巨大挑战。目前主流的点云补全方法的解码器结构大多采用基于分辨率的从粗到细的策略，通过对稀疏的粗点云进行上采样来获得精细输出。由粗到细的策略适用于由分辨率引起的残缺点云补全任务，对于由视角遮挡引起的缺失表现不够出色。如何更好的处理由视角引起的点云补全任务是本专利的主要内容。

技术实现思路

[0004]为解决上述问题，本专利技术公开了一种基于视角生成器的点云补全方法，该方法包括以下步骤：
[0005]S1、数据集生成：使用不可见点移除算法对数据集进行处理，生成残缺点云P
v
；
[0006]S2、网络模型构建：基于编码器
‑
解码器结构，提出基于视角的点云生成器，构建PV
‑
Net网络模型；
[0007]S3、模型训练：使用生成的训练集，采用优化算法降低损失函数，使得网络收敛，完成点云补全。
[0008]本专利技术进一步优选：所述步骤S1中所述的不可见点移除算法具体包括视角选取、球面映射和可见点选取。
[0009]其中视角选取的具体方法为：以单位正二十面体的十二个顶点作为视角C，视角方向朝向坐标原点(0,0,0)；球面映射操作的具体步骤为：任意选择视角c
k
∈C，将点云P中任意一点p
i
映射到半径为r的球面上球面映射公式为：
[0010][0011]可见点选取操作的具体步骤为：选择由视角c
k
和映射集并集中的凸包点，得到最终只含可见点的残缺点云P
v
。
[0012]本专利技术进一步优选：步骤S2中所述的PV
‑
Net网络模型由编码器E和解码器D组成，
[0013]编码器E负责提取输入残缺点云的全局特征f，解码器D负责对全局特征f解码得到完整点云；
[0014]编码器E的具体结构为：输入残缺点云P
v
首先通过由三个多层感知机(MLP)组成的卷积层Conv1，得到256维的特征，接着经过最大池化层得到全局特征f2，公式为：
[0015]f2＝maxpool(Conv1(P
v
)),
[0016]将全局特征f2在维度2上重复256次与f1拼接得到混合特征f3，公式为：
[0017]f3＝[repeat(f2)||f1],
[0018]接着再通过由三个MLP组成的卷积层Conv2和最大池化层得到最终的全局特征f，公式为：
[0019]f＝maxpool(Conv2(f3))；
[0020]解码器D的具体结构为：输入解码器E得到的全局特征f，经过由k个视角生成器组成的编码器D1，得到中间点云Y
k
，公式为：
[0021][0022]其中，Γ为最远点采样操作，∪为逐点的拼接操作，为每个视角生成器的输出，公式为：
[0023][0024]其中，v
i
为相邻视角的视角参数，f为编码器得到的全局特征，g为二维网格生成器生成的二维网格参数。
[0025]再经过由j个视角生成器组成的编码器D2，得到最终完整点云Y，公式为：
[0026][0027]Y
ji
＝MLPs[v
i
,Y
k
,g][0028]所述的一种基于视角生成器的点云补全方法，步骤S3中所述的生成训练集包括残缺点云和完整点云对，优化算法为梯度下降法，损失函数采用倒角距离(Chamfer Distance,CD)和地球移动距离(Earth Mover
’
s Distance,EMD)，定义为：
[0029][0030][0031]其中，S1、S2为任意两个点云集。需要注意的是，EMD距离需要两个点云集点数相同，CD两个子集点数可以任意。PV
‑
Net的损失函数公式为：
[0032][0033]其中，Y
k
为解码器第一阶段各视角生成器的输出，Y
j
为解码器第二阶段各视角生成器的输出，Y为网络的最终输出完整点云，为真值。
[0034]本专利技术的有益效果：
[0035]1、本专利技术针对点云补全方法在处理由视角遮挡产生的点云缺失时容易产生整体形状粗估计误差和局部细节恢复不好的问题，提出了一种基于视角生成器的点云补全方法，有效提高了点云整体和局部细节的补全质量。
[0036]2、本专利技术通过采用基于编码器
‑
解码器的结构，设计了基于视角的点云补全网络PV
‑
Net，其中解码器利用了编码器和视角信息，有效的针对不同视角下的残缺点云，进行针对处理，通过逐步扩大残缺点云的视角，恢复缺失点云，充分挖掘不同视角下残缺点云的关系，从而得到整体性更强的完整点云，同时保留点云的局部细节，达到更优的补全效果。
附图说明
[0037]图1是本专利技术的整个流程图；
[0038]图2是本专利技术实施例中的视角选取图；
[0039]图3是本专利技术PV
‑
Net网络结构图；
[0040]图4是本专利技术编码器结构图；
[0041]图5是本专利技术解码器结构图；
[0042]图6是本专利技术实施例提供的8类点云仿真结果图；
[0043]图7是本专利技术实施例提供的飞机点云不同视角下仿真结果图。
具体实施方式
[0044]下面结合附图和具体实施方式，进一步阐明本专利技术，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视角生成器的点云补全方法，其特征在于：包括以下步骤：S1、数据集生成：使用不可见点移除算法对数据集进行处理，生成残缺点云P
v
；S2、网络模型构建：基于编码器
‑
解码器结构，提出基于视角的点云生成器，构建PV
‑
Net网络模型；S3、模型训练：使用生成的训练集，采用优化算法降低损失函数，使得网络收敛，完成点云补全。2.根据权利要求1所述的一种基于视角生成器的点云补全方法，其特征在于：所述步骤S1中，所述不可见点移除算法具体包括视角选取、球面映射和可见点选取。3.根据权利要求2所述的一种基于视角生成器的点云补全方法，其特征在于：所述视角选取的具体方法为：以单位正二十面体的十二个顶点作为视角C，视角方向朝向坐标原点(0,0,0)；所述球面映射操作的具体步骤为：任意选择视角c
k
∈C，将点云P中任意一点p
i
映射到半径为r的球面上球面映射公式为：所述的可见点选取操作的具体步骤为：选择由视角c
k
和映射集并集中的凸包点，得到最终只含可见点的残缺点云P
v
。4.根据权利要求1所述的一种基于视角生成器的点云补全方法，其特征在于：所述步骤S2中，所述PV
‑
Net网络模型由编码器E和解码器D组成，所述编码器E负责提取输入残缺点云的全局特征f，所述解码器D负责对全局特征f解码得到完整点云。5.根据权利要求4所述的一种基于视角生成器的点云补全方法，其特征在于：所述编码器E的具体结构为：输入残缺点云P
v
首先通过由三个多层感知机(MLP)组成的卷积层Conv1，得到256维的特征，接着经过最大池化层得到全局特征f...

【专利技术属性】
技术研发人员：达飞鹏，张子煜，
申请(专利权)人：东南大学，
类型：发明
国别省市：