基于生成对抗网络的端到端点云补全方法技术

本申请涉及一种基于生成对抗网络的端到端点云补全方法。该方法包括：获取所需的原始点云数据集；对原始点云数据集中进行切割删除操作，保留切割部分点云和缺失点云作为模型训练的数据；对缺失点云进行下采样操作获取两个低分辨率的点云和点云；构建生成器网络和判别器网络；将缺失点云、点云和点云作为生成器网络的输入，输出缺失部分的点云；将切割部分点云和缺失部分的点云作为判别器的输入，输出缺失部分的点云的得分；通过反向传播的方式优化网络参数，得到点云补全模型；获取残缺点云输入点云补全模型进行点云补全，输出残缺点云的残缺部分点云；拼接残缺点云的残缺部分点云与残缺点云，获得补全后的点云。提高了点云补全方法的精度。方法的精度。方法的精度。

【技术实现步骤摘要】
基于生成对抗网络的端到端点云补全方法


[0001]本申请涉及计算机视觉以及自动驾驶
，特别是涉及一种基于生成对抗网络的端到端点云补全方法。

技术介绍

[0002]在3D视觉领域,三维数据表示方法包括体素、点云和二进制网格.其中,点云具有数据量小、分辨率高的独特优势被广泛应用于3D数据处理.激光雷达、立体相机或RGBD深度相机是获取现实生活中点云的常用方式.传统的激光扫描仪存在成本高、效率低、质量差等缺点.其中,立体相机或深度相机被频繁使用,但在点云的实际采集过程中由于物体被遮挡、物体表面的光反射、物体的透明度和相机视角的限制,获取的点云数据基本是不完整的,因此为了让点云数据能够在自动驾驶、医学等领域中得到应用,所以对点云进行信息补全是一项非常重要的工作。
[0003]当前点云和体素是三维形状补全的主要数据源,《Shape inpainting using 3d generative adversarial network and recurrent convolutional networks》提出了基于体素网格的算法3D
‑
ED
‑
GAN以实现点云修复,但是基于体素的方法由于其分辨率的限制,在网络训练的过程中计算量会大大增加.《Pointnet:deep learning on point sets for 3D classification and segmentation》提出了PointNet,它让点云数据直接作为神经网络的输入并实现点云形状的建模、分类及分割成为可能.PointNet一直在寻找一种对称函数用来解决点云的无序性问题,最终他们选择使用神经网络中的最大池化来解决该问题并取得了良好的效果.在此之后,点云补齐任务的算法才得到了极大的发展.《Learning representations and generative models for 3d point clouds》提出了第一个使用编码器
–
解码器框架(L
‑
GAN)去解决点云补齐任务的方法，因为该方法的体系结构主要不是以点云修复为任务所构建的，所以只能在一定程度上修复点云，因此目前的点云补全方法精度较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高点云补全方法精度的基于生成对抗网络的端到端点云补全方法。
[0005]一种基于生成对抗网络的端到端点云补全方法，所述方法包括：
[0006]S1、获取ModelNet40中公开的数据集，构建所需的原始点云数据集；
[0007]S2、先对原始点云数据集中原始点云进行切割删除操作，在原始点云中删除一部分点云构建缺失点云G1(N，3)，N代表点云中点的个数，保留切割部分点云P
GT
和缺失点云G1(N，3)作为模型训练的数据；
[0008]S3、对缺失点云G1(N，3)使用随机点采样方法进行下采样操作获取两个分辨率小于1024
×
3的点云G2(N
*
，3)和点云G3(N
**
，3)，N＞N
*
＞N
**
；
[0009]S4、构建生成器网络和判别器网络，所述生成器网络包括多尺度Transformer编码
器和特征解码器；
[0010]S5、将缺失点云G1(N，3)、点云G2(N
*
，3)和点云G3(N
**
，3)作为多尺度Transformer编码器的输入，得到全局特征向量F
p
；
[0011]S6、将所述全局特征向量F
p
输入到特征解码器中，输出缺失部分的点云P
out
；
[0012]S7、将所述切割部分点云P
GT
和所述缺失部分的点云P
out
作为判别器的输入，输出所述缺失部分的点云P
out
的得分；
[0013]S8、根据所述缺失部分的点云P
out
的得分，采用损失函数计算损失，通过反向传播的方式优化网络参数直至达到预设精度，完成模型训练，得到点云补全模型；
[0014]S9、获取残缺点云输入点云补全模型进行点云补全，输出所述残缺点云的残缺部分点云；
[0015]S10、拼接所述残缺点云的残缺部分点云与所述残缺点云，获得补全后的点云。
[0016]在其中一个实施例中，所述先对原始点云数据集中原始点云进行切割删除操作，在原始点云中删除一部分点云构建缺失点云G1(N，3)的步骤，包括：
[0017]在三维坐标系中的找到5个点，这5个点分别为O1(0，0，1)、O2(1，0，0)、O3(
‑
1，0，0)、O4(1，0，1)、O5(
‑
1，1，0)，从这5个点中随机选取一个点作为中心点O
j
，j∈(1，2
…
5)，再计算原始点云中每个点P
i
(x
i
，y
i
，z
i
)，i∈(1，2
…
N)到中心点O
j
的距离的平方和D
i
，i∈(1，2
…
N)，删除D
i
中距离最小的前512个点，得到删除后的点云G1(N，3)，其中，x
i
为三维坐标系中的x轴的坐标值，y
i
为三维坐标系中的y轴的坐标值，z
i
为三维坐标系中的z轴的坐标值。
[0018]在其中一个实施例中，所述对缺失点云G1(N，3)使用随机点采样方法进行下采样操作获取两个分辨率小于1024
×
3的点云G2(N
*
，3)和点云G3(N
**
，3)的步骤，包括：
[0019]首先在缺失点云G1(N，3)里随机选取一个点，以该点为圆心，以R＝N/N
*
为半径形成一个圆，在该圆内范围的点中删除距离圆心最近的前R个点，如此循环N
*
次，得到低分辨率的点云G2(N
*
，3)；
[0020]在点云G2(N
*
，3)中随机选取一点，以该点为圆心，以R＝N
*
/N
**
为半径形成一个圆，在该圆内范围的点中删除距离圆心最近的前R个点，如此循环N
**
次，得到低分辨率的点云G3(N
**
，3)。
[0021]在其中一个实施例中，所述多尺度Transformer编码器由三个相同结构的Transformer编码器组成，将缺失点云G1(N，3)、点云G2(N
*
，3)和点云G3(N
**
，3)分别作为三个Transformer编码器的输入，输出包含G1，G2，G3点云信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的端到端点云补全方法，其特征在于，所述方法包括：S1、获取ModelNet40中公开的数据集，构建所需的原始点云数据集；S2、先对原始点云数据集中原始点云进行切割删除操作，在原始点云中删除一部分点云构建缺失点云G1(N，3)，N代表点云中点的个数，保留切割部分点云P
GT
和缺失点云G1(N，3)作为模型训练的数据；S3、对缺失点云G1(N，3)使用随机点采样方法进行下采样操作获取两个分辨率小于1024
×
3的点云G2(N
*
，3)和点云G3(N
**
，3)，N＞N
*
＞N
**
；S4、构建生成器网络和判别器网络，所述生成器网络包括多尺度Transformer编码器和特征解码器；S5、将缺失点云G1(N，3)、点云G2(N
*
，3)和点云G3(N
**
，3)作为多尺度Transformer编码器的输入，得到全局特征向量F
p
；S6、将所述全局特征向量F
p
输入到特征解码器中，输出缺失部分的点云P
out
；S7、将所述切割部分点云P
GT
和所述缺失部分的点云P
out
作为判别器的输入，输出所述缺失部分的点云P
out
的得分；S8、根据所述缺失部分的点云P
out
的得分，采用损失函数计算损失，通过反向传播的方式优化网络参数直至达到预设精度，完成模型训练，得到点云补全模型；S9、获取残缺点云输入点云补全模型进行点云补全，输出所述残缺点云的残缺部分点云；S10、拼接所述残缺点云的残缺部分点云与所述残缺点云，获得补全后的点云。2.根据权利要求1所述的方法，其特征在于，所述先对原始点云数据集中原始点云进行切割删除操作，在原始点云中删除一部分点云构建缺失点云G1(N，3)的步骤，包括：在三维坐标系中的找到5个点，这5个点分别为O1(0，0，1)、O2(1，0，0)、O3(
‑
1，0，0)、O4(1，0，1)、O5(
‑
1，1，0)，从这5个点中随机选取一个点作为中心点O
j
，j∈(1，2
…
5)，再计算原始点云中每个点P
i
(x
i
，y
i
，z
i
)，i∈(1，2
…
N)到中心点O
j
的距离的平方和D
i
，i∈(1，2
…
N)，删除D
i
中距离最小的前512个点，得到删除后的点云G1(N，3)，其中，x
i
为三维坐标系中的x轴的坐标值，y
i
为三维坐标系中的y轴的坐标值，z
i
为三维坐标系中的z轴的坐标值。3.根据权利要求1所述的方法，其特征在于，所述对缺失点云G1(N，3)使用随机点采样方法进行下采样操作获取两个分辨率小于1024
×
3的点云G2(N
*
，3)和点云G3(N
**
，3)的步骤，包括：首先在缺失点云G1(N，3)里随机选取一个点，以该点为圆心，以R＝N/N
*
为半径形成一个圆，在该圆内范围的点中删除距离圆心最近的前R个点，如此循环N
*
次，得到分辨率小于1024
×
3的点云G2(N
*
，3)；在点云G2(N
*
...

【专利技术属性】
技术研发人员：葛军，陈小龙，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：