一种基于生成对抗网络的点云三维重建方法与系统技术方案

本发明专利技术公开了一种基于生成对抗网络的点云三维重建方法与系统。包括：首先处理等待重建的点云数据，其次搭建生成器模块和判别器模块，然后对生成器和判别器进行多次对抗训练得到训练完成后的生成器，最终训练完成的生成器生成的就是等待重建的点云数据对应的三维模型。本发明专利技术以已经拥有的点云数据为基准最终得到相对应的三维模型，能够应用于多种多样的单个物体，并且在多个模型的不同部分的拼接任务中能够生成较为光滑的过度区域，而不会很出现非常突兀的变化，其次损失函数的设计更好地加快网络模型的收敛速度，体现点云数据的三维特性，最终生成的对应三维模型精确度更高。最终生成的对应三维模型精确度更高。最终生成的对应三维模型精确度更高。

【技术实现步骤摘要】
一种基于生成对抗网络的点云三维重建方法与系统


[0001]本专利技术涉及三维重建，深度学习领域，具体涉及一种基于生成对抗网络的点云三维重建方法、系统、设备及存储介质。

技术介绍

[0002]近些年来，随着互联网和多媒体技术不断地发展、数字设备和大容量存储设备的普及，三维点云数据的应用也走进人们的视野之中。例如在虚拟现实中可以人们可以通过手绘而得到三维模型。又比如在自动驾驶中通过激光扫描的到三维的点云数据，在经过一定的处理使得计算机能够根据点云数据辨别当时所处的环境，知道哪里有障碍物，从而推断出汽车之后要如何通行。除此之外，三维模型也广泛应用于视频以及游戏制作之中。
[0003]三维重建技术是计算机图形学中的一个重要研究方向。它是指通过处理一些已知的数据从而推测原来的三维模型。例如通过一个物体的多张不同角度的图片来合成原来的三维物体，或者通过带有深度信息的图像来推测出三维物体，还有就是通过三维点云数据来获得三维模型等。近几年来随着深度学习的迅速发展，人们也将深度学习应用于三维点云数据的分类分割任务之中，并且取得了比较好的效果。通过深度学习技术计算机能够较好的将点云进行语义分割，从而知道哪些点云是属于同一类的，这在自动驾驶技术的研究中具有重要的意义。此外也有将深度学习应用于三维重建的研究，也取得了较好的效果。
[0004]目前的现有技术之一是一种基于深度学习的管道三维重建方法、系统、介质及设备，该技术方案为：(1)利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；(2)利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；(3)用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；(4)用实际的三维组件模型替代图中的节点以完成整个管道重建。其缺点是：此方案并不是针对点云数据进行三维重建，而是通过点云的到各个点云的所属的组件，在通过使用已存在的三维组件来完成整个管道，此方案专门用于实现管道的三维重建，其通用性不强。
[0005]目前的现有技术之二是一种基于RGB数据与生成对抗网络的点云三维重建方法，该技术方案为：(1)使用便宜的普通相机捕获二维图像；(2)通过生成对抗网络从单个RGB图像生成深度图像估计；(3)通过生成训练数据深度相机的参数生成深度图像估计，根据深度计算得到三维点云数据；(4)通过球面映射得到粗略表面模型，最后使用判别器对模型判别以得到完整的三维模型。其缺点是：(1)此方案通过二维图像来获得点云数据，之后再进行三维重建。注意到从二维图像来获得点云数据，这其中是通过估计实现的，因此这里必定会出现一定的损失。(2)此外三维重建过程中采用的是简单的球面映射，再通过细化得到完整的三维模型，通过这种方法得到的三维模型只是粗略的近似，所得三维模型不够精确。

技术实现思路

[0006]本专利技术的目的是克服现有方法的不足，提出了一种基于生成对抗网络的点云三维
重建方法。本专利技术解决的主要问题：一是现有的三维重建技术大多针对专门的物体或场景而设计的，普适性不够强的问题；二是通过二维图像获取点云数据导致数据损失的问题；三是通过简单映射而建立的三维模型导致模型精度不高的问题。
[0007]为了解决上述问题，本专利技术提出了一种基于生成对抗网络的点云三维重建方法，所述方法包括：
[0008]处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；
[0009]搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据；
[0010]搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值；
[0011]对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器；
[0012]最终所述训练完成的生成器所生成的就是所述等待重建的点云数据对应的三维模型。
[0013]优选地，所述处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型，具体为：
[0014]对等待重建的点云数据进行归一化处理，将每个点的坐标归一化到
‑
1到1之间；
[0015]如果要得到的三维模型是多个三维模型的不同部分拼接而成的，需要将待拼接部分的点云摆放到相对应的位置，并且也进行归一化处理；
[0016]归一化处理后所得的点云数据使用三维建模软件，得到一个能够包围该点云数据的三维网格模型。
[0017]优选地，所述搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据，具体为：
[0018]生成器采用MeshCNN，是一个作用于三维网格中每一条边的神经网络，它首先根据三维网格计算出各条边所拥有的五个特征，这五个特征分别为每条边所在的两个三角面片之间的二面角、以及那条边所在两个三角面片中所对的对角和那条边所在两个三角面片的高与那条边的比值；
[0019]计算好的特征类比于图像的卷积神经网络送到网络中进行计算，从而得到三维网格中每一个顶点所需的位移；
[0020]把点的位移与所述三维网格模型的顶点坐标相加，从而得到一个更加接近真实点云数据的三维网格模型；
[0021]从该新模型中均匀采样一些点，得到生成器生成的点云数据。
[0022]优选地，所述搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值，具体为：
[0023]判别器是一个二分类器，采用PointNet++网络模型作为判别器，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据；
[0024]修改PointNet++全连接后的输出个数为1，判别器判断是否是所述等待重建的点云数据，PointNet++的输出是一个小于1的概率值；
[0025]当PointNet++输出接近1时则表示当前输入的点云数据是真实是的点云数据，而当PointNet++输出接近0时则表示当前输入是从生成器生成的点云数据。
[0026]优选地，所述对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器，具体为：
[0027]采用最小二乘GANs的损失函数进行网络的优化，生成对抗网络的损失函数包括判别器的损失函数和生成器的损失函数；
[0028]判别器的损失函数计算，如公式所示：
[0029][0030]X代表所述等待重建的点云数据，D(X)代表向判别器中输入X所得的概率值，而G(X)则代表从生成器中生成的点云数据，D(G(X))代表向判别器中输入G(X)所得的概率值，L
D
则是最终的判别器损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的点云三维重建方法，其特征在于，所述方法包括：处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据；搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值；对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器；最终所述训练完成的生成器所生成的就是所述等待重建的点云数据对应的三维模型。2.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型，具体为：对等待重建的点云数据进行归一化处理，将每个点的坐标归一化到
‑
1到1之间；如果要得到的三维模型是多个三维模型的不同部分拼接而成的，需要将待拼接部分的点云摆放到相对应的位置，并且也进行归一化处理；归一化处理后所得的点云数据使用三维建模软件，得到一个能够包围该点云数据的三维网格模型。3.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据，具体为：生成器采用MeshCNN，是一个作用于三维网格中每一条边的神经网络，它首先根据三维网格计算出各条边所拥有的五个特征，这五个特征分别为每条边所在的两个三角面片之间的二面角、以及那条边所在两个三角面片中所对的对角和那条边所在两个三角面片的高与那条边的比值；计算好的特征类比于图像的卷积神经网络送到网络中进行计算，从而得到三维网格中每一个顶点所需的位移；把点的位移与所述三维网格模型的顶点坐标相加，从而得到一个更加接近真实点云数据的三维网格模型；从该新模型中均匀采样一些点，得到生成器生成的点云数据。4.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值，具体为：判别器是一个二分类器，采用PointNet++网络模型作为判别器，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据；修改PointNet++全连接后的输出个数为1，判别器判断是否是所述等待重建的点云数据，PointNet++的输出是一个小于1的概率值；当PointNet++输出接近1时则表示当前输入的点云数据是等待重建的点云数据，而当PointNet++输出接近0时则表示当前输入是从生成器生成的点云数据。
5.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器，具体为：采用最小二乘GANs的损失函数进行网络的优化，生成对抗网络的损失函数包括判别器的损失函数和生成器的损失函数；判别器的损失函数计算，如公式所示：X代表所述等待重建的点云数据，D(X)代表向判别器中输入X所得的...

【专利技术属性】
技术研发人员：王若梅，卢林鹏，周凡，林淑金，林格，
申请(专利权)人：中山大学，
类型：发明
国别省市：