一种基于生成对抗网络的三维扫描点云孔洞填补方法技术

本发明专利技术公开了一种基于生成对抗网络的三维扫描点云孔洞填补方法，属于人工智能机器视觉领域，具体步骤如下：步骤S10，获取样本集；步骤S20，获取生成对抗网络，通过所述生成对抗网络样本集确定训练后的神经网络模型参数；步骤S30，获取待填补的点云数据确定填补之后完整的点云数据。本发明专利技术即一种基于生成对抗网络的点云孔洞填补方法，通过将获取到的若干完整点云数据和若干对应的残缺点云数据完成对生成对抗网络的模型的参数训练；将待填补的残缺点云数据输入至所述已训练生成对抗网络模型中的生成器中进行孔洞填补；整个过程在保证点云数据恢复的精确度的同时，可以大大的提高点云数据恢复的速度及精度。

【技术实现步骤摘要】
一种基于生成对抗网络的三维扫描点云孔洞填补方法
本专利技术公开了一种基于生成对抗网络的三维扫描点云孔洞填补方法，属于人工智能机器视觉领域。
技术介绍
三维扫描点云可由如下方式获取由双目相机采集具有结构光的编码图案的目标物二维图像，并根据三角形原理，恢复得到目标点云数据，其属性包括物体表面的三维空间位置X、Y、Z，表面法向量、曲率等信息。结构光三维扫描点云具有采样密度高，对环境光照存在较高的鲁棒性等优点，随着机器视觉技术的发展，对于三维扫描点云的处理技术变得越发的重要。然而三维扫描点云的点云数据由于目标物存在遮挡以及目标物表面特性的不同，在恢复点云时存在着恢复点云数据残缺的问题，为此，编程人员以往在应用点云数据之前常利用模板对点云孔洞进行填补。这种由模板对点云进行填补的主要流程为：首先，根据待测物体点云模型和实际测量点云上特征点间的对应关系，对待测物体点云模板进行三维缩放。然后，采用非刚体ICP策略或其他配准策略将待测物点云模板向待测物的的实际测量点云配准。最后，将原始测量点云中孔洞区域用变形后的待测物点云模型中的点云来替换以实现对孔洞的填补。在实现本专利技术的过程中，专利技术人发现现有的技术至少存在如下的问题：1)操作复杂：需要计算点云特征，并对点云模板进行缩放；2)耗时长：ICP配准算法通过不断的迭代计算两个点云数据之间的旋转平移矩阵，通过这组矩阵将不同坐标系下的两组点云数据或者是多组点云数据统一到同一参考坐标系下，算法的耗时长；3)使用局限：由于ICP算法的初始参数的设置问题，可能造成误匹配的情况发生，难以保证高质量的点云孔洞填补，还可能存在误填补等问题。生成对抗网络是当今一种主流的无监督型深度学习模型，具有广阔的应用前景。
技术实现思路
本专利技术的目的在于解决现有孔洞填补方式操作复杂、耗时长、恢复质量难以保障的问题，提出一种操作简单、点云数据恢复的速度快及精度高的基于生成对抗网络的三维扫描点云孔洞填补方法。本专利技术所要解决的问题是由以下技术方案实现的：一种基于生成对抗网络的三维扫描点云孔洞填补方法，具体步骤如下：步骤S10，获取样本集，所述样本集包括：完整点云数据和残缺点云数据；步骤S20，获取生成对抗网络，通过所述生成对抗网络模型、完整点云数据和残缺点云数据确定训练后的神经网络模型参数；步骤S30，获取待填补的点云数据，通过待填补的点云数据和所述训练后的神经网络模型确定填补之后完整的点云数据。优选的是，所述步骤S10的具体过程如下：步骤S101，获取完整点云数据；步骤S102，通过所述完整点云数据获取残缺点云数据；优选的是，所述步骤S20的具体过程如下：步骤S201，获取卷积神经网络模型,步骤S202，通过所述卷积神经网络模型确定生成对抗网络的生成模型和判别模型；步骤S203，通过所述生成对抗网络的生成模型和判别模型确定生成对抗网络；步骤S204，获取W距离，通过所述W距离和生成对抗网络确定改进的生成对抗网络；步骤S205，获取梯度惩罚，通过所述梯度惩罚和改进的生成对抗网络确定改善权重约束后的生成对抗网络；步骤S206，通过所述完整点云数据和残缺点云数据确定生成相应的全局特征向量；步骤S207，通过所述相应的全局特征向量和改善权重约束后的生成对抗网络确定训练后的神经网络模型参数。相比现有技术，本专利技术的有益效果在于：本专利技术即一种基于生成对抗网络的点云孔洞填补方法，通过将获取到的若干完整点云数据和若干对应的残缺点云数据作为训练数据输入至生成对抗网络模型中进行训练，得到已训练生成对抗网络模型；将待填补的残缺点云数据输入至所述已训练生成对抗网络模型中的生成器中进行孔洞填补，所述已训练生成对抗网络模型输出完整点云数据；整个过程在保证点云数据恢复的精确度的同时，可以大大的提高点云数据恢复的速度及精度。附图说明图1是整体流程图；图2是生成对抗网络结构图；图3是模型训练流程图；图4是自动编码器结构图；图5是自动编码器具体实现结构图；图6是生成对抗网络具体实现结构图；图7是最终总体神经网络结构图。具体实施方式以下根据附图1-7对本专利技术做进一步说明：下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。如图1所示，本专利技术第一实施例在现有技术的基础上提供了一种基于生成对抗网络的三维扫描点云孔洞填补方法，具体步骤如下：步骤S10，获取样本集，所述样本集包括：完整点云数据和残缺点云数据，对生成对抗网络的训练需要大量的样本，包括完整的点云数据，以及残缺的点云数据；以下将分别介绍完整点云数据以及残缺点云数据的获取方法，具体步骤如下：步骤S101，获取完整点云数据，具体过程如下：对于完整的点云数据，可以通过提取目标对象的STL格式文件的CAD模型三角网格顶点生成，或是利用深度相机采集获得，也可以利用开源三维数据库获取；并通过旋转、平移和尺度变换等操作完成基本数据集的增广步骤S102，通过完整点云数据确定残缺点云数据，具体过程如下：对于残缺点云数据获取，可以在完整点云数据上进行滤波操作，生成残缺的点云数据。为取得更好的训练结果，本专利技术采用ShapeNetCore数据库作为训练样本，将数据库中的所有数据以原点为中心缩放至对角线具备单位长度的形式，并对每个样本均匀采样2048个点，生成相对应的点云数据形式。在点云数据中心随机选取一点，去除一定半径内的点云生成不完整点云数据。获取的点云数据将被用来训练自动编码器以及生成对抗网络。为提高后续生成对抗网络的训练质量，可预先对深度相机采集得到的点云数据进行滤波、去噪、去除离群点等操作。为有效的对众多的点云数据进行管理，对点云设置标识码。例如残缺的点云1的标识码为A1，与之对应的完整点云为B1，生成网络根据A1残缺点云生成完整点云为C1，诸如此类，建立点云之间的相互关联。步骤S20，获取生成对抗网络，本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的三维扫描点云孔洞填补方法，其特征在于，具体步骤如下：/n步骤S10，获取样本集，所述样本集包括：完整点云数据和残缺点云数据；/n步骤S20，获取生成对抗网络，通过所述生成对抗网络模型、完整点云数据和残缺点云数据确定训练后的神经网络模型参数；/n步骤S30，获取待填补的点云数据，通过待填补的点云数据和所述训练后的神经网络模型确定填补之后完整的点云数据。/n

【技术特征摘要】
1.一种基于生成对抗网络的三维扫描点云孔洞填补方法，其特征在于，具体步骤如下：
步骤S10，获取样本集，所述样本集包括：完整点云数据和残缺点云数据；
步骤S20，获取生成对抗网络，通过所述生成对抗网络模型、完整点云数据和残缺点云数据确定训练后的神经网络模型参数；
步骤S30，获取待填补的点云数据，通过待填补的点云数据和所述训练后的神经网络模型确定填补之后完整的点云数据。


2.根据权利要求1所述的一种基于生成对抗网络的三维扫描点云孔洞填补方法，其特征在于，所述步骤S10的具体过程如下：
步骤S101，获取完整点云数据；
步骤S102，通过所述完整点云数据获取残缺点云数据。


3.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：刘克平，王健宇，张振国，李岩，菅齐，杨宏涛，于微波，
申请(专利权)人：长春工业大学，
类型：发明
国别省市：吉林;22