一种基于生成对抗网络及自注意力机制的点云去噪方法技术

本发明专利技术涉及一种基于生成对抗网络及自注意力机制的点云去噪方法，属于3D点云去噪技术领域、深度学习领域。构建有噪声的点云待去噪数据集，构建自注意力的生成器模块，构建判别器模块，然后对抗训练生成器和判别器，直到生成器与判别器达到纳什平衡，最终得到训练完成的生成器；将噪声点云输入训练完成的生成器，得到的结果就是去噪点云。本发明专利技术通过将生成对抗网络和注意力机制相结合，进一步融合了点云全局和局部特征，保留更多的原始点云细节，提升了去噪效果，得到更精细的高质量点云数据。得到更精细的高质量点云数据。得到更精细的高质量点云数据。

【技术实现步骤摘要】
一种基于生成对抗网络及自注意力机制的点云去噪方法


[0001]本专利技术涉及3D点云去噪
、深度学习领域，具体涉及一种基于生成对抗网络及自注意力机制的点云去噪方法。

技术介绍

[0002]随着计算机科学与技术的飞速发展，计算机图形学、虚拟现实等技术的出现使得人们对三维空间信息的研究日趋深入，对三维模型的需求也与日俱增。与此同时，三维扫描技术的不断发展，使得三维扫描仪、深度相机等三维数据获取设备的成本不断走低，三维数据的获取日趋低廉、便利。其中3D点云数据类型因为数据结构简单直接、便于处理等优点，获得了大量研究人员的青睐。
[0003]3D点云表示形式可视为关于空间物体的连续分布的采样点集，可包含坐标、法线等空间几何信息以及强度、颜色、纹理、法线等属性信息，因而具备细粒度的空间表征能力。3D点云作为一种新的对象表示方法，由于其简单、灵活和强大的表示能力，3D点云正越来越容易获得，并且广泛应用于自动驾驶、机器人等领域。然而点云在获取过程中会因为设备的限制、重建技术匹配模糊等原因被噪音破坏，导致底层结构的不稳定，严重影响了下游的理解任务。因此，点云去噪对于三维视觉的工作来说是十分重要的。
[0004]目前通用的点云去噪方法包括非深度学习方法和深度学习方法。非深度学习方法已经有着几十年的历史。一般可以将早期非深度学习方法分为几种类型，包括局部表面拟合、使用滤波进行局部平滑以及稀疏编码。然而这些方法往往需要复杂的先验知识以及更多的参数选择。近些年来，一些深度学习的去噪方法也被提出，并且取得了很好的效果。多数深度学习方法的去噪方法都是预测噪音点到底层表面的偏移，调整坐标到预测位置。最近，不同的深度学习去噪方法被提出，这些方法的出现也极大的丰富了解决问题方法的多样性，引出更多的可能性。然而，因为点云的无序性和无规则性，现阶段的去噪方法仍存在不同程度的局限性。

技术实现思路

[0005]本专利技术提供一种基于生成对抗网络及自注意力机制的点云去噪方法，以解决现有技术对于点云数据全局和局部特征信息结合不充分的问题；及现有技术模拟噪声点云中噪声分布精细度不足，导致保留点云细节较少的问题，以实现对无序点云数据的高质量去噪。
[0006]专利技术采取的技术方案是，包括下列步骤：
[0007]步骤一：处理无噪声物体原始点云数据X，通过泊松采样、归一化和加入高斯噪声，得到有噪声的点云待去噪数据集；
[0008]步骤二：构建自注意力的生成器模块，输入为固定大小的点块M，包括特征嵌入模块，自注意力模块和点云生成模块，输出为经生成器模块去噪后的点云数据Y；
[0009]步骤三：构建判别器模块，输入为生成器模块生成的点云数据Y和无噪声的原始点云数据X，输出为一个小于1的概率值，生成器模块与判别器模块共同组成本文的点云去噪
神经网络；
[0010]步骤四：根据判别器模块输出的概率值判断是否生成器模块和判别器模块达到了纳什平衡状态，未达到纳什平衡状态就对生成器模块和判别器模块继续进行训练并优化超参数，直到达到纳什平衡状态，最终得到训练完成的判别器模块和生成器模块；
[0011]步骤五：将噪声点云输入到训练完成的生成器模块中即可得到去噪的点云数据。
[0012]本专利技术在步骤一中，包括收集无噪声的物体原始点云数据，通过泊松采样算法从物体的每个表面采样点云数据，再将采样后的点云归一化到单位球体内，并受到高斯噪声的扰动，最后将其分割为固定大小的点块M；点块的大小依据模型复杂度和设备条件做适当调整。
[0013]本专利技术在步骤二中构建自注意力的生成器模块，具体为：
[0014]特征嵌入模块输入为固定大小的点块M，以采样点为中心，使用K近邻分类算法获取小规模点云邻域、中规模点云邻域和大规模点云邻域，规模的大小与K的取值相关，其中K的取值可以分别为8、16和24，之后经过密集连接的多层MLP生成局部高维特征，MLP表示多层线性2
‑
5层串联，中心点经过聚合邻居高维特征之后，将三个特征提取单元输出进行拼接操作，最终输出为包含有点云局部信息的向量序列F；
[0015]自注意力模块由三个自注意力层和权重共享的多层MLP串联而成，输入为特征嵌入模块的输出F，最终输出为局部信息和全局信息融合的点云特征向量O；
[0016]点云生成模块以自注意力模块的输出为输入，经过四层权重共享的MLP，使用GELU激活函数和残差连接后，最终输出为去噪的点云数据Y。
[0017]本专利技术所述自注意力模块，具体为：
[0018]自注意力模块由三个自注意力层和权重共享的多层MLP串联而成，其中自注意力层的操作模式，如公式所示:
[0019][0020]其中，Q(Query),K(Key),V(Value)三个矩阵均来自统一输入，即特征嵌入模块的具有局部信息的向量序列F，首先计算Q和K之间的点乘，然后防止其结果过大，除以一个尺度标准其中为一个query和key维度的向量，再利用softmax函数将结果归一化为概率分布，其中softmax函数表示找出数组所有元素中值最大的元素，最后再乘以矩阵V就得到了权重求和的表示。
[0021]本专利技术所述点云生成模块，具体为：
[0022]所述点云生成模块以融合了局部和整体信息的点云特征向量O为输入，经过四层权重共享的MLP，使用GELU的非线性和残差连接，对信息进一步整合；
[0023]所述点云生成模块学习到每个点的坐标偏移，将点移动到相对位置，将有噪声的点云中的点恢复到底层表面，点云生成模块的最终输出是每个点的修正后的坐标y；
[0024]所述点云生成模块的生成点云方式，如公式所示：
[0025]Y＝MLP(O)+M
[0026]其中M为带有噪声的输入点云数据的坐标信息，O代表生成器模块中的自注意力模块的输出，最终输出Y表示去噪后的生成器模块生成的点云数据的坐标信息。
[0027]本专利技术在步骤三中构建判别器模块，具体为：
[0028]判别器模块是一个二分类器，采用三层卷积层和三层全连接层串联作为判别器模块，输入为生成器模块生成的点云数据Y和无噪声的原始点云数据X；
[0029]设置判别器模块最后一层全连接的输出个数为1，判别器模块判断输入的点云数据是否由生成器模块生成，全连接层的输出是一个小于1的概率值；
[0030]当判别器模块的输出接近1时则表示当前输入的点云数据是无噪声的原始点云数据，而当判别器模块输出接近0时则表示当前输入是由生成器模块生成的点云数据。
[0031]本专利技术在步骤四中，通过大量训练和优化超参数，得到训练完成的判别器模块和生成器模块，具体为：
[0032]生成对抗网络的损失函数由判别器模块的损失函数和生成器模块的损失函数两部分加权组成；
[0033]判别器模块的损失函数(对抗损失)计算，如公式所示：
[0034]L
D
＝∑log(D(X))+∑log(1
‑
D(Y))
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络及自注意力机制的点云去噪方法，其特征在于，包括下列步骤：步骤一：处理无噪声物体原始点云数据X，通过泊松采样、归一化和加入高斯噪声，得到有噪声的点云待去噪数据集；步骤二：构建自注意力的生成器模块，输入为固定大小的点块M，包括特征嵌入模块，自注意力模块和点云生成模块，输出为经生成器模块去噪后的点云数据Y；步骤三：构建判别器模块，输入为生成器模块生成的点云数据Y和无噪声的原始点云数据X，输出为一个小于1的概率值，生成器模块与判别器模块共同组成本文的点云去噪神经网络；步骤四：根据判别器模块输出的概率值判断是否生成器模块和判别器模块达到了纳什平衡状态，未达到纳什平衡状态就对生成器模块和判别器模块继续进行训练并优化超参数，直到达到纳什平衡状态，最终得到训练完成的判别器模块和生成器模块；步骤五：将噪声点云输入到训练完成的生成器模块中即可得到去噪的点云数据。2.根据权利要求1所述的一种基于生成对抗网络及自注意力机制的点云去噪方法，其特征在于：在步骤一中，包括收集无噪声的物体原始点云数据，通过泊松采样算法从物体的每个表面采样点云数据，再将采样后的点云归一化到单位球体内，并受到高斯噪声的扰动，最后将其分割为固定大小的点块M。3.根据权利要求1所述的一种基于生成对抗网络及自注意力机制的点云去噪方法，其特征在于：在步骤二中构建自注意力的生成器模块，具体为：特征嵌入模块输入为固定大小的点块M，以采样点为中心，使用K近邻分类算法获取小规模点云邻域、中规模点云邻域和大规模点云邻域，规模的大小与K的取值相关，其中K的取值可以分别为8、16和24，之后经过密集连接的多层MLP生成局部高维特征，MLP表示多层线性2
‑
5层串联，中心点经过聚合邻居高维特征之后，将三个特征提取单元输出进行拼接操作，最终输出为包含有点云局部信息的向量序列F；自注意力模块由三个自注意力层和权重共享的多层MLP串联而成，输入为特征嵌入模块的输出F，最终输出为局部信息和全局信息融合的点云特征向量O；点云生成模块以自注意力模块的输出为输入，经过四层权重共享的MLP，使用GELU激活函数和残差连接后，最终输出为去噪的点云数据Y。4.根据权利要求3所述的一种基于生成对抗网络及自注意力机制的点云去噪方法，其特征在于，所述自注意力模块，具体为：自注意力模块由三个自注意力层和权重共享的多层MLP串联而成，其中自注意力层的操作模式，如公式所示:其中，Q(Query),K(Key),V(Value)三个矩阵均来自统一输入，即特征嵌入模块的具有局部信息的向量序列F，首先计算Q和K之间的点乘，然后防止其结果过大，除以一个尺度标准其中为一个query和key维度的向量，再利用softmax函数将结果归一化为概率分布，其中softmax函数表示找出数组所有元素中值最大的元素，最后再乘以矩阵V就得到
了权重求和的表示。5.根据权利要求3所述的一种基于生成对抗网络及自注意力机制的点云去噪方法，其特征在于，所述点云生成模块，具体为：所述点云生成模块以融合了局部和整体信息的点云特征向量O为输...

【专利技术属性】
技术研发人员：王坤鹏，秦贵和，侯广哲，王国锋，张自展，冯瑶，王文轩，徐莹慧，
申请(专利权)人：吉林大学，
类型：发明
国别省市：