一种用于图形处理的三维点云修复方法技术

本发明专利技术提供了一种用于图形处理的三维点云修复方法，包括：步骤1，对输入点云模型数据集采集数据；步骤2，采用基于Self‑Attention自注意力机制的方法和多层感知机MLP相结合得到长距离依赖关系提取网络，用该长距离依赖关系提取网络将输入点云映射为全局特征向量，再采用拓扑根树结构的解码器生成不完整点云的缺失部分；步骤3，将不完整点云及生成的缺失部分点云合成到一起，得到最终修复后的完整点云模型。

【技术实现步骤摘要】
一种用于图形处理的三维点云修复方法
本专利技术属于计算机三维模型处理和计算机图形学领域，尤其涉及一种用于图形处理的三维点云修复方法。
技术介绍
近年来，要在现实世界中直接获取大量三维数据，可以通过使用LiDAR扫描仪或深度传感器，如Kinect，以及立体相机等来实现。然而，使用这些仪器获得的3D数据通常不完整，主要原因如下几点：扫描仪的扫描视角受限，非目标物体的遮挡、以及光折射和反射的影响。因此，经常造成目标物体几何信息和语义信息的丢失。于是，研究如何修复不完整的3D模型，以便于更多后续应用，是一个非常有必要的研究课题。此外，3D模型也出现了大量的表现形式，如点云、体素、面片和距离场等。其中使用点云来表示和处理3D数据已受到越来越多的关注，因为与其他表示形式(例如3D体素网格)相比，它的存储成本较低，但是它能更精致细腻地表示3D模型。文献1C.R.Qi,H.Su,K.Mo,andL.J.Guibas.Pointnet:Deeplearningonpointsetsfor3dclassificationandsegmentation.2018.的出现使得无序点集可以被直接处理，这极大地促进了用于处理点云的深度学习架构的发展，以及更其它相关研究的发展，如3D场景重建，3D模型分割和3D模型修复等。文献2W.Yuan,T.Khot,D.Held,C.Mertz,andM.Hebert.PCN:PointCompletionNetwork.InternationalConferenceon3DVision2018.、文献3Z.Huang,Y.Yu,J.Xu,F.Ni,andX.Le.PF-Net:PointFractalNetworkfor3DPointCloudCompletion.ConferenceonComputerVisionandPatternRecognition2020.、文献4W.Yuan,L.P.Tchapmi,S.H.Rezatofighi,I.Reid,andS.Savarese.TopNet:StructuralPointCloudDecoder.ConferenceonComputerVisionandPatternRecognition2019.等基于学习的3D点云模型修复工作通常使用多层感知机(MLP)作为其特征提取器，该技术将不完整的点云作为输入，并将其每个点映射为维度不同的特征向量，并从最后一个特征向量中提取最大值来获得全局特征。同时，由于当前还没有相对可行的方法来定义点云的局部邻域，因此难以像2D图像一样通过卷积操作来提取特征。于是，这些方法严重依赖具有相似体系结构的多个全连接层，以捕捉输入模型的特征和输入点云中不同点间的依赖关系。此外，PF-Net表明，MLP中的低层和中层常常提取到局部信息，而仅通过使用共享的全连接层将它们传递到高层，就不能充分利用这些局部来形成全局特征。这意味着该方法无法有效地提取足够多的长距离依赖信息并将其嵌入到最终的全局特征向量中。另一个问题是，即使可以捕获有限的长距离依赖信息，也常常需要经过数个全连接层才能学习到这些信息。这可能不利于长距离依赖关系的有效捕获，原因主要有如下几个：(1)可能需更有针对性的模型来表示这些长距离依赖关系；(2)优化算法可能难以计算出某些参数值，而这些参数值可以用来促进多层之间相互协调，以捕捉这些长距离依赖关系。(3)当这些参数设置被应用于网络没有见过的的新模型时，该参数设置可能会在统计上表现出脆弱性。近年来，Attention机制通常与多种方法(如Recurrent方法和GAN方法)结合起来，以用来捕获长距离依赖信息。它最早开始于计算机视觉领域，并在自然语言处理(NLP)领域中取得了很大发展。文献5V.Mnih,N.Heess,A.Graves,andK.Kavukcuoglu.RecurrentModelsofVisualAttention.ConferenceonNeuralInformationProcessingSystems2014.将这种机制与RNN方法结合起来，用来进行图像分类研究，获得了很出色的性能。文献6D.Bahdanau,K.Cho,andY.Bengio.NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate.InternationalConferenceonLearningRepresentations2015.将Attention机制应用于NLP，即使用它同时进行翻译和对齐来完成机器翻译任务。Self-attention使集合中的输入元素可以彼此交互来计算权重或响应，并找出某个元素应该对哪些元素投入更多关注。文献7A.Vaswani,N.Shazeer,N.Parmar,J.Uszkoreit,L.Jones,A.N.Gomez,andL.Kaiser.AttentionIsAllYouNeed.ConferenceonNeuralInformationProcessingSystems2017.表明，将Self-attention机制应用于机器翻译任务实现了当时最好的性能。文献8H.Zhang,I.Goodfellow,D.Metaxas,J.Uszkoreit,andA.Odena.Self-AttentionGenerativeAdversarialNetworks.InternationalConferenceonMachineLearning2019.将Self-attention机制整合到GAN框架中，实现了当时在ImageNet上的类条件图像生成方面最好的性能。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种用于图形处理的三维点云修复方法，本专利技术具体公开了一种基于自注意力机制进行长距离依赖关系提取的三维点云修复方法，该方法用于对不完整的3D模型进行修复，包括以下步骤：步骤1，输入点云模型数据集，采集数据；步骤2，采用基于Self-Attention自注意力机制的方法和多层感知机MLP相结合得到长距离依赖关系提取网络，用所述长距离依赖关系提取网络将输入的点云映射为全局特征向量，再采用拓扑根树结构的解码器生成不完整点云的缺失部分；步骤3，将不完整点云及生成的缺失部分点云合成到一起，得到最终修复后的完整点云模型。步骤1包括如下步骤：步骤1-1，设定输入单个三维点云模型s，预设定5个视点，分别为(1，0，0)、(0，0，1)、(1，0，1)、(-1，0，0)、(-1，1，0)，多个不同视点以保证在采集训练和测试数据时的不完整模型的缺失部分具有随机性；步骤1-2，随机选择一个视点作为中心点p，并且预设定一个半径r(半径根据去除点数设置，并非数学意义上的具体长度，如本专利技术去除点数设置为原点云的25％，那么则是以p为中心点，去除距离p点最近的25％的点)；步骤1-3，对于三维点云模型s，以随机选择的视点p为中心，去除在预设本文档来自技高网...

【技术保护点】
1.一种用于图形处理的三维点云修复方法，其特征在于，包括如下步骤：/n步骤1，输入点云模型数据集，采集数据；/n步骤2，采用基于Self-Attention自注意力机制的方法和多层感知机MLP相结合得到长距离依赖关系提取网络，用所述长距离依赖关系提取网络将输入的点云映射为全局特征向量，再采用拓扑根树结构的解码器生成不完整点云的缺失部分；/n步骤3，将不完整点云及生成的缺失部分点云合成到一起，得到最终修复后的完整点云模型。/n

【技术特征摘要】
1.一种用于图形处理的三维点云修复方法，其特征在于，包括如下步骤：
步骤1，输入点云模型数据集，采集数据；
步骤2，采用基于Self-Attention自注意力机制的方法和多层感知机MLP相结合得到长距离依赖关系提取网络，用所述长距离依赖关系提取网络将输入的点云映射为全局特征向量，再采用拓扑根树结构的解码器生成不完整点云的缺失部分；
步骤3，将不完整点云及生成的缺失部分点云合成到一起，得到最终修复后的完整点云模型。


2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：
步骤1-1，设定输入单个三维点云模型s，预设定5个视点，分别为(1，0，0)、(0，0，1)、(1，0，1)、(-1，0，0)、(-1，1，0)；
步骤1-2，随机选择一个视点作为中心点p，并且预设定一个半径r；
步骤1-3，对于三维点云模型s，以随机选择的视点p为中心，去除在预设定半径r范围内的点，得到不完整的点云模型；被去除的点的集合则是与不完整点云模型对应的缺失部分点云。


3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：
步骤2-1，将输入的三维点云模型数据集S＝{STrain，STest}划分为训练集STrain＝{s1，s2，...si，...，sn}和测试集STest＝{sn+1，sn+2，...，sn+j，...，sn+m}，其中si表示训练集中第i个三维点云模型，sn+j表示测试集中第j个三维点云模型；i取值为1～n，j取值为1～m；
步骤2-2，对于训练集STrain，采集其中每个三维点云模型在随机视点下的不完整点云模型PTrain＝{p1，p2，...pi，...，pn}以及对应的缺失部分点云模型GTrain＝{g1，g2，..gi，...，gn}作为整个网络的输入进行训练，得到训练好的长距离依赖关系提取网络和拓扑根树结构的解码器，其中pi指的是训练集STrain中的第i个三维点云模型si对应的不完整点云模型，gi指的是训练集STrain中的第i个三维点云模型si对应的缺失部分点云模型；
步骤2-3，对于测试集STest，采集其每个三维点云模型在随机视点下的不完整点云模型PTest＝{pn+1，pn+2，...，pn+j，...，pn+m}并输入到训练好的网络中，得到不完整点云输入模型对应的缺失部分点云，其中pn+j指的是测试集STest中的第j个三维点云模型sn+j对应的不完整点云模型。


4.根据权利要求3所述的方法，其特征在于，步骤2-2包括如下步骤：
步骤2-2-1，将训练集STrain中不完整点云PTrain作为输入，并用相对应的缺失部分点云GTrain做监督训练，经过第一阶段共享多层感知机的正向传播后，不完整点云中的每个点都被映射为256维的特征向量，其中第一阶段多层共享感知机由两层共享全连接网络组成，第一层将每个点映射为128维特征向量，第二层将每个点映射为256维特征向量，整个输入点云被映射为维度为2048×256的矩阵；
步骤2-2-2，设步骤2-2-1得到的2048×256维矩阵为x＝(x1，x2，x3，...，xi)，它将作为自注意力模块的输入，其中xi为输入点云中一个点对应的特征向量；通过两个1×1卷积网络将x映射到两个特征空间Q和K以计算输入点云的注意力得分，分别通过函数h(x)和v(x)得到，其中Q＝(h(x1)，h(x2)，h(x3)，...h(xi))＝((whx1，whx2，whx3，...whxi)，K＝(v(x1)，v(x2)，v(x3)，...v(xi))＝(wvx1，wvx2，wvx3，...wvxi)，wh和wv是需要进行学习的权重矩阵，分别对应h(x)和v(x)，由1×1卷积实现，wh和wv的维度都为32×256；Q是维度为2048×32的查询矩阵，表示输入点云的点数为2048，每个点用3...

【专利技术属性】
技术研发人员：朱佩浪，张岩，刘琨，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32