基于几何特征精炼与对抗生成网络的双管道点云补全方法技术

一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，1、对缺失点云和完整点云分别提取特征；2、根据编码器获得的补丁特征，获取完整点云分布和缺失点云分布，让缺失点云分布拟合完整点云分布；3、对点云分布采样后，经过几何特征精炼网络，重建路径得到重构点云，补全路径得到粗补全点云；4、重建路径上，将重构点云作为真实数据输入，引入噪声点通过StyleGan得到生成点云；5、补全路径上，将获得的粗补全点云通过卷积编码器，结合补丁特征和上采样信息，融合得到隐空间编码，通过解码器解码得到精补全点云；6、计算生成点云和精补全点云的余弦距离，赋予不同的权重值，融合得到最后的输出。本发明专利技术能够高效、准确的补全缺失的点云信息。的点云信息。的点云信息。

【技术实现步骤摘要】
基于几何特征精炼与对抗生成网络的双管道点云补全方法


[0001]本专利技术涉及一种基于几何特征精炼与对抗生成网络的双管道点云补全方法。

技术介绍

[0002]点云的数据捕获和表示形式简单，在机器人、自动驾驶、三维建模和制造等领域有着大量的研究。但由于传感器的限制，物体的遮挡和噪声，生成的点云通常是稀疏的、不完整的。点云补全可以从缺失点云出发估算完整点云，从而获得更高质量的点云数据，为分类，分割等下游任务作准备。
[0003]传统的点云补全方法一般基于物体自然结构的先验信息，例如对称性或语义类信息，在先验推断的基础上对原点云进行插值补全。但这类方法只能处理一些缺失率低，结构特征明显的缺失点云，适用性低。深度学习的发展极大地推动了点云补全的能力和泛化性，早期的点云补全(A.Dai,C.Ruizhongtai Qi,and M.Nieβner,“Shape completion using 3d
‑
encoder
‑
predictor cnns and shape synthesis,”in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2017,pp.5868
–
5877)尝试通过体素定位和三维卷积将成熟的方法从2D补全任务迁移到三维点云上，然而计算成本很高。随着PointNet(C.R.Qi,H.Su,K.Mo,and L.J.Guibas,“Pointnet:Deep learning on point sets for 3d classifification and segmentation,”in Proceedings of the IEEE conference on computer vision and pattern recognition,2017,pp.652
–
660)和PointNet++(C.R.Qi,L.Yi,H.Su,and L.J.Guibas,“Pointnet++:Deep hierarchical feature learning on point sets in a metric space,”arXiv preprint arXiv:1706.02413,2017)的巨大成功，三维坐标的直接运用已经成为点云处理的主流，该技术进一步应用于许多点云补全的开创性工作中。目前点云补全的方法大多是采用编解码器的形式。PCN(Wentao Yuan,Tejas Khot,David Held,Christoph Mertz,and Martial Hebert.Pcn:Point completion network.In2018International Conference on 3D Vision(3DV),pages 728
–
737.IEEE,2018)首先从缺失点云中学习到全局特征，然后根据特征信息由粗到细的补全点云。在PCN之后，TopNet(Lyne P Tchapmi,Vineet Kosaraju,Hamid Rezatofifighi,IanReid,and Silvio Savarese.Topnet:Structural point cloud decoder.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pages 383
–
392,2019)提出了一种树状结构的解码器来预测完整形状。然而，现有的基于深度学习的方法仍存在以下问题：
[0004](1)过于关注物体的整体特征而忽略了精细的局部细节；
[0005](2)忽略了人造物体的结构信息；
[0006](3)训练得到的补全点云失去了物体的个体特征，只保留了某类物体的共性特征；
[0007](4)对噪声敏感，鲁棒性差；
[0008](5)缺失相邻点的空间和语义信息。

技术实现思路

[0009]为克服现有技术中的问题，本专利技术的目的是提供一种基于几何特征精炼与对抗生成网络的双管道点云补全方法。其包含一条重建路径与一条补全路径，能够高效、准确的补全缺失的点云信息。
[0010]为实现上述目的，本专利技术采用如下的技术方案：
[0011]一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，包括以下步骤：
[0012]步骤1：对缺失点云和与之对应的完整点云分别提取特征，其中上下双管道架构的编码器共享权重；
[0013]步骤2：根据编码器获得的补丁特征，获取完整点云分布q(φ)和缺失点云分布让缺失点云分布拟合完整点云分布q(φ)，采用KL散度作为损失函数；
[0014]步骤3：对点云分布进行采样后，经过几何特征精炼网络，重建路径得到重构点云，补全路径得到粗补全点云；其中几何特征精炼网络根据编码器得到的信息聚合来自相邻点的局部区域内特征，将新点的生成过程表示为局部区域内特征的上采样加权平均值；几何特征精炼的损失使用单边倒角距离表示；
[0015]步骤4：重建路径上，将重构点云作为真实数据输入，引入噪声点通过StyleGan得到生成点云Y
g
，用双边倒角距离表示重建的精度损失；
[0016]步骤5：补全路径上，将获得的粗补全点云通过一个卷积编码器，结合补丁特征和上采样信息，融合得到隐空间编码，通过解码器解码得到精补全点云Y
v
；
[0017]步骤6：计算生成点云Y
g
和精补全点云Y
v
的余弦距离，根据结果赋予Y
g
与Y
v
不同的权重值，融合得到最后的输出Y
out
。
[0018]作为可选择的实施方式，隐空间编码也能作为StyleGan中权重已知的生成器参数得到生成点云Y
g
，最后计算余弦距离，得到最后的输出Y
out
。
[0019]作为可选择的实施方式，几何特征精炼网络能够获得精细的局部细节和结构特征，并有效结合相邻点之间的空间和语义关系，具体步骤包括：
[0020]步骤1)：初始的编码器，生成点云的全局特征、补丁特征以及补丁中心坐标，经过上样本变压器后，获得一组融合全局结构特征和局部精细特征的特征张量；
[0021]步骤2)：特征张量经过全连接层后，通过自注意力机制去伪存真，获得更高质量的关系数据；
[0022]步骤3)：通过一个上采样变压器，将特征结构补全为一个完整而粗糙的模型。
[0023]本专利技术的创新之处在于，通过几何特征精炼网络，可以精细化地获取点云局部细节和结构化特征。它能够结合输入点云的特征，构建更高质量的模型。
[0024]本专利技术进一步的创新在于，双管道的设计结构也让缺失点云能够在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，其特征在于：包括以下步骤：步骤1：对缺失点云和与之对应的完整点云分别提取特征，其中上下双管道架构的编码器共享权重；步骤2：根据编码器获得的补丁特征，获取完整点云分布q(φ)和缺失点云分布让缺失点云分布拟合完整点云分布q(φ)，采用KL散度作为损失函数；步骤3：对点云分布进行采样后，经过几何特征精炼网络，重建路径得到重构点云，补全路径得到粗补全点云；其中几何特征精炼网络根据编码器得到的信息聚合来自相邻点的局部区域内特征，将新点的生成过程表示为局部区域内特征的上采样加权平均值；几何特征精炼的损失使用单边倒角距离表示；步骤4：重建路径上，将重构点云作为真实数据输入，引入噪声点通过StyleGan得到生成点云Y
g
，用双边倒角距离表示重建的精度损失；步骤5：补全路径上，将获得的粗补全点云通过一个卷积编码器，结合补丁特征和上采样信息，融合得到隐空间编码，通过解码器解码得到精补全点云Y
v
；步骤6：计算生成点云Y
g
和精补全...

【专利技术属性】
技术研发人员：祝继华，史鹏程，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：