多头注意力机制特征编码及双重判别解码的点云补全方法技术

本发明专利技术公开了多头注意力机制特征编码及双重判别解码的点云补全方法，其中针对局部特征感知的编码器模块，通过结合多头注意力机制和多层感知机对已有点云进行特征编码，自适应聚合输入点云的相似点特征，提高特征提取过程中对局部特征的感知；由判别器控制的双分支解码器，在局部特征及全局特征解码过程中设置判别器，能够基于输入点云特征分别对生成的骨架点云及细节点云进行判别，保证生成点云符合已有点云的全局特征及细节特征。本发明专利技术通过上述两模块共同作用可有效的增强点云形状补全效果，降低了生成点云的倒角距离损失，提高了生成点云的保真度。成点云的保真度。成点云的保真度。

【技术实现步骤摘要】
多头注意力机制特征编码及双重判别解码的点云补全方法


[0001]本专利技术涉及三维重建
，特别涉及多头注意力机制特征编码及双重判别解码的点云补全方法。

技术介绍

[0002]三维点云是三维场景和物体的直观表示，在各种视觉和机器人任务中有着广泛的应用。但是，由于遮挡和测量缺失等因素，扫描的3D点云通常是不完整的，这影响了实际应用，对不完整的点云进行补全成为了一项重要任务。因此，在硬件条件受限的情况下，基于深度学习的点云修补和补全工作是后续点云相关任务的关键与基础。
[0003]现有的基于深度学习的点云补全网络在点云补全中存在以下问题：
[0004](1)对缺失区域的局部几何特征分析效果不好。
[0005](2)使用注意力机制并未结合三维几何模型的数据特性。
[0006]以上问题的存在制约着三维点云模型的补全精度，不能满足对三维扫描仪获取的物体缺失的表面特征进行补全。
[0007]2021年，腾讯科技(深圳)有限公司的姚永强等人提出了一种点云数据处理方法、装置、计算机设备及存储介质(授权公告号：CN 113327279 B)，通过自相关性权重矩阵对点云坐标特征进行注意力编码，获取点云坐标特征对应的点位自相关性特征，预测待补全空间模型中的缺失部位获取缺失点部位特征，其缺点是，其方法对整体点云的几何特性进行编码，未对待补全模型的缺失区域的几何特征信息进行分析。
[0008]2022年，山东大学的郭亮等人提出了一种基于点云补全的点云配准方法及系统(授权公众号：CN 114004871 B)，通过利用注意机制融合源点云和目标点云的特征，使两个点云的语义信息相互补全，其优点是不需要对原始点云大量删减，且能够补全缺失的点云信息，实现高效、准确的配准。其缺点是，对现有点云的形状信息组合实现点云补全，不涉及对缺失部位局部几何特征的获取与未知形状信息的生成。
[0009]针对上述专利所存在的问题，2020年，清华大学的鲁继文等人提出了一种基于自注意力的多样点云补全方法和装置(申请公告号：CN112614071A)，通过将点云处理成为点代理序列并使用多头自注意力层构建点与点之间的关系，采用编码器解码器来构建点云不同点之间的长程关系实现点云重建，其缺点是通过点代理的方式会导致局部形状信息的感知效果不好。2022年，广东工业大学的高子淇等人提出了一种基于适应性自注意力变换网络的点云补全装置和方法(授权公告号：CN 113486988 B)，通过设计适应性自注意力变换模块对两次采样的空间信息特征进行适应性特征融合，进而对缺失点云进行补全，保证了轻量级的计算量与多重特征融合的有效性，其缺点是直接将用于自然语言处理的注意力变换模块用于点云处理，对于点云模型的补全效果不好。
[0010]综上所述，要提高三维点云待补全模型缺失区域的几何特征的表征、提取及生成补全效果，就必须对点云补全网络模型进行改进。

技术实现思路

[0011]本专利技术的目的是克服现有技术缺陷，提供多头注意力机制特征编码及双重判别解码的点云补全方法，能有效地提高三维待补全模型的缺失区域的补全精度。
[0012]本专利技术的目的是这样实现的：一种多头注意力机制特征编码及双重判别解码的点云补全方法，包括以下步骤：
[0013]步骤1)获取点云数据；
[0014]步骤2)基于多头注意力机制的局部特征编码；
[0015]步骤2
‑
1)基于多层感知机获取点云特征；
[0016]步骤2
‑
2)基于多头注意力机制构建局部特征隐式模型；
[0017]步骤3)基于双重判别器的缺失几何特征解码；
[0018]步骤4)融合生成点云与已有点云。
[0019]作为本专利技术的进一步限定，所述步骤1)具体包括：通过三维扫描仪获取点云数据；对于每个三维点云模型，随机选取视点，并选取一个视点作为球心，删除球面上以R为半径的所有点，剩下的点视为缺失点云作为网络输入，以删除的点云作为真实点云，其中，网络输入为一组点云数据
[0020]作为本专利技术的进一步限定，所述步骤2
‑
1)具体包括：输入步骤1)给定的一组点云数据其中N表示笛卡尔空间坐标系坐标系中进行MLP操作将无序点云数据转换成矩阵信息F1，其中F1的大小为n
×
a。
[0021]作为本专利技术的进一步限定，所述步骤2
‑
2)具体包括：首先，接收已获取的特征F1并设置对最远距离点采样算法的下采样比d，获取大小为(n/d)
×
a的下采样点云特征矩阵F2，然后，利用残差形式的多头交叉注意力机制学习特征F2，获取对应特征F3：
[0022]F3＝f(F2+MultHead(F2,K,V))
[0023]其中：f表示求和并使用LayerNorm做归一化处理，F2表示输入的特征，MultHead(F2,K,V)＝Cat(head1,head2,
…
,head
n
)W
O
，特征F3的大小为(n/d)
×
2a；
[0024]通过前馈网络FFN进一步更新特征F3：
[0025]F4＝cat(F3+FFN(F2),F2)
[0026]其中，cat()表示通过torch.nn.cat函数进行连接操作；最后，将特征F4通过多层感知器MLP及最大池化Maxpooling获取最终的特征F5。
[0027]作为本专利技术的进一步限定，所述步骤3)包括：
[0028]步骤3
‑
1)基于编码器获取特征解码获取骨架点云特征；
[0029]步骤3
‑
2)基于判别器确定生成的骨架点云；
[0030]步骤3
‑
3)基于骨架点云特征细化生成细节点云特征；
[0031]步骤3
‑
4)融合骨架点云及细化点云并进行二次判别，获取最终生成点云。
[0032]作为本专利技术的进一步限定，步骤3
‑
2)所述判别器的损失几何特征解码损失包含d
CD1
和d
CD2
，并使用超参数β加权：
[0033]L＝d
CD1
(U1,U'1)+βd
CD2
(U2,U'2)
[0034]其中：U1为精密点云，U2为骨架点云，U'1和U'2分别表示对应的真实点云，d
CD
表示倒角距离损失：
[0035][0036]本专利技术采用以上技术方案，与现有技术相比，有益效果为：在编码器方面，所采用的基于多头注意力机制的局部特征编码器对已有点云进行特征编码，通过多头注意力机制提高多层感知机在特征提取过程中自适应聚合相似点特征，能够提高对特征局部特征的感知；在解码器方面，在局部特征及全局特征解码过程中设置判别器，能够基于输入点云特征分别对生成的骨架点云及细节点云进行判别，保证生成点云符合已有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多头注意力机制特征编码及双重判别解码的点云补全方法，其特征在于，包括以下步骤：步骤1)获取点云数据；步骤2)基于多头注意力机制的局部特征编码；步骤2
‑
1)基于多层感知机获取点云特征；步骤2
‑
2)基于多头注意力机制构建局部特征隐式模型；步骤3)基于双重判别器的缺失几何特征解码；步骤4)融合生成点云与已有点云。2.根据权利要求1所述的多头注意力机制特征编码及双重判别解码的点云补全方法，其特征在于，所述步骤1)具体包括：通过三维扫描仪获取点云数据；对于每个三维点云模型，随机选取视点，并选取一个视点作为球心，删除球面上以R为半径的所有点，剩下的点视为缺失点云作为网络输入，以删除的点云作为真实点云，其中，网络输入为一组点云数据为缺失点云作为网络输入，以删除的点云作为真实点云，其中，网络输入为一组点云数据3.根据权利要求2所述的多头注意力机制特征编码及双重判别解码的点云补全方法，其特征在于，所述步骤2
‑
1)具体包括：输入步骤1)给定的一组点云数据其中N表示笛卡尔空间坐标系坐标系中进行MLP操作将无序点云数据转换成矩阵信息F1，其中F1的大小为n
×
a。4.根据权利要求1所述的多头注意力机制特征编码及双重判别解码的点云补全方法，其特征在于，所述步骤2
‑
2)具体包括：首先，接收已获取的特征F1并设置对最远距离点采样算法的下采样比d，获取大小为(n/d)
×
a的下采样点云特征矩阵F2，然后，利用残差形式的多头交叉注意力机制学习特征F2，获取对应特征F3：F3＝f(F2+MultHead(F2,K,V))其中：f表...

【专利技术属性】
技术研发人员：孙进，马昊天，雷震霆，梁立，
申请(专利权)人：扬州大学江都高端装备工程技术研究所，
类型：发明
国别省市：