基于多重注意力融合网络的部分到部分点云配准方法技术

本发明专利技术提供了基于多重注意力融合网络的部分到部分点云配准方法，通过不同层次的多重注意力融合机制挖掘更深层次的特征，提升网络模型的关键点提取能力，同时依靠重叠概率预测及相似度匹配去除模块，进一步加强网络对非重叠点与噪声点的鲁棒性，最后在公开数据集和真实扫描的数据集上进行测试，证明所提出网络的有效性与泛化能力。有效性与泛化能力。有效性与泛化能力。

【技术实现步骤摘要】
基于多重注意力融合网络的部分到部分点云配准方法


[0001]本专利技术涉及三维点云配准
，尤其涉及基于多重注意力融合网络的部分到部分点云配准方法。

技术介绍

[0002]点云是三维空间中用来描述物体或场景表面的无序点集合，在计算机图形学中具有重要作用，特别是在计算机视觉和机器学习领域，点云处理更是一项基本技术。作为点云数据处理的一个重要环节，刚性点云配准旨在找到能够匹配一对点云的刚性变换。如今，随着机器视觉领域的不断发展，点云配准也具有很多重要应用，如：工件表面缺陷检测、姿态估计、自动驾驶等。由于非重叠点的影响以及较大的初始姿态偏差，如何实现复杂环境下的点云配准已成为推动制造业发展的关键技术。
[0003]当前点云配准技术可分为传统方法与基于深度学习的方法。迭代最近点(ICP)是最具代表性的传统配准算法，通过寻找一个点云的点在另一个点云中最近的点来建立这种对应关系，并利用欧氏距离指标不断迭代优化两个点云之间的空间位置差异，但该方法以及其它基于ICP的变体方法均极易受到初始空间姿态偏差的影响，导致陷入局部极值的恶性循环中。最近几年，随着深度学习广泛应用于图像视觉领域，一些基于迭代学习的深度网络模型也逐渐渗透到三维点云配准任务中。在现有的大多数工作中，基于学习的方法都致力于寻找一个能够表示局部或全局特征的描述符，并依据此描述符进一步感知点对应关系，从而回归两个或多个点云的变换矩阵以获取更完整的三维场景。然而，由于大量非对应噪声点的存在，很多深度学习网络并不能完美适用复杂的工业场景。因此，赋予网络模型在低重叠场景下的特征提取能力，增强噪声鲁棒性及挖掘代表性重叠点的性能已经成为点云配准技术的迫切需求。
[0004]具有非重叠噪声点的残缺点云在配准过程中需要尽可能地感知更全面的点空间结构信息来获取点云的全局特征表征，同时为了确保低重叠场景下的配准精度，必须寻求一种机制剔除非重叠点造成的干扰。但目前的研究更多的集中在如何构造基于学习的特征描述符，而忽略了初始姿态偏差对配准精度所产生的影响。针对非对应噪声点出现的网络敏感问题，大部分方法都是通过选取一定比例的特征关键点来降低产生的影响。但实际上这些方法都没有明确地对非重叠点进行处理，导致网络依赖于理想的超参数，尤其在低重叠场景下的部分点云配准过程中，深度网络模型的表现能力与泛化性能会急剧下降。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术的不足，提供了基于多重注意力融合网络的部分到部分点云配准方法，通过不同层次的多重注意力融合机制挖掘更深层次的特征，提升网络模型的关键点提取能力，同时依靠重叠概率预测及相似度匹配去除模块，进一步加强网络对非重叠点与噪声点的鲁棒性，最后在公开数据集和真实扫描的数据集上进行测试，证明所提出网络的有效性与泛化能力。
[0006]本专利技术提供的技术方案是：基于多重注意力融合网络的部分到部分点云配准方法，包括以下步骤：
[0007]S1：带有邻域信息聚合机制的多头注意力特征提取模块(MHA
‑
NIA模块)；
[0008]提取网络由一个带有残差结构的PointNet编码层、能够结合邻域信息的多头注意力机制和一个多层感知机组成；
[0009]利用辅助学习旋转不变特征的邻域聚合机制，通过两次不断扩大的搜索半径，提供更丰富的上下文信息，增强感受野的同时更好地捕获点云的整体特征，从而保证在不同角度下模型对局部特征的识别能力；
[0010]对于源点云X和目标点云Y，首先通过带有残差连接的PointNet编码网络，将初始三维特征嵌入到高维特征空间中，高维特征和计算过程如下：
[0011][0012][0013]其中，g1(
·
),g2(
·
),g3(
·
),g4(
·
)和g5(
·
)全部表示一维卷积层、batch归一化和LeakyReLU激活函数的组合，表示特征维度连接操作；
[0014]在得到高维特征f
x
和f
y
后，将点云对的邻域上下文信息聚合起来获取更好的空间结构特征，对于原始三维点云，利用最远点采样(FPS)算法，尽可能地扩大搜索范围以增强感受野；
[0015]S2：重叠分数预测模块(OSP模块)；
[0016]预测各个点的重叠分数并进行排序，以便在精配准阶段依据该分数剔除那些无显著特征的非重叠点，通过S1中MHA
‑
NIA特征编码模块，得到两个点云的高维注意力嵌入特征和然后引入ROPNet中的信息交互模块：
[0017][0018][0019]其中，分别为高维嵌入特征的全局池化特征，repeat(
·
)表示重复特征并将其扩大到与F(
·
)相同的维度；
[0020]然后通过多层感知机在混合特征之间进行交互以输出偏移矩阵，再将该偏移矩阵添加到原始高维嵌入特征中得到两个点云中各点的重叠概率因子Overlap_Score(X)和Overlap_Score(Y)，计算过程如下：
[0021][0022][0023]其中，g1(
·
)和g2(
·
)表示带有一维卷积层、batch归一化及ReLU激活函数的多层感知机，重叠概率因子的两个输出维度分别表示为各点本身及其软对应位于两个输入之间的重叠可能性；
[0024]结合全局池化特征输出一个初始的全局回归七元数T0＝{q,t}，计算过程如下：
[0025][0026]由此得到的全局回归七元数Τ0的前四个维度用于表示旋转矩阵R0，后三个维度用于表示平移向量t0，粗配准后的源点云为X
′0＝R0X+t0；
[0027]S3：多重注意力融合模块(MAF模块)；
[0028]通过S2得到的粗配准源点云X
′0，参考RPMNet中的PPF特征实现点特征增强，对于任一搜索点，首先获取预定义半径内的k个最近邻点然后连接空间坐标和点对特征得到混合特征计算过程如下：
[0029][0030]其中，x
c
表示搜索点的三维坐标，Δx
c,i
＝x
i
‑
x
c
表示通过减去搜索中心点坐标而转换为局部帧的相邻点，PPF(x
c
,x
i
)＝(∠(n
c
,Δx
c,i
),∠(n
i
,Δx
c,i
),∠(n
c
,n
i
),||Δx
c,i
||2)表示一个四维点对特征，n
c
和n
i
分别表示x
c
和x
i
的法向量，g(
·
)表示一系列的一维卷积层，最后通过最大池化层聚合相邻点特征，目标点云的点对混合特征计算过程同理；
[0031]得到混合特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多重注意力融合网络的部分到部分点云配准方法，其特征在于，包括以下步骤：网络整体框架：S1：带有邻域信息聚合机制的多头注意力特征提取模块(MHA
‑
NIA模块)；提取网络由一个带有残差结构的PointNet编码层、能够结合邻域信息的多头注意力机制和一个多层感知机组成；利用辅助学习旋转不变特征的邻域聚合机制，通过两次不断扩大的搜索半径，提供更丰富的上下文信息，增强感受野的同时更好地捕获点云的整体特征，从而保证在不同角度下模型对局部特征的识别能力；对于源点云X和目标点云Y，首先通过带有残差连接的PointNet编码网络，将初始三维特征嵌入到高维特征空间中，高维特征和计算过程如下：计算过程如下：其中，g1(
·
),g2(
·
),g3(
·
),g4(
·
)和g5(
·
)全部表示一维卷积层、batch归一化和LeakyReLU激活函数的组合，表示特征维度连接操作；在得到高维特征f
x
和f
y
后，将点云对的邻域上下文信息聚合起来获取更好的空间结构特征，对于原始三维点云，利用最远点采样(FPS)算法，尽可能地扩大搜索范围以增强感受野；S2：重叠分数预测模块(OSP模块)；预测各个点的重叠分数并进行排序，以便在精配准阶段依据该分数剔除那些无显著特征的非重叠点，通过S1中MHA
‑
NIA特征编码模块，得到两个点云的高维注意力嵌入特征和然后引入ROPNet中的信息交互模块：然后引入ROPNet中的信息交互模块：其中，分别为高维嵌入特征的全局池化特征，repeat(
·
)表示重复特征并将其扩大到与F(
·
)相同的维度；然后通过多层感知机在混合特征之间进行交互以输出偏移矩阵，再将该偏移矩阵添加到原始高维嵌入特征中得到两个点云中各点的重叠概率因子Overlap_Score(X)和Overlap_Score(Y)，计算过程如下：Overlap_Score(Y)，计算过程如下：其中，g1(
·
)和g2(
·
)表示带有一维卷积层、batch归一化及ReLU激活函数的多层感知机，重叠概率因子的两个输出维度分别表示为各点本身及其软对应位于两个输入之间的重叠可能性；结合全局池化特征输出一个初始的全局回归七元数T0＝{q,t}，计算过程如下：
由此得到的全局回归七元数Τ0的前四个维度用于表示旋转矩阵R0，后三个维度用于表示平移向量t0，粗配准后的源点云为X
′0＝R0X+t0；S3：多重注意力融合模块(MAF模块)；通过S2得到的粗配准源点云X
′0，参考RPMNet中的PPF特征实现点特征增强，对于任一搜索点，首先获取预定义半径内的k个最近邻点然后连接空间坐标和点对特征得到混合特征计算过程如下：其中，x
c
表示搜索点的三维坐标，Δx
c,i
＝x
i
‑
x
c
表示通过减去搜索中心点坐标而转换为局部帧的相邻点，PPF(x
c
,x
i
)＝(∠(n
c
,Δx
c,i
),∠(n
i
,Δx
c,i
),∠(n
c
,n
i
),||Δx
c,i
||2)表示一个四维点对特征，n
c
和n
i
分别表示x
c
和x
i
的法向量，g(
·
)表示一系列的一维卷积层，最后通过最大池化层聚合相邻点特征，目标点云的点对混合特征计算过程同理；得到混合特征后，引入多种注意力挖掘不同视角下的区域信息，并通过残差连接融合来自多种注意力模块的特征得到多重注意力融合特征；S4：相似度匹配去除模块(SMR模块)；首先计算相似度匹配矩阵H1＝F
MAF
(X0)
·
F
MAF
(Y)，但点云X0可能在点云Y中存在无对应关系的点(即满足)，去除非重叠点，使剩余点满足随后选择源点云X0中重叠概率因子最大的的前N个点作为重叠点并提取其相似度匹配特征获得最终的匹配关键点，计算过程如下：然后计算剔除非重叠点之后的相似度矩阵H2＝F
MAF
(X
ol
)
·
F
MAF
(Y)，从而得到预测出的点对应关系：最终，利用加权SVD算法估计第二阶段的变换R1∈SO(3)，得到最终的变换矩阵R＝R1·
R0，t＝R1·
t0+t1。2.根据权利要求1所述的基于多重注意力融合网络的部分到部分点云配准方法，其特征在于，所述步骤S1中具体包括：包括两次邻居聚合；第一次邻居聚合采用球查询方法对各个搜索点的最远k1个邻点进行采样，并在以搜索点为中心的局部坐标系中提取这些邻点的三维坐标特征，然后通过共享MLP将邻居点嵌入到高维特征空间中，最后利用最大池化层获取搜索点的聚合特征；第二次邻居聚合，首先...

【专利技术属性】
技术研发人员：陈新禹，罗佳辉，任艳，张庆新，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：