一种针对噪声关联的图匹配方法组成比例

本发明专利技术提出了一种针对噪声关联的图匹配方法，涉及图像匹配技术领域，包括：初始化在线网络和动量网络的参数，获取在线网络的输入图像和关键点，输入在线网络以得到在线网络的关键点表示，更新动量网络的参数，并输入动量网络以得到动量网络的关键点表示，基于在线网络的关键点表示和动量网络的关键点表示计算得到反向传播损失来优化在线网络，重复迭代至在线网络收敛以得到在线网络的结点表示，通过在线网络的结点表示获取结点间的相似性矩阵，通过匈牙利算法计算相似性矩阵得到关键点匹配矩阵以作为最终匹配结果；本发明专利技术通过计算图匹配的点对齐与边对齐损失，提升了图像匹配模型对现实噪声关联数据的鲁棒性，并显著地提升了图像匹配的精确度。图像匹配的精确度。图像匹配的精确度。

【技术实现步骤摘要】
一种针对噪声关联的图匹配方法


[0001]本专利技术涉及图像匹配
，具体而言，涉及一种针对噪声关联的图匹配方法。

技术介绍

[0002]给定两张图像，图匹配问题旨在通过图像关键点构成的两张图结构，建立正确的关键点对应关系。图匹配具备广泛的应用场景：通过正确建立的不同图像间的关键点对应关系，其可以应用于目标跟踪、三维重建等应用。图匹配方法的核心在于编码图结构，其关键是探索和利用图结构中的双层关系来实现精确的匹配，即节点与节点间的相似度关系和边与边之间的相似度关系。根据编码双层信息的方式，现有的大多数方法可以分为以下两类：一、基于网络设计的方法，通过设计定制化的图匹配网络来隐式地聚合信息；二、基于目标函数设计的方法，通过不同的可微匹配损失或优化策略显式地学习双层信息。
[0003]目前图匹配广泛应用于各种视觉应用中，如三维重建、目标跟踪、人脸识别等。在三维重建中，通过图匹配方法构建的特征点对应关系，我们可以估计不同的图像间相机姿势差异，从而拼接与融合不同视角的图像来构建三维场景。尽管图匹配在这些领域取得了很好的性能，但目前的图匹配技术高度依赖于完美标注的对齐关系。现有的图匹配方法均需要通过精准对齐的关键点来指导训练，但是实际真实数据中关键点的标注异常困难。真实情况下往往图像的能见度差、图像间的视角差异大、以及存在关键点被遮挡等问题，人为标注的关键点通常不够精准，甚至存在错误。错误标注的关键点则会产生错误的匹配关系，称之为“噪声关联”，该问题阻碍了现有的图匹配方法的正常训练，最终导致次优和错误的匹配结果。目前所有的图匹配方法都忽视了噪声关联对网络训练的影响，难以取得最优的关键点匹配性能。同时噪声关联问题不可避免：由于特征点标注任务的繁杂(关键点多、图像能见度差等)，人为标注大量精准的特征点关联任务艰巨且不现实。
[0004]基于此，本申请提出一种针对噪声关联的图匹配方法来解决上述问题。

技术实现思路

[0005]本专利技术的目的在于提供一种针对噪声关联的图匹配方法，其能够提升图像匹配模型对现实噪声关联数据的鲁棒性，并显著地提升图像匹配的精确度。
[0006]本专利技术的技术方案为：
[0007]第一方面，本申请提供一种针对噪声关联的图匹配方法，其包括以下步骤：
[0008]S1、初始化在线网络和动量网络的参数，获取在线网络的输入图像和关键点；其中，上述在线网络和上述动量网络均由VGG16图像编码器、SplineCNN图网络编码器和全连接层构成；
[0009]S2、将输入图像和关键点输入在线网络以得到在线网络的关键点表示；
[0010]S3、基于在线网络的参数更新动量网络的参数；
[0011]S4、将动量网络的参数输入动量网络以得到动量网络的关键点表示；
[0012]S5、基于在线网络的关键点表示和动量网络的关键点表示计算得到反向传播损
失，通过反向传播损失优化在线网络；
[0013]S6、重复步骤S2
‑
S5至在线网络收敛以得到在线网络的结点表示，通过在线网络的结点表示获取结点间的相似性矩阵；
[0014]S7、通过匈牙利算法计算相似性矩阵得到关键点匹配矩阵以作为匹配结果。
[0015]进一步地，步骤S2包括：
[0016]S21、将在线网络的输入图像和关键点输入在线网络的VGG16图像编码器中以获取初始结点特征；
[0017]S22、基于关键点通过三角剖分算法构建图的边结构，将图的边结构和初始结点特征输入在线网络的SplineCNN图网络编码器进行优化以得到更新后的结点特征；
[0018]S23、将更新后的结点特征输入在线网络的全连接层中以得到最终结点特征作为在线网络的关键点表示。
[0019]进一步地，步骤S21中，上述将在线网络的输入图像和关键点输入在线网络的VGG16图像编码器中以获取初始结点特征的公式为：
[0020][0021]其中，I
A
、I
B
表示待匹配的两张输入图像，表示在线网络f的图像编码器，P
A
、P
B
表示关键点坐标，Interp表示双线性插值算法，U
A
、U
B
表示初始结点特征。
[0022]进一步地，步骤S22中，上述将图的边结构和初始结点特征输入在线网络的SplineCNN图网络编码器进行优化以得到更新后的结点特征的公式为：
[0023][0024]其中，表示更新后的结点特征，f
splineCNN
表示在线网络f的图网络编码器，E
A
、E
B
表示图的边结构，U
A
、U
B
表示初始结点特征。
[0025]进一步地，步骤S23中，上述将更新后的结点特征输入在线网络的全连接层中以得到最终结点特征的公式为：
[0026][0027]其中，表示更新后的结点特征，f
MLP
表示在线网络f的全连接层，V
A
、V
B
表示最终结点特征。
[0028]进一步地，步骤S3中，上述基于在线网络的参数更新动量网络的参数的公式为：
[0029]θ
g
←
tθ
g
+(1
‑
t)θ
f
，
[0030]其中，θ
g
表示动量网络的参数，θ
f
表示在线网络的参数，t表示更新比例。
[0031]进一步地，步骤S5中，计算上述反向传播损失的过程包括计算点对齐损失和边对齐损失，其中，计算上述点对齐损失的公式为：
[0032][0033][0034]其中，表示点对齐损失，表示矩阵行级别的交叉熵损失，I
n
表示单位矩阵，ρ表示行级别的Softmax激活函数，α表示固定参数，[
·
]i
表示矩阵的第i行，[
·
]j
表示矩阵的
第j行，V
A
、V
B
表示关键点表示，表示动量网络得到的关键点表示，T表示矩阵的转置，τ表示Softmax温度系数，n为正整数，exp表示指数函数；
[0035]计算上述边对齐损失的公式为：
[0036][0037][0038]其中，表示边对齐损失，表示矩阵点积，W表示衡量每条边置信度的矩阵，T表示矩阵的转置，V
A
、V
B
表示关键点表示，表示动量网络得到的关键点表示，表示向量外积，i、j表示矩阵的行数，[
·
]ij
表示矩阵第i行第j列的元素，S为替换参数，F表示矩阵的Frobenius范数；
[0039]计算上述反向传播损失的公式为：
[0040][0041]其中，表示反向传播损失值，表示点对齐损失，表示边对齐损失。
[0042]进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对噪声关联的图匹配方法，其特征在于，包括以下步骤：S1、初始化在线网络和动量网络的参数，获取在线网络的输入图像和关键点；其中，所述在线网络和所述动量网络均由VGG16图像编码器、SplineCNN图网络编码器和全连接层构成；S2、将输入图像和关键点输入在线网络以得到在线网络的关键点表示；S3、基于在线网络的参数更新动量网络的参数；S4、将动量网络的参数输入动量网络以得到动量网络的关键点表示；S5、基于在线网络的关键点表示和动量网络的关键点表示计算得到反向传播损失，通过反向传播损失优化在线网络；S6、重复步骤S2
‑
S5至在线网络收敛以得到在线网络的结点表示，通过在线网络的结点表示获取结点间的相似性矩阵；S7、通过匈牙利算法计算相似性矩阵得到关键点匹配矩阵以作为匹配结果。2.如权利要求1所述的一种针对噪声关联的图匹配方法，其特征在于，步骤S2包括：S21、将在线网络的输入图像和关键点输入在线网络的VGG16图像编码器中以获取初始结点特征；S22、基于关键点通过三角剖分算法构建图的边结构，将图的边结构和初始结点特征输入在线网络的SplineCNN图网络编码器进行优化以得到更新后的结点特征；S23、将更新后的结点特征输入在线网络的全连接层中以得到最终结点特征作为在线网络的关键点表示。3.如权利要求2所述的一种针对噪声关联的图匹配方法，其特征在于，步骤S21中，所述将在线网络的输入图像和关键点输入在线网络的VGG16图像编码器中以获取初始结点特征的公式为：其中，I
A
、I
B
表示待匹配的两张输入图像，表示在线网络f的图像编码器，P
A
、P
B
表示关键点坐标，Interp表示双线性插值算法，U
A
、U
B
表示初始结点特征。4.如权利要求2所述的一种针对噪声关联的图匹配方法，其特征在于，步骤S22中，所述将图的边结构和初始结点特征输入在线网络的SplineCNN图网络编码器进行优化以得到更新后的结点特征的公式为：其中，表示更新后的结点特征，f
SplineCNN
表示在线网络f的图网络编码器，E
A
、E
B
表示图的边结构，U
A
、U
B
表示初始结点特征。5.如权利要求2所述的一种针对噪声关联的图匹配方法，其特征在于，步骤S23中，所述将更新后的结点特征输入在线网络的全连接层中以得到最终结点特征的公式为：其中，表示更新后的结点特征，f
MLP
表示在线网络f的全连接层，V
A
、V
B

【专利技术属性】
技术研发人员：彭玺，林义杰，杨谋星，
申请(专利权)人：四川大学，
类型：发明
国别省市：