图像局部特征匹配方法及系统技术方案

本发明专利技术公开了一种图像局部特征匹配方法及系统，所述方法包括：将两张待匹配图像输入尺度等变主干网络中，提取粗粒度特征图和细粒度特征图；将两张待匹配图像的粗粒度特征图分别送入信息融合模块处理；利用可微匹配层进行特征匹配，得到置信矩阵，从而得到粗匹配；对于每个粗匹配，在对应的细粒度特征图的区域进行细匹配，得到最终匹配预测。本发明专利技术通过将尺度等变卷积引入到了目前无检测器的图像匹配框架中，解决了在图像存在大尺度变化时图像匹配困难的问题，具有更佳的匹配能力和匹配精准度，并且在匹配图像具有较大尺度变化时效果显著。著。著。

【技术实现步骤摘要】
图像局部特征匹配方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及到一种图像局部特征匹配方法及系统。

技术介绍

[0002]许多基本的计算机视觉任务，如Structure From Motion(SfM)、Simultaneous localization and mapping(SLAM)、相对姿态估计和视觉定位等，都是以匹配同一场景下的两个或多个视图为中心。图像匹配任务旨在将两幅图像中具有相同/相似属性的内容或结构进行像素上的识别与对齐。
[0003]现有的图像匹配方法可以分为三种类型：Detect then Describe框架、Describe to Detect框架以及Detect Free框架。Detect then Describe框架首先检测图像关键点，然后在关键点周围生成patch，并将patch送入特征提取网络提取特征；Describe to Detect框架则首先使用CNN提取密集的描述符，然后基于该描述符的可分辨性来确定该描述符是否作为关键点的可能性；Detector free框架不需要检测图像的关键点，使用CNN或Transformer提取不同层次的特征图，然后根据粗粒度的特征图进行粗级别的匹配，最后在粗略匹配的基础上根据细粒度的特征图进行细化匹配。这种方法由于直接计算待匹配图像特征图之间全部特征向量的相似度，所以可以产生可重复的密集匹配，更有利于在低纹理区域以及重复图案产生对应关系。目前来看，这种无检测器方法在大多数情况下优于基于检测器的方法。
[0004]然而，在图像匹配任务中，许多场景中需要匹配的两幅图像都有一些尺度变化。这种尺度变化是物体与摄像机之间距离变化的自然结果。此外，众所周知，CNN提取的特征描述符只是平移等变的，而不是尺度等变的，这意味着CNN缺乏处理尺度变化的专门方法，这也在一定程度上限制了CNN在处理图像方面的性能。因此，在处理有明显尺度变化的图像数据时，CNN往往不能发挥应有的作用。因此，如何提升图像匹配能力和精准度，是一个亟需解决的技术问题。
[0005]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0006]本专利技术的主要目的在于提供一种图像局部特征匹配方法及系统，旨在更好地解决图像匹配的问题，改善具有显著尺度变化的图像匹配模型的性能，具有更佳的匹配能力和匹配精准度，并且在匹配图像具有较大尺度变化时效果显著。
[0007]为实现上述目的，本专利技术提供一种图像局部特征匹配方法，所述方法包括以下步骤：
[0008]将两张待匹配图像输入尺度等变主干网络中，提取粗粒度特征图和细粒度特征图；
[0009]将两张待匹配图像的粗粒度特征图分别送入信息融合模块处理；
[0010]利用可微匹配层进行特征匹配，得到置信矩阵，从而得到粗匹配；
[0011]对于每个粗匹配，在对应的细粒度特征图的区域进行细匹配，得到最终匹配预测。
[0012]可选的，所述方法还包括：基于具有特征金字塔结构的宽残差网络和具有尺度等变性的卷积，建立尺度等变主干网络。
[0013]可选的，提取粗粒度特征图和细粒度特征图，具体包括：使用尺度等变主干网络从两张带匹配图像中提取多层次特征；基于提取的特征，确定粗粒度特征图和细粒度特征图。
[0014]可选的，所述方法还包括：建立包括自我注意力层和交叉注意力层的信息融合模块，所述信息融合模块通过自我注意力层和交叉注意力层对两张待匹配图像的粗粒度特征图进行信息融合传递。
[0015]可选的，所述信息融合模块采用线性transfomer模型；所述线性transfomer模型使用公式sim(Q,K)＝φ(Q)
·
φ(K)
T
来计算参与注意力层计算的向量之间的相似性；其中，Q,K表示参与注意力层计算的向量,sim表示向量之间的相似性，φ＝elu+1表示使用elu函数处理向量的核函数，
●
表示向量的点积运算；T代表转置操作；这个操作代替了传统transfomer模型中Q,K向量乘积后，使用softmax函数进行相似度计算的操作。
[0016]可选的，利用可微匹配层进行特征匹配，得到置信矩阵，从而得到粗匹配，具体包括：计算两张待匹配图像的相似度矩阵，在两个维度上应用softmax，得到软互最近邻匹配的概率矩阵，选择置信度高于阈值的匹配，采用相互最近邻准则过滤离群粗匹配，获得最终预测的粗匹配。
[0017]可选的，所述粗匹配的损失函数为：
[0018][0019]其中，表示使用相互最近邻法则生成的用于监督的真值粗匹配的对应关系，表示粗匹配的匹配结果，表示置信矩阵中位置的数值；该式子即为最小化网格中的负对数似然损失。
[0020]可选的，对于每个粗匹配，在对应的细粒度特征图的区域进行细匹配，得到最终匹配预测，具体包括：对于每个粗匹配，将其定位到细粒度特征图上的对应位置，裁剪两组局部窗口，利用信息融合模块对每个窗口内的裁剪后的特征进行变换，将变换后A图特征的中心位置的向量与B特征向量中所有向量相关，得到热图，计算概率分布的期望，得到最终位置。
[0021]可选的，所述细匹配的损失函数为：
[0022][0023]其中，M
f
表示最终匹配预测；表示最终匹配预测的对应关系；为真值的细匹配对应位置，|| ||2表示l2范数，为对应每个查询点的相应热图的方差，来测量每一对匹配关系的不确定性。
[0024]此外，为了实现上述目的，本专利技术还提供了一种图像局部特征匹配系统，所述系统包括：
[0025]提取模块，用于将两张待匹配图像输入尺度等变主干网络中，提取粗粒度特征图和细粒度特征图；
[0026]融合模块，用于将两张待匹配图像的粗粒度特征图分别送入信息融合模块处理；
[0027]粗匹配模块，用于利用可微匹配层进行特征匹配，得到置信矩阵，从而得到粗匹配；
[0028]细匹配模块，用于对于每个粗匹配，在对应的细粒度特征图的区域进行细匹配，得到最终匹配预测。
[0029]此外，为了实现上述目的，本专利技术还提供了一种图像局部特征匹配设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像局部特征匹配程序，所述图像局部特征匹配程序被所述处理器执行时实现上述的图像局部特征匹配方法的步骤。
[0030]此外，为了实现上述目的，本专利技术还提供了一种存储介质，所述存储介质上存储有图像局部特征匹配程序，所述图像局部特征匹配程序被处理器执行时实现上述的图像局部特征匹配方法的步骤。
[0031]本专利技术实施例提出的一种图像局部特征匹配方法及系统，所述方法包括：将两张待匹配图像输入尺度等变主干网络中，提取粗粒度特征图和细粒度特征图；将两张待匹配图像的粗粒度特征图分别送入信息融合模块处理；利用可微匹配层进行特征匹配，得到置信矩阵，从而得到粗匹配；对于每个粗匹配，在对应的细粒度特征图的区域进行细匹配，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.图像局部特征匹配方法，其特征在于，所述方法包括以下步骤：将两张待匹配图像输入尺度等变主干网络中，提取粗粒度特征图和细粒度特征图；将两张待匹配图像的粗粒度特征图分别送入信息融合模块处理；利用可微匹配层进行特征匹配，得到置信矩阵，从而得到粗匹配；对于每个粗匹配，在对应的细粒度特征图的区域进行细匹配，得到最终匹配预测。2.如权利要求1所述图像局部特征匹配方法，其特征在于，所述方法还包括：基于具有特征金字塔结构的宽残差网络和具有尺度等变性的卷积，建立尺度等变主干网络。3.如权利要求2所述图像局部特征匹配方法，其特征在于，提取粗粒度特征图和细粒度特征图，具体包括：使用尺度等变主干网络从两张带匹配图像中提取多层次特征；基于提取的特征，确定粗粒度特征图和细粒度特征图。4.如权利要求1所述图像局部特征匹配方法，其特征在于，所述方法还包括：建立包括自我注意力层和交叉注意力层的信息融合模块，所述信息融合模块通过自我注意力层和交叉注意力层对两张待匹配图像的粗粒度特征图进行信息融合传递。5.如权利要求4所述图像局部特征匹配方法，其特征在于，所述信息融合模块采用线性transfomer模型；所述线性transfomer模型使用公式sim(Q,K)＝φ(Q)
·
φ(K)
T
来计算参与注意力层计算的向量之间的相似性；其中，Q,K表示参与注意力层计算的向量,sim表示向量之间的相似性，φ＝elu+1表示使用elu函数处理向量的核函数，
·
表示向量的点积运算；T代表转置操作；这个操作代替了传统transfomer模型中Q,K向量乘积后，使用softmax函数进行相似度计算的操作。6.如权利要求1所述图像局部特征匹配方法，其特征在于，利用可微匹配层进行特征匹配，得到置...

【专利技术属性】
技术研发人员：廖赟，段清，刘俊晖，邸一得，周豪，朱开军，
申请(专利权)人：云南览易网络科技有限责任公司，
类型：发明
国别省市：