一种基于全局-局部一致性网络的图像特征匹配方法组成比例

本发明专利技术涉及一种基于全局

【技术实现步骤摘要】
一种基于全局
‑
局部一致性网络的图像特征匹配方法


[0001]本专利技术涉及遥感图像处理
，特别是指一种基于全局
‑
局部一致性网络的图像特征匹配方法。

技术介绍

[0002]特征匹配是遥感和摄影测量的基本任务之一，其重点在于识别具有重叠区域的两个场景之间的依赖对应关系。作为一种重要的图像匹配工具，特征匹配在图像配准与融合、三维重建、基于内容的图像检索、全景图像拼接、目标识别与跟踪、同时定位与映射(SLAM)中起着至关重要的作用。
[0003]匹配问题通常以两步的方式解决，即首先构建一个假定匹配的集合，然后从其中去除误匹配。很多时候，假定匹配集合是通过简单地挑选出具有足够相似特征描述符(例如，尺度不变特征变换，SIFT)的点对来形成的。然而，由于局部描述符的模糊性(尤其是当图像存在低质量、遮挡和重复模式时)，假定点集中除了包括大部分的真实匹配(内点)外，还包括一些虚假匹配(冗余点)。因此，设计一个鲁棒的方法来消除冗余点以提高匹配的可靠性是至关重要的。
[0004]尽管误匹配剔除问题在过去的几年里有了长足的发展，但实际应用中仍然需要一个准确、稳健、高效的算法，其中的挑战主要存在于以下三个方面。首先，一个图像对之间的几何变换通常是事先未知的，因此迫切需要一种能够处理各种变换的通用算法。其次，实际计算机视觉任务中的特征匹配问题通常受到物体变形、低质量成像、重复结构等因素的影响，导致出现大量的误匹配，从而增加了建立准确对应关系的难度。第三，实际应用中的图像配准通常不是简单的参数化变换模型，而是复杂的非刚性模型，容易造成计算负担过重，匹配效果不佳。
[0005]综上，如何在有大量误匹配的前提下，设计一种处理各种变换(刚性和非刚性)且效率高，能够在实时场景中应用的通用算法，是本领域技术人员亟需解决的问题。

技术实现思路

[0006]针对现有的图像特征匹配方法的缺点，本专利技术提出一种基于全局
‑
局部一致性网络的图像特征匹配方法，该算法能够从假定的特征对应集中去除误匹配，且不依赖于任何预定义的转换模型。
[0007]本专利技术的技术方案提供一种基于全局
‑
局部一致性网络的图像特征匹配方法，包括以下步骤：
[0008]步骤1，利用特征点提取算法获得图像之间的假定匹配点集；
[0009]步骤2，对SIFT生成的假定匹配点集，计算点集之间的向量长度和角度，并生成一个三维的运动向量分布图；
[0010]步骤3，利用全局变换一致性模块对步骤2中的运动向量分布图进行粗分类，不仅要剔除冗余点，同时剔除和冗余点黏连的内点，得到纯净的内点集；
[0011]步骤4，利用步骤3中获得的内点集作为假定匹配点集的邻域，为每个特征点构建邻域图；
[0012]步骤5，利用局部邻域一致性模块对步骤4中的邻域图进行相似度评估；
[0013]步骤6，利用步骤5中得到的特征点的相似值分布，获得优化后的对应关系。
[0014]而且，步骤1中，考虑一个图像对，我们可以采用现有的特征检测和描述算法SIFT和最近邻匹配NNDR来获得假定匹配点集。
[0015]而且，步骤2中，生成三维运动向量分布图包括以下步骤：对于n对假定对应点集其中分别表示两个对应特征点的坐标，我们让表示点对之间运动向量的角度，其中为点集S的范围，max(
·
)和min(
·
)分别表示集合中的最大值和最小值，同时表示点对之间运动向量的长度。随后，我们可以将假定匹配点集转换为一个带有噪声的三维的运动向量分布图D＝{(θ,l,p)}，其中p＝{1,2,...,n}。
[0016]而且，步骤3中，利用全局变换一致性模块对步骤2中的运动向量分布图进行粗分类，得到纯净的内点集。对运动向量图中的每个点D
i
，利用KNN来搜寻每个点的k个最近邻得到有向图代表每个点的局部拓扑结构。接下来，我们使用一个共享的多层感知机(MLP)来编码图特征f，并且对每个顶点的图特征进行聚合(选取最大值)操作，得到
[0017][0018]其中，为过滤器的权重，由MLP训练得到，M表示过滤器的个数，m取1—M；ReLU为激活函数。整个MLP共有5个卷积层，我们在每一层所输出的特征空间中重新计算最近邻来更新有向图g(g为g
i
的集合)，使得感受野和三维的运动向量分布图D的直径一样大。
[0019]而且，步骤4中，利用步骤3中获得的内点集作为假定匹配点集的邻域，为每个特征点构建邻域图，具体操作为：对于假定匹配点集Z，我们首先对Z的空间坐标进行归一化处理，得到归一化之后的点集Z
’
：
[0020][0021]随后，利用步骤3中得到的内点集为Z
’
寻找k个最近邻，最后特征点的邻域图表示为：
[0022][0023]其中，t为Z
’
的邻点。
[0024]而且，步骤5中，利用局部邻域一致性模块对步骤4中的邻域图进行相似度评估。局
部邻域一致性模块包含一个编码器模块对邻域图进行编码，得到特征点的邻域表征：
[0025]Γ
i
＝Encoder(G
i
)
[0026]其中，i为特征点的序号，随后，利用注意力机制中的自注意力和交叉注意力对邻域表征进行相似度评估：
[0027][0028]其中，在自注意力机制情况下，Q
i
,K
i
,V
i
的值都为在交叉注意力机制情况下，Q
i
为K
i
,V
i
的值为自注意力机制和交叉注意力机制分别迭代计算4次，表示尺度因子。最后计算两个特征点表征的欧式距离：
[0029][0030]最后选取k条边中的最小距离作为相似值：
[0031][0032]进一步的，步骤6的具体实现方式为：利用步骤1
‑
5的方法评估假定匹配点集的相似度，随后根据相似值的分布情况，剔除相似度低的点集，获得最后的正确的匹配点集。
[0033]相较于现有技术，本专利技术有以下有益效果是：
[0034](1)本专利技术可以有效地过滤掉错误的匹配，并完全保留正确的对应关系，即使是在图像失真和非刚性转换的极端情况下。
[0035](2)本专利技术可以处理各种各样的变换模式(刚性和非刚性)，并且不依赖于任何预定义的变换模型，并且精度远远高于现有的技术。
附图说明
[0036]图1是本专利技术的实施例流程图；
[0037]图2是本专利技术的全局变换一致性模块流程图；
[0038]图3是本专利技术局部邻域一致性模块流程图。
具体实施方式
[0039]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实例对本专利技术进一步说明，并结合附图详述基于全局
‑
局部一致性网络的图像特征匹配方法的具体步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局
‑
局部一致性网络的图像特征匹配方法，其特征在于，包括以下步骤：步骤1，利用特征点提取算法获得图像之间的假定匹配点集；步骤2，对生成的假定匹配点集，计算点集之间的向量长度和角度，并生成一个三维的运动向量分布图D；步骤3，基于全局一致性原理对步骤2中的运动向量分布图进行粗分类，不仅要剔除冗余点，同时剔除和冗余点黏连的内点，得到纯净的内点集；步骤4，利用步骤3中获得的内点集作为假定匹配点集的邻域，为每个特征点构建邻域图G；步骤5，基于局部领域一致性原理对步骤4中的邻域图进行特征点相似度评估；步骤6，利用步骤5中得到的特征点的相似值分布，获得优化后的对应关系。2.根据权利要求1所述的一种基于全局
‑
局部一致性网络的图像特征匹配方法，其特征在于：步骤1中，考虑一个图像对，参考图像和感知图像，采用现有的特征检测和描述算法SIFT和最近邻匹配NNDR来获得假定匹配点集。3.根据权利要求1所述的基于全局
‑
局部一致性网络的图像特征匹配方法，其特征在于：步骤2中利用图像之间的全局变换连续性和一致性获得三维运动向量分布图。4.根据权利要求3所述的基于全局
‑
局部一致性网络的图像特征匹配方法，其特征在于：步骤2中生成三维运动向量分布图包括以下步骤：包括以下步骤：对于n对假定对应点集其中分别表示两个对应特征点的坐标，我们让表示点对之间运动向量的角度，其中为点集S的范围，max(
·
)和min(
·
)分别表示集合中的最大值和最小值，同时表示点对之间运动向量的长度。随后，我们可以将假定匹配点集转换为一个带有噪声的三维的运动向量分布图D＝{(θ,l,p)}，其中p＝{1,2,...,n}。5.根据权利要求1所述的基于全局
‑
局部一致性网络的图像特征匹配方法，其特征在于：步骤3中，利用全局变换一致性模块对步骤2中的运动向量分布图进行粗分类，得到纯净的内点集；全局变换一致性模块具体细节如下，对步骤2中获得的三维的运动向量分布图D中的每个点D
i
，利用KNN来搜寻每个点的k个最近邻得到有向图...

【专利技术属性】
技术研发人员：张洪艳，刘宇雁，
申请(专利权)人：武汉大学，
类型：发明
国别省市：