本发明专利技术公开了一种基于渐进式邻居一致性挖掘的图像特征匹配方法，步骤1：将所有特征构建为初始图像特征匹配集S；步骤2：对初始图像特征匹配集S进行剪枝，获得可靠的候选图像特征匹配集和对应的内点权重步骤3：根据候选图像特征匹配集以及对应的内点权重预测对应的本质矩阵步骤4：根据本质矩阵得到所有输入的初始图像特征匹配的内点概率w，最后，估计两张匹配图像的本质矩阵以及正确匹配内点的概率。本发明专利技术在图像匹配方面获得了显著的性能提升。了显著的性能提升。了显著的性能提升。
【技术实现步骤摘要】
一种基于渐进式邻居一致性挖掘的图像匹配方法
[0001]本专利技术属于本专利技术属于深度学习和计算机视觉
，特别是涉及一种图像匹配方法。
技术介绍
[0002]图像特征匹配旨在获得给定的两幅匹配图像特征点集之间准确的对应关系，并恢复相应的相机姿态。作为底层视觉通往高层视觉的纽带，图像特征匹配技术在许多视觉领域有着广泛应用，例如图像拼接、图像检索、三维重建和同步定位与建图等。图像特征匹配本质上是特征点集配对的过程，它是一个复杂的NPC组合优化问题，计算复杂度比较高。而且由于匹配的图像之间通常会存在视角和光照变化、重复结构、遮挡和模糊等问题，错误的特征匹配(离群点)会导致图像特征匹配方法的性能大幅下降，严重阻碍了后续应用的实施。因此，研究一个鲁棒性更强、精度更高，速度更快的图像特征匹配方法有着十分重要的意义。
[0003]大部分图像特征匹配算法的基本框架都由以下三个步骤构成：特征点提取、特征点描述和特征匹配。特征点提取用于获得图像中可匹配的区域，而点特征是其中最广泛且最稳定的特征。图像点特征通常是从图像局部区域提取的具有显著结构信息或区分能力强的关键点，包括角点、线段的端点、直线的交点、形态区域中心点等。特征点检测算子是提取图像特征点最常使用的方法。特征点描述是利用特征点周围的局部区域通常具有可区分能力更高的信息来表征特征点，其更有利于后续建立准确的匹配关系。在得到特征点和对应的特征描述子后，根据特征描述子的相似性准则能够建立初略的匹配关系。并可以使用匹配剪枝来进一步选择更准确的匹配，用于估计更准确的相机姿态。其中匹配剪枝方法作为一个后处理步骤在提升图像特征匹配性能方面起重要作用。
[0004]随着深度学习技术的发展，一些研究者使用基于学习的方法去替换图像特征匹配算法中的一步或多步。通过深度神经网络强大的特征表示能力去辨别特征匹配的正确性获得了广泛的关注。然而如何设计有效的网络模块去探索特征匹配上下文信息用于匹配剪枝仍然有待研究。
技术实现思路
[0005]针对现有技术对图像特征匹配的缺陷与不足，本专利技术提出了一种基于渐进式邻居一致性挖掘的图像特征匹配方法，将特征提取方法建立的初始特征匹配作为输入，通过挖掘三种不同类型邻居的一致性信息以及使用一系列精心设计的网络结构来获得具有更强表示能力的特征用于神经网络的学习，最后估计两张匹配图像的本质矩阵以及作为正确匹配的概率。
[0006]本专利技术利用以下技术方案实现：
[0007]一种基于渐进式邻居一致性挖掘的图像匹配方法，该方法包括以下步骤：
[0008]步骤1：采用特征提取算法对给定的匹配图像对I和I'进行特征提取，每个图像特
征由关键点坐标和对应的描述子来表示，将所有特征构建为初始图像特征匹配集S：
[0009][0010]其中，s
i
表示第i个初始特征匹配，N表示匹配的总数，(u
i
,v
i
)和(u'
i
,v'
i
)分别表示s
i
在图像对I和I'的归一化坐标；
[0011]步骤2：依据邻居一致性挖掘网络学习到的内点概率对初始图像特征匹配集S进行剪枝，获得候选图像特征匹配集和对应的内点权重
[0012]步骤3：根据步骤2得到的候选图像特征匹配集以及对应的内点权重，预测对应的本质矩阵，如下式所示：
[0013][0014]其中，we()表示加权八点算法，表示根据预测的本质矩阵；
[0015]步骤4：根据步骤3得到的本质矩阵，求得所有输入的初始图像特征匹配的内点概率w，如下式所示：
[0016][0017]其中，v()表示全尺寸验证操作，；
[0018]最后，估计两张匹配图像的本质矩阵以及输出正确匹配内点的概率。
[0019]相比于现有的方法，本专利技术能够获得更可靠的候选匹配集，并估计更精确的图像特征匹配结果和相机姿态，在图像匹配方面获得了显著的性能提升。
附图说明
[0020]图1为本专利技术的一种基于渐进式邻居一致性挖掘的图像匹配方法流程图，(a)该方法整体流程图，(b)剪枝流程图；
[0021]图2为邻居一致性挖掘网络模型示意图；
[0022]图3为本专利技术提出的和交叉上下文交互层的结构图，(a)自我上下文提取层(SCE层)，(b)交叉上下文交互层(CCI层)；
[0023]图4为本专利技术对实际的图像匹配效果示意图。
具体实施方式
[0024]以下结合附图对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。
[0025]如图1所示，为本专利技术的一种基于渐进式邻居一致性挖掘的图像特征匹配方法，具体包括以下步骤：
[0026]步骤1：采用特征提取算法对给定的匹配图像对I和I'进行图像特征提取，每个图像特征由关键点坐标和对应的描述子来表示，将所有特征构建为初始图像特征匹配集S：
[0027][0028]其中，s
i
表示第i对匹配，N表示匹配的总数，(u
i
,v
i
)和(u'
i
,v'
i
)分别表示s
i
在图像对I和I'的归一化坐标；
[0029]步骤2：依据邻居一致性挖掘网络学习到的内点概率对初始图像特征匹配集S进行
剪枝，获得可靠的候选图像特征匹配集；具体操作如下：
[0030]步骤2
‑
1：将初始图像特征匹配集S经3个残差块(ResNet)处理得到中间特征映射集其中d表示通道维度，N表示匹配的总数，得到三种类型的邻居空间；其中，所述坐标空间为初始特征匹配所述特征空间为中间特征映射所述特征空间为中间特征映射所述全局图空间用于在全局层面上反映内点的一致性；
[0031]步骤2
‑
2：计算所述全局图空间，过程如下：
[0032]根据中间特征映射F去计算初步内点权重w
p
＝ReLU(tanh(MLP((F)))，其中MLP()表示多层感知器层，用来降低通道维度到1，tanh()和ReLU()表示激活函数；
[0033]构建一个加权的全局图其中，表示所有图像特征匹配节点，ε
g
表示无向边，通过对应的权重实现每两个图像特征匹配连接,其中、分别表示第i个和第j个图像特征匹配的初步内点权重，表示其连接边的权重，得到一个邻接矩阵去显式地描述图像特征匹配间的长范围依赖；
[0034]使用谱图卷积操作获得全局图空间F
g
，如下式所示：
[0035][0036]其中，表示图拉普拉斯矩阵，F表示中间特征映射，表示带有自连接的邻接矩阵，I
N
表示对角单位矩阵，A表示邻接矩阵，表示对角度矩阵，W
g
表示可训练的权重；
[0037]步骤2
‑
3：基于步骤2
‑
1本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于渐进式邻居一致性挖掘的图像匹配方法，其特征在于，该方法包括以下步骤：步骤1：采用特征提取算法对给定的匹配图像对I和I'进行特征提取，每个图像特征由关键点坐标和对应的描述子来表示，将所有特征构建为初始图像特征匹配集S：其中，s
i
表示第i对匹配，N表示匹配的总数，(u
i
,v
i
)和(u'
i
,v'
i
)分别表示s
i
在图像对I和I'的归一化坐标；步骤2：依据邻居一致性挖掘网络学习到的内点概率对初始图像特征匹配集S进行剪枝，获得候选图像特征匹配集和对应的内点权重步骤3：根据步骤2得到的候选图像特征匹配集以及对应的内点权重预测对应的本质矩阵如下式所示：其中，we()表示加权八点算法，表示根据预测的本质矩阵；步骤4：根据步骤3得到的本质矩阵求得所有输入的初始图像特征匹配的内点概率w，如下式所示：其中，v()表示全尺寸验证操作；最后，估计两张匹配图像的本质矩阵以及输出正确匹配内点的概率。2.如权利要求1所述的一种基于渐进式邻居一致性挖掘的图像匹配方法，其特征在于，所述步骤2进一步包括以下流程：步骤2
‑
1：将初始图像特征匹配集S经3个残差块处理得到中间特征映射集将初始图像特征匹配集S经3个残差块处理得到中间特征映射集其中d表示通道维度，N表示匹配的总数，得到三种类型的邻居空间；其中，所述坐标空间为初始特征匹配所述特征空间为中间特征映射所述全局图空间用于在全局层面上反映内点的一致性；步骤2
‑
2：计算所述全局图空间，过程如下：根据中间特征映射F去计算初步内点权重w
p
＝ReLU(tanh(MLP((F)))，其中MLP()表示多层感知器层，tanh()和ReLU()表示激活函数；构建一个加权的全局图其中，表示所有图像特征匹配节点，ε
g
表示无向边，通过对应的权重实现每两个图像特征匹配连接，其中其中分别表示第i个和第j个图像特征匹配的初步内点权重，表示其连接边的权重，进一步得到一个邻接矩阵获得全局图空间F
g
，如下式所示：F
g
＝ReLU(LFW
g
)其中，表示图拉普拉斯矩阵，F表示中间特征映射，表示带有自
连接的邻接矩阵，I
N
表示对角单位矩阵，A表示邻接矩...
【专利技术属性】
技术研发人员：杨巨峰，刘鑫，
申请(专利权)人：南开大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。