基于多重特征匹配的多模态图像特征匹配方法组成比例

本发明专利技术提供一种基于多重特征匹配的多模态图像特征匹配方法，该方法使用数据增强，对不同模态的一组图像进行仿射变换和随机裁剪，生成增强后的图像数据和相应的匹配矩阵GT_Matrix；设计卷积神经网络和特征金字塔提取多尺度的图像特征；设计Transformer网络进一步对1/8尺寸的粗粒度特征进行提取，生成粗粒度的注意力特征；使用双向softmax处理细粒度的注意力特征，生成置信度矩阵，以匹配矩阵GT_Matrix为标签进行粗匹配；设计局部特征窗口，通过Transformer和卷积神经网络特征融合和特征提取，进行精化回归；使用精化回归对粗匹配的预测结果进行再调整，最终实现精确的多模态图像特征匹配。图像特征匹配。图像特征匹配。

【技术实现步骤摘要】
基于多重特征匹配的多模态图像特征匹配方法


[0001]本专利技术属于图像处理
，涉及一种基于多重特征匹配的多模态图像特征匹配方法。

技术介绍

[0002]图像间的局部特征匹配是计算机视觉中的一个关键问题，特别是对于具有不同形态的图像。例如，光学图像、SAR图像、近红外图像、短波红外图像和深度图像是5种典型的模态图像，它们所包含的信息内容可以相互补充。图像分类、图像拼接、图像融合、图像匹配等多模态图像处理任务都是在配准良好的图像上进行的，因此设计一种高效的特征匹配方法是非常重要的。
[0003]特征匹配是多模态图像处理中最重要的任务，许多其他任务都是以特征匹配为基础的。近年来，人们提出了许多特征匹配方法，大致可分为两类：基于检测器的局部特征匹配和无检测器的局部特征匹配。
[0004]基于检测器的局部特征匹配方法减少了匹配的搜索空间，获得了足以满足各种类型任务的稀疏对应关系。基于特征描述符的方法大致可以分为三类，分别是基于区域的特征描述符方法、手工特征描述符方法和基于学习的特征描述符方法。基于区域的特征描述符方法是通过对区域变换后的像素信息和像素强度的相似性度量来实现两幅图像的配准；基于区域的特征描述符方法在图像细节较少的情况下可以获得良好的性能，但在计算复杂度高、图像失真、强度变化大的情况下性能较差。手工特征描述符方法是专家学者利用视觉领域的先进知识，在空间几何约束下推导和设计有效的局部特征描述符，建立可靠的对应关系；对于基于学习的特征描述符方法，通过深度学习技术学习深度特征和非线性表达式，可以发现更多有价值的隐藏信息。在处理多模态图像时，由于多模态图像的成像机制差异较大，且含有大量的几何畸变和散斑噪声，特征检测器可能无法在多模态图像之间提取出足够的特征点，使用特征描述符的方法是两阶段方法，两阶段方法的过程是首先通过关键点检测方法提取关键点，然后基于特征点生成图像补丁，并将图像补丁的正确对应作为模型训练的标签。传统方法要求关键点检测方法先检测关键点，再根据关键点训练特征描述符，误差较大，计算速度较慢。
[0005]无检测器的局部特征匹配方法是一阶段方法，它不需要提取关键点，减少了关键点检测的误差。像素级密集匹配方法从密集匹配中选择可靠性高的匹配。然而，卷积神经网络(CNN)提取的密集特征只有有限的接受域，可能无法区分模糊区域。大量的科学研究证明了大的接受区域在多模态图像的特征匹配中是非常重要的。
[0006]随着深度学习的发展，Transformer已经成为自然语言处理(NLP)中序列建模的新标准。近年来，Transformer逐渐被应用到计算机视觉领域的各种任务中，并取得了良好的效果。考虑到基于描述符的多模态图像特征匹配方法的局限性和Transformer在计算机视觉领域的发展，提出了一种新的基于多重特征匹配的多模态图像特征匹配方法FeMIT。

技术实现思路

[0007]本专利技术实施例的目的在于提供一种基于多重特征匹配的多模态图像特征匹配方法，以更好地解决多模态图像的特征匹配问题，使其具有更佳的匹配能力和匹配精准度，并且在多种不同模态图像之间都具有很强的泛化性。
[0008]本专利技术所采用的技术方案是，一种基于多重特征匹配的多模态图像特征匹配方法包括以下步骤：
[0009]S1：使用数据增强方法，对不同模态的一组图像进行仿射变换和随机裁剪，生成增强后的图像数据和相应的匹配矩阵GT_Matrix；
[0010]S2：设计卷积神经网络和特征金字塔提取多尺度的图像特征，分别为1/8尺寸特征和1/2尺寸特征；
[0011]S3：设计Transformer网络进一步对1/8尺寸的粗粒度特征进行提取，生成粗粒度的注意力特征；
[0012]S4：使用双向softmax函数处理粗粒度的注意力特征，生成置信度矩阵，再以匹配矩阵GT_Matrix为标签进行粗匹配；
[0013]S5：设计局部特征窗口，通过Transformer和卷积神经网络特征融合和特征提取，进行精化回归；
[0014]S6：使用精化回归对粗匹配的预测结果进行再调整，最终实现精确的多模态图像特征匹配。
[0015]进一步的，所述S1中，生成增强后的图像数据和相应的匹配矩阵GT_Matrix，具体如下：
[0016]输入为不同模态的索引图Img
q
和参考图Img
r
，输出分别为原始图像的随机增强图像I
q
、I
r
，以及增强图像I
q
和I
r
之间的补丁级匹配标签GT矩阵；
[0017]对两种不同模态的图像分别进行随机裁剪，如果裁剪后的Img
q
和Img
r
重叠，则重叠部分可以相互转化；I
q
和I
r
的获取方式如下：
[0018]I
q
＝RandomCrop(QM
×
Img
q
)
[0019]I
r
＝RandomCrop(RM
×
Img
r
)
[0020]其中，在图像增强过程中，RM是在索引图Img
q
上的随机仿射矩阵，QM是在参考图Img
r
上的随机仿射矩阵；RandomCrop表示在图像上的随机仿射变换。
[0021]进一步的，所述S1中，生成相应的匹配矩阵GT_Matrix，具体如下：
[0022]将增强图像I
q
划分为N＝W/p
×
H/p网格，其中N为网格数，W和H为图像的高度和宽度，p
×
p为网格单元格大小；对于每个网格单元，定义一个网格单元坐标，其中第n个网格单元坐标计算如下：
[0023][0024]上式中，是I
q
图像的网格单元格坐标，n为网格数，W为图像的高度，p是网格单元格的边长，其中
[0025]将增强图像I
q
中所有网格的中心点作为查询点，其索引点像素坐标定义如下：
[0026][0027]上式中，是I
q
图像的网格单元格坐标，是获取索引点坐标的函数，p是网格单元格的边长；
[0028]将参考图Img
r
中与查询点对应的点定义为参考点，其参考点的像素坐标定义为中与查询点对应的点定义为参考点，其参考点的像素坐标定义为参考点是通过从查询点获得的，使用的是与图像仿射变换相同的矩阵；通过变换从查询点得到参考点，其表达式如下：
[0029][0030]上式中，是索引点像素坐标，是获取参考点坐标的函数；
[0031]获得参考点的像素坐标后，提取参考点的网格单元坐标为：
[0032][0033]上式中，是I
r
图像的网格单元格坐标，是获取网格单元格坐标的函数，[]表示向下取整数；
[0034]I
q...

【技术保护点】

【技术特征摘要】
1.基于多重特征匹配的多模态图像特征匹配方法，其特征在于，包括以下步骤：S1：使用数据增强方法，对不同模态的一组图像进行仿射变换和随机裁剪，生成增强后的图像数据和相应的匹配矩阵GT_Matrix；S2：设计卷积神经网络和特征金字塔提取多尺度的图像特征，分别为1/8尺寸特征和1/2尺寸特征；S3：设计Transformer网络进一步对1/8尺寸的粗粒度特征进行提取，生成粗粒度的注意力特征；S4：使用双向softmax函数处理粗粒度的注意力特征，生成置信度矩阵，再以匹配矩阵GT_Matrix为标签进行粗匹配；S5：设计局部特征窗口，通过Transformer和卷积神经网络特征融合和特征提取，进行精化回归；S6：使用精化回归对粗匹配的预测结果进行再调整，最终实现精确的多模态图像特征匹配。2.根据权利要求1所述的基于多重特征匹配的多模态图像特征匹配方法，其特征在于，所述S1中，生成增强后的图像数据和相应的匹配矩阵GT_Matrix，具体如下：输入为不同模态的索引图Img
q
和参考图Img
r
，输出分别为原始图像的随机增强图像I
q
、I
r
，以及增强图像I
q
和I
r
之间的补丁级匹配标签GT矩阵；对两种不同模态的图像分别进行随机裁剪，如果裁剪后的Img
q
和Img
r
重叠，则重叠部分可以相互转化；I
q
和I
r
的获取方式如下：I
q
＝RandomCrop(QM
×
Img
q
)I
r
＝RandomCrop(RM
×
Img
r
)其中，在图像增强过程中，RM是在索引图Img
q
上的随机仿射矩阵，QM是在参考图Img
r
上的随机仿射矩阵；RandomCrop表示在图像上的随机仿射变换。3.根据权利要求1或2所述的基于多重特征匹配的多模态图像特征匹配方法，其特征在于，所述S1中，生成相应的匹配矩阵GT_Matrix，具体如下：将增强图像I
q
划分为N＝W/p
×
H/p网格，其中N为网格数，W和H为图像的高度和宽度，p
×
p为网格单元格大小；对于每个网格单元，定义一个网格单元坐标，其中第n个网格单元坐标计算如下：上式中，是I
q
图像的网格单元格坐标，n为网格数，W为图像的高度，p是网格单元格的边长，其中n＝0,
…
n；将增强图像I
q
中所有网格的中心点作为查询点，其索引点像素坐标定义如下：上式中，是I
q
图像的网格单元格坐标，是获取索引点坐标的函数，p是网格单元格的边长；
将参考图Img
r
中与查询点对应的点定义为参考点，其参考点的像素坐标定义为中与查询点对应的点定义为参考点，其参考点的像素坐标定义为参考点是通过从查询点获得的，使用的是与图像仿射变换相同的矩阵；通过变换从查询点得到参考点，其表达式如下：上式中，是索引点像素坐标，是获取参考点坐标的函数；获得参考点的像素坐标后，提取参考点的网格单元坐标为：上式中，是I
r
图像的网格单元格坐标，是获取网格单元格坐标的函数，[]表示向下取整数；I
q
的网格单元在I
r
中的映射计算如下：上式中，由于I
r
只与I
q
部分重叠，可能在I
r
图像的内部或外部，如果在I
r
图像中，则：GT矩阵是N
×
N的方阵，GT(i，j)表示GT矩阵第i行第j列的元素，如果GT(i，j)＝1，则表示图像I
q
中的第i个网格单元与图像I
r
中的第j个网格单元匹配。4.根据权利要求1所述的基于多重特征匹配的多模态图像特征匹配方法，其特征在于，所述S2中，设计卷积神经网络和特征金字塔提取多尺度的图像特征，具体如下：网络接受大小为320
×
320
×
3的数据，输出大小为1/8尺寸特征和1/2尺寸特征，1/8尺寸特征是40
×
40
×
512，1/2尺寸特征是160
×
160
×
320，结合带有特征金字塔的卷积神经网络融合低分辨率语义信息和高分辨率空间信息的特征图，增强后的数据通过带有特征金字塔的卷积神经网络生成两组不同尺度的特征。5.根据权利要求1所述的基于多重特征匹配的多模态图像特征匹配方法，其特征在于，所述S3中，设计Transfor...

【专利技术属性】
技术研发人员：廖赟，邸一得，周豪，朱开军，
申请(专利权)人：云南览易网络科技有限责任公司，
类型：发明
国别省市：