一种应用在弱纹理环境的稠密图像匹配方法组成比例

本发明专利技术公开了一种应用在弱纹理环境的稠密图像匹配方法，包括获取弱纹理环境下的图像数据；基于局部提取特征网络对获取的图像数据进行特征提取，得到粗特征图和细特征图；基于线性窗口注意力网络，将全局注意力与最优微匹配层结合对得到的粗特征图进行提取，得到粗特征匹配对；将粗特征匹配对输入基于多头多层感知器构建的细匹配模块，细化得到最终图像数据的匹配点对；最后通过得到的匹配点对进行校正和softmax归一化处理，得到最终的匹配检测结果。本发明专利技术通过局部特征提取网络提取多层次特征图，并利用Transformer网络调整感受野能利用全局的有效信息，解决由于纹理不良、重复模式、视点变化、光照变化和运动模糊等因素导致的匹配的精确度差的问题。的匹配的精确度差的问题。的匹配的精确度差的问题。

【技术实现步骤摘要】
一种应用在弱纹理环境的稠密图像匹配方法


[0001]本专利技术涉及计算机视觉和图像匹配
，特别涉及一种应用在弱纹理环境的稠密图像匹配方法。

技术介绍

[0002]图像间的局部特征匹配是许多三维计算机视觉任务的基础，包括运动结构(SfM)、同步定位与映射(SLAM)、视觉定位等。基于深度学习方法的图像匹配成为当下研究热点之一。采用深度学习方法提取特征的优点主要有：1.由于卷积和池化计算的性质，使得图像中的平移部分对于最后的特征向量没有影响。从这一角度说，提取到的特征不易过拟合；2.与其他方法相比，卷积网络提取出的特征更加稳定，能有效提高匹配准确率；3.可以利用不同卷积、池化和最后输出的特征向量控制整体模型的拟合能力，在过拟合时可以降低特征向量的维数，在欠拟合时可以提高卷积层的输出维数，相比于其他特征提取方法更加灵活。尽管现阶段深度学习方法在许多视觉任务中逐渐取代了传统的基于图像匹配的思路，并取得了突出的成果。但是传统方法和深度学习方法匹配误差会保留在后续处理环节中并逐渐累积从而严重制约最终视觉任务的有效实施，错误的匹配将产生某些精确估计的错误计算，会使得一些视觉任务结果严重偏离于真实情形。因而设计一种高精度和高效率的匹配方法，以满足当前具有实践性或大规模的实际应用需求，是图像匹配后续发展的主要趋势。
[0003]现有技术的不足之处在于，无论传统方法还是深度学习方法匹配误差会保留在后续处理环节中并逐渐累积从而严重制约最终视觉任务的有效实施，错误的匹配将产生某些精确估计的错误计算，会使得一些视觉任务结果严重偏离于真实情形。另外由于纹理不良、重复模式、视点变化、光照变化和运动模糊等因素，特征检测器可能无法提取出足够多的图像之间可重复的兴趣点。在低纹理区域没有可重复的兴趣点，即使有完美的描述，也不可能找到正确的对应。

技术实现思路

[0004]本专利技术的目的克服现有技术存在的不足，为实现以上目的，采用一种应用在弱纹理环境的稠密图像匹配方法，以解决上述
技术介绍
中提出的问题。
[0005]一种应用在弱纹理环境的稠密图像匹配方法，包括以下步骤：
[0006]步骤S1、获取弱纹理环境下的图像数据；
[0007]步骤S2、基于局部提取特征网络对获取的图像数据进行特征提取，得到粗特征图和细特征图；
[0008]步骤S3、基于线性窗口注意力网络，将全局注意力与最优微匹配层结合对得到的粗特征图进行提取，得到粗特征匹配对；
[0009]步骤S4、将粗特征匹配对输入基于多头多层感知器构建的细匹配模块，细化得到最终图像数据的匹配点对；
[0010]步骤S5、最后通过得到的匹配点对进行校正和softmax归一化处理，得到最终的匹
配检测结果。
[0011]作为本专利技术的进一步的方案：所述步骤S2中的具体步骤包括：
[0012]将改进的Resnet
‑
18作为局部特征提取网络，从获取的图像数据中提取两个层次的粗特征图和细特征图；
[0013]其中，粗特征图设定为原始图像尺寸的1/8处的特征图，细特征图设定为原始图像尺寸的1/2处的特征图。
[0014]作为本专利技术的进一步的方案：所述局部特征提取网络由Conv7
×
7、Conv3
×
3，以及Conv1
×
1三种卷积组成。
[0015]作为本专利技术的进一步的方案：所述步骤S3中的具体步骤包括：
[0016]步骤S31、构建基于线性窗口注意力网络，并在Transformer全局范围内进行自我关注，用于后续密集预测的特征匹配任务；
[0017]步骤S32、将局部特征提取网络提取图像数据的特征映射平均划分为互不重叠的窗口并引入特征映射，用于降低计算复杂度和存储量；
[0018]其中，通过移位窗口划分方法构建线性窗口注意力网络块，即LWA块，每个LWA块包含线性窗口注意力网络LWA和线性移位窗口注意力层LSWA，且在LWA块中交替使用。
[0019]作为本专利技术的进一步的方案：所述计算复杂度的具体步骤包括：
[0020]设定x∈R
N
×
C
表示由N个C维特征向量组成的序列，则Transformer的计算复杂度的公式为：
[0021][0022]其中，Q，K，V为N*C矩阵；
[0023]首先是相似度计算QK
T
，得到一个N*N的矩阵，计算复杂度为(N2C)；
[0024]然后对矩阵的每一行执行softmax计算，并计算N行矩阵的复杂度为(N2)；
[0025]最后乘以V矩阵加权，即N*N的矩阵乘以N*C的矩阵，计算复杂度为(N2C)；
[0026]其中，将局部特征提取网络提取图像数据的特征映射均匀地分布到一个不重叠的窗口排列中，并通过控制基于窗口的计算区域；
[0027]定义输入特征图为H
×
W
×
C，设置窗口大小为M，则有窗口，输入序列为N，代入基于Transformer的计算复杂度的公式，得到Q，K，V，分别为M2×
C矩阵；
[0028]根据相似度计算复杂度QK
T
为：
[0029][0030]作为本专利技术的进一步的方案：所述步骤S4中的具体步骤包括：
[0031]基于细粒度的基础上，通过多头多层感知器对得到的粗特征匹配对进行细化；
[0032]对于每一对粗水平粗特征匹配对进行匹配，首先定位粗特征匹配对的位置，然后裁剪两组大小为W
×
W的局部窗口，同时将W
×
W赋予多头多层感知器的细匹配模块，最后得到最终图像数据的匹配点对。
[0033]与现有技术相比，本专利技术存在以下技术效果：
[0034]采用上述的技术方案，通过基于Transformer网络的线性窗口注意力网络得到稠密图像匹配方法，利用局部特征提取网络，从图像中提取两个层次的特征图，并进行粗粒度
和细粒度的基础上的处理和细化，最终得到高准确度的检测匹配结果。解决由于纹理不良、重复模式、视点变化、光照变化和运动模糊等因素，特征检测器可能无法提取出足够多的图像之间可重复的兴趣点，以及在低纹理区域没有可重复的兴趣点，即使有完美的描述，也不可能找到正确的对应的问题。同时很大程度上减少了特征检测估计产生的误差，提取了更精确更具有重复性和可匹配能力的特征，提高了匹配的精确度。
附图说明
[0035]下面结合附图，对本专利技术的具体实施方式进行详细描述：
[0036]图1为本申请公开实施例的稠密图像匹配方法的步骤示意图；
[0037]图2为本申请公开实施例的图像匹配方法的整体网络结构示意图；
[0038]图3为本申请公开实施例的局部特征提取网络的结构示意图；
[0039]图4为本申请公开实施例的LWA块的结构示意图；
[0040]图5为本申请公开实施例的线性窗口注意力网络的结构示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用在弱纹理环境的稠密图像匹配方法，其特征在于，包括以下步骤：步骤S1、获取弱纹理环境下的图像数据；步骤S2、基于局部提取特征网络对获取的图像数据进行特征提取，得到粗特征图和细特征图；步骤S3、基于线性窗口注意力网络，将全局注意力与最优微匹配层结合对得到的粗特征图进行提取，得到粗特征匹配对；步骤S4、将粗特征匹配对输入基于多头多层感知器构建的细匹配模块，细化得到最终图像数据的匹配点对；步骤S5、最后通过得到的匹配点对进行校正和softmax归一化处理，得到最终的匹配检测结果。2.根据权利要求1所述一种应用在弱纹理环境的稠密图像匹配方法，其特征在于，所述步骤S2中的具体步骤包括：将改进的Resnet
‑
18作为局部特征提取网络，从获取的图像数据中提取两个层次的粗特征图和细特征图；其中，粗特征图设定为原始图像尺寸的1/8处的特征图，细特征图设定为原始图像尺寸的1/2处的特征图。3.根据权利要求2所述一种应用在弱纹理环境的稠密图像匹配方法，其特征在于，所述局部特征提取网络由Conv7
×
7、Conv3
×
3，以及Conv1
×
1三种卷积组成。4.根据权利要求1所述一种应用在弱纹理环境的稠密图像匹配方法，其特征在于，所述步骤S3中的具体步骤包括：步骤S31、构建基于线性窗口注意力网络，并在Transformer全局范围内进行自我关注，用于后续密集预测的特征匹配任务；步骤S32、将局部特征提取网络提取图像数据的特征映射平均划分为互不重叠的窗口并引入特征映射，用于降低计算复杂度和存储量；其中，通过移位窗口划分方法构建线性窗口注意力网络块，即LW...

【专利技术属性】
技术研发人员：孔斌，申志伟，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：