一种基于尺度分离度量学习的四分支多源图像块匹配方法组成比例

本发明专利技术涉及一种基于尺度分离度量学习的四分支多源图像块匹配方法，针对多源图像匹配的精度问题，设计了一种高精度的多源图像块匹配网络模型SSML

【技术实现步骤摘要】
一种基于尺度分离度量学习的四分支多源图像块匹配方法


[0001]本专利技术属于图像处理
，具体是一种基于尺度分离度量学习的四分支多源图像块匹配方法。

技术介绍

[0002]图像匹配旨在将待匹配图像和基准图像中表征同一物理位置的像素点一一对应，是多源信息融合与协同分析的前提，也是多模态三维重建和变化检测的基础，在军事勘探和安防等领域中有着广泛应用。由于不同传感器间成像机理不同，多源图像具有很强的外观差异，例如：可见光图像可提供较多场景的细节信息，但受光照影响大。红外图像能够反应目标的热特性，对场景亮度变化特征不敏感，能够透过雾、霾、烟等，但分辨率低。这些显著差异使得多源图像匹配具有极大的挑战性。
[0003]传统基于人工设计描述子的方法严重依赖于人类先验知识，容易忽略数据中隐藏的模式信息。由于深度神经网络具有强大的特征表示和学习能力，近年来基于深度学习的图像配准方法取得了很大的进展。
[0004]根据网络输出，现有方法可以分为两类：描述符学习方法和度量学习方法。描述符学习方法使用卷积神经网络从图像中提取高级特征，根据特征距离对图像进行匹配，若匹配距离小于预先选择的阈值时则判定为正确匹配对。该方法能够根据图像特性自动学习特征提取器，无需人工设计特征，更加灵活，自适应性较强。例如：Tian等人在文献“L2
‑
net:Deep learning of discriminative patch descriptor in euclidean space,IEEE conference on computer vision and pattern recognition.(2017),661
‑
669.”中提出了一种描述符学习模型。该模型采用渐进式的采样策略，使得网络可以在有限的迭代周期里接触到尽可能多的训练样本。同时使用L2距离约束特征描述子减少过拟合风险。度量学习主要采用原始图像对或生成特征描述符作为输入，学习图像块之间的相似度量关系，将匹配任务转换为二分类任务，输出图像块对的匹配标签。这种方式不需要设计度量准则，可以通过端到端的网络结构直接学习图像块对到匹配标签的映射。例如：Ko等人在文献“Spectral
‑
invariant matching network.Information Fusion,(2023),91:623
‑
632.”中提出了一种域不变图像匹配模型，设计了一种域转换模型，将输入图像从一个域转换为另一个域，利用双孪生网络从原始图像和转换后的图像中提取判别性特征，在可见光与近红外图像匹配中取得了良好的性能。
[0005]但是现有多源图像匹配研究方法仍存在以下几个方面不足：其一，由于不同传感器间成像机理不同，导致多源图像具有较大的外观差异，现有方法难以学习图像对间的共有特征和私有特征。其二，由于现有方法在度量相似度时，往往将特征作为一个整体来考虑，而同一图像对的不同尺度特征可能具有不同的相似度，一般的度量方式无法精确度量图像相似度。

技术实现思路

[0006]要解决的技术问题
[0007]针对多源图像匹配的精度问题，本专利技术提供一种基于尺度分离度量学习的四分支多源图像块匹配方法，用于多源图像匹配。
[0008]技术方案
[0009]一种基于尺度分离度量学习的四分支多源图像块匹配方法，其特征在于包括多模态特征提取模块、尺度分离度量学习模块和多尺度特征融合和预测模块；步骤如下：
[0010]步骤1：将通道数和分辨率大小为C
×
H
×
W的不同模态图像块对T1、T2分别输入多模态特征提取模块中的孪生子网络和伪孪生子网络中学习图像的共有特征和私有特征；其中孪生子网络表示两个共享参数且结构相同的分支，伪孪生子网络表示两个不共享参数且结构相同的分支；然后将提取的四个具有高级语义信息的特征图沿通道维度堆叠，得到特征向量F，通道数和分辨率大小为512
×
H/4
×
W/4。
[0011]步骤2：将特征向量F输入到尺度分离度量学习模块通过3
×
3，5
×
5，7
×
7，9
×
9的卷积核进行拆分，得到四组不同尺度特征图(F0,F1,F2,F3)，每组特征图通道数变为原来的1/4，分辨率不变；然后每个尺度特征依次执行坐标注意力CA和通道注意力SE，对每组坐标和通道级相关性进行编码并沿通道维度堆叠，得到特征向量F
ssml
作为输出，大小为512
×
H/4
×
W/4；
[0012]步骤3：将尺度分离度量学习模块学习的特征向量F
ssml
输入到多尺度特征融合和预测模块依次经过坐标注意力和1
×
1卷积，得到的特征图通过残差的方式与其本身相加来产生最终融合的特征描述子，大小为8
×
H/4
×
W/4；最后使用三个大小分别为512，128，2的全连接层预测网络最终的匹配结果。
[0013]本专利技术进一步的技术方案：步骤1中每个分支包含卷积层1，实例归一化层1，批归一化层1；卷积层2，实例归一化层2，批归一化层2，最大池化层2；卷积层3，实例归一化层3，批归一化层3；卷积层4，批归一化层4；卷积层5，批归一化层5，最大池化层5；卷积层6，批归一化层6；卷积层7，批归一化层7。其中卷积层均用3
×
3卷积核，卷积的步长均为1，池化层步长为2。
[0014]本专利技术进一步的技术方案：步骤2中每个尺度依次执行坐标注意力CA具体过程如下：首先，将四组不同尺度特征图(F0,F1,F2,F3)沿X坐标方向和Y坐标方向上分别进行空间全局平均池化，生成两个大小分别C
×
H
×
1和C
×1×
W的特征图，其中C表示通道数，H、W分别表示图像的高和宽；其次，沿着通道维度堆叠再经过1
×
1卷积、批归一化和Sigmoid激活函数学习不同尺度下物体的权重，生成大小为C
×1×
(H
×
W)的特征图；然后，将其再次沿着X坐标方向和Y坐标方向分别进行1
×
1卷积和Sigmoid激活函数，获得X坐标方向注意力权重和Y坐标方向注意力权重，大小分别为C
×
H
×
1和C
×1×
W；最后，将权重向量与输入的特征图相乘便得到最终具有空间信息的特征图。
[0015]一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
[0016]一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
[0017]有益效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于尺度分离度量学习的四分支多源图像块匹配方法，其特征在于包括多模态特征提取模块、尺度分离度量学习模块和多尺度特征融合和预测模块；步骤如下：步骤1：将通道数和分辨率大小为C
×
H
×
W的不同模态图像块对T1、T2分别输入多模态特征提取模块中的孪生子网络和伪孪生子网络中学习图像的共有特征和私有特征；其中孪生子网络表示两个共享参数且结构相同的分支，伪孪生子网络表示两个不共享参数且结构相同的分支；然后将提取的四个具有高级语义信息的特征图沿通道维度堆叠，得到特征向量F，通道数和分辨率大小为512
×
H/4
×
W/4。步骤2：将特征向量F输入到尺度分离度量学习模块通过3
×
3，5
×
5，7
×
7，9
×
9的卷积核进行拆分，得到四组不同尺度特征图(F0,F1,F2,F3)，每组特征图通道数变为原来的1/4，分辨率不变；然后每个尺度特征依次执行坐标注意力CA和通道注意力SE，对每组坐标和通道级相关性进行编码并沿通道维度堆叠，得到特征向量F
ssml
作为输出，大小为512
×
H/4
×
W/4；步骤3：将尺度分离度量学习模块学习的特征向量F
ssml
输入到多尺度特征融合和预测模块依次经过坐标注意力和1
×
1卷积，得到的特征图通过残差的方式与其本身相加来产生最终融合的特征描述子，大小为8
×
H/4
×
W/4；最后使用三个大小分别为512，128，2的全连接层预测网络最终的匹配结果。2.根据权利要求1所述的基于尺度分离度量学习的四分支多源图像块匹配方法...

【专利技术属性】
技术研发人员：张秀伟，张艳宁，孙怡，何厚军，李艳平，尹翰林，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：