一种SAR与光学图像匹配方法组成比例

本发明专利技术公开了一种SAR与光学图像匹配方法，包括以下步骤：S1：跨模态多尺度金字塔特征的提取：将SAR图像与光学图像分别送入权重共享的多尺度特征提取网络，执行跨模态特征提取；S2：位置注意力图的提取：对于S1获取的SAR金字塔特征和光学金字塔特征，采用一个位置注意力模块计算不同尺度下的位置相关性，获得能够描述SAR与光学图像在任意两个位置上相关程度的多尺度位置注意力图；S3：位置概率分布计算：采用上采样操作将多尺度位置注意力图放大到统一尺度，并整合所有位置信息，计算位置概率分布图。本发明专利技术，能够实现SAR与光学图像的高精度跨模态匹配，其性能不受限于图像的形变，同时具备较快的推理速度。同时具备较快的推理速度。同时具备较快的推理速度。

【技术实现步骤摘要】
一种SAR与光学图像匹配方法


[0001]本专利技术涉及图像匹配
，具体是一种SAR与光学图像匹配方法。

技术介绍

[0002]光学图像和合成孔径雷达(SAR)是遥感图像的两种形式，可以提供互补的信息。图像匹配对于两类图像的整合以及场景的完整表达极为重要。现有的遥感图像使用的导航参数可以消除全局几何失真，包括图像之间明显的旋转和比例变化，但仍然存在误差像素，难以提供精确的像素对应。因此，需要图像匹配技术实现SAR与光学图像间的精确匹配。
[0003]SAR与光学图像匹配可分为基于特征的匹配方法和基于区域的匹配方法。基于特征的方法首先提取图像的显著特征，包括点，边缘轮廓和面特征，然后利用特征间的匹配求解两幅图像间的映射关系。尽管基于特征的方法可以识别SAR与光学图像之间的对应关系，但它们只适用于符合特定辐射约束且没有几何畸变的图像。与基于特征的方法相比，基于区域的方法具有以下优势：(1)基于区域的方法无需特征提取以及寻找最大特征间的相似性；(2)基于区域的方法可以在遥感图像的小区域中搜索初始地理位置，以获得位置偏移量仅有数个像素的地理校正图像。但是，现有的基于区域的方法难以对具有较大几何形变的图像进行处理，难以在大范围的遥感图像场景中实施。
[0004]基于数据驱动的深度学习方法以提取深层信息的方式获得图像的显著点和关键特征，但这些方法存在显著点和关键特征难以区分以及不可重复的缺陷。为了克服这一局限性，许多研究开发了具有可区分关键点性能的SAR与光学图像匹配模型。此外，为了解决关键点不可重复的问题，一些研究使用深度神经网络根据图像块的局部特征产生候选匹配区域。现有的方法为基于深度神经网络的SAR与光学图像匹配提供了相似性匹配区域和基于块的特征描述。然而，由于滑动搜索策略的存在，这些方法在估计图像块之间的相似度时非常耗时。此外，现有方法并不能确定参考图像与感测图像之间的像素相关性，在匹配不同区域时，需要对网络结构进行重新训练以适应匹配场景，这限制了这些方法的适用性。

技术实现思路

[0005]本专利技术的目的在于提供一种SAR与光学图像匹配方法，以解决现有技术中的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种SAR与光学图像匹配方法，包括以下步骤：
[0007]S1：跨模态多尺度金字塔特征的提取：将SAR图像与光学图像分别送入权重共享的多尺度特征提取网络，执行跨模态特征提取，获得两类图像的多尺度高级语义信息；
[0008]S2：位置注意力图的提取：对于S1获取的SAR金字塔特征和光学金字塔特征，采用一个位置注意力模块计算不同尺度下的位置相关性，获得能够描述SAR与光学图像在任意两个位置上相关程度的多尺度位置注意力图；
[0009]S3：位置概率分布计算：采用上采样操作将多尺度位置注意力图放大到统一尺度，并整合所有位置信息，计算位置概率分布图。
[0010]优选的，所述S1包括三个处理阶段：
[0011]阶段一通过自底向上的残差网络获取初始的金字塔特征；
[0012]阶段二利用自上而下的上采样操作获得深层金字塔特征；
[0013]阶段三通过中间特征的连接将前两个阶段的金字塔特征进行融合，获得信息丰富的多尺度语义特征。
[0014]优选的，所述S2具体包括：
[0015]设s、o为SAR和光学影像的特征图，大小为(c，h1，w1)、(c，h2，w2)对于s和o，通过卷积层分别获得特征图s1、s2和o1、o2；对于s1、s2和o1，执行尺寸变换操作，将其大小分别重建为(c，1，n)，(c，1，n)和(c，1，N)，其中n＝h1×
w1、N＝h2×
w2；随后将s1的转置乘以o1并经过SoftMax运算后获得空间注意图A(N,n)；最后，将A乘以s2并重建为(c，h2，w2)的结果乘以比例因子并加到o2，获得最终输出特征图；A(N,n)的计算过程如公式(1)所示:
[0016][0017]其中A(N,n)测量位置i对位置j的影响，两个位置的特征表达越相似，二者之间相关性的贡献就越大；最终特征图的计算过程如公式(2)所示：
[0018][0019]其中α为学习到的权重，并被初始化为0；E表示SAR所有位置的特征和光学图像特征的加权和。
[0020]优选的，所述S3还包括：
[0021]引入了基于输出位置概率分布的损失函数；经过仿射变换，S'的质心和中心像素与S一致，这意味着输出特征图的质心坐标就是模板中心像素的匹配位置，因此用质心匹配替代所有的像素匹配；
[0022]模型的总损失由质心位置损失L
p
和语义损失L
s
两个部分组成，如公式(3)所示
[0023]L＝αL
p
+βL
s
,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0024]其中L代表全部损失，α与β为两个损失的权重，同时α+β＝1；
[0025]L被用于计算质心位置差异，同时考虑了标签和输出之间的语义损失，质心位置损失引导输出对应中心点，语义损失优化感测图像中每个像素的匹配位置；特征图质心和损失函数的计算过程如下所示：
[0026][0027]其中P
′
ij
为像素(i，j)的语义位置概率值；
[0028][0029]其中C
I
和C
J
分别代表所有输出位置在i和j坐标中的权重。C
′
ij
的质心位置坐标计算如公式(6)所示：
[0030][0031]质心位置损失的计算过程如公式(7)所示：
[0032]L
p
＝(x
‑
x
true
)2+(y
‑
y
true
)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0033]其中x
true
，y
true
表示模板质心在参考图像中的真实坐标位置；
[0034]在训练过程中，真值标签是感测图像中与参考图像相对应的每个像素的位置；语义损失函数被定义为位置依赖匹配概率p与真实标签之间的交叉熵差异值，其计算过程如公式(8)所示：
[0035][0036]其中N为训练过程中批处理的待匹配图像的数量，y是样本中感测图像的真实标签，其中1表示匹配，0表示不匹配，表示网络架构预测匹配样本i的匹配位置概率。
[0037]与现有技术相比，本专利技术的有益效果是：
[0038]1、提出了一个金字塔几何不变特征提取网络；该结构采用权重共享的网络模块，对SAR图像与光学图像的每个局部像素构造一个金字塔特征，从而获得两类图像在交叉模态下的多尺度特征信息；SAR图像与光学图像存在一定的几何差异，该结构通过提取多尺度深层语义信息，有助于对SAR图像和光学图像之间复杂的几何畸变进行建模。
...

【技术保护点】

【技术特征摘要】
1.一种SAR与光学图像匹配方法，其特征在于：包括以下步骤：S1：跨模态多尺度金字塔特征的提取：将SAR图像与光学图像分别送入权重共享的多尺度特征提取网络，执行跨模态特征提取，获得两类图像的多尺度高级语义信息；S2：位置注意力图的提取：对于S1获取的SAR金字塔特征和光学金字塔特征，采用一个位置注意力模块计算不同尺度下的位置相关性，获得能够描述SAR与光学图像在任意两个位置上相关程度的多尺度位置注意力图；S3：位置概率分布计算：采用上采样操作将多尺度位置注意力图放大到统一尺度，并整合所有位置信息，计算位置概率分布图。2.根据权利要求1所述的一种SAR与光学图像匹配方法，其特征在于：所述S1包括三个处理阶段：阶段一通过自底向上的残差网络获取初始的金字塔特征；阶段二利用自上而下的上采样操作获得深层金字塔特征；阶段三通过中间特征的连接将前两个阶段的金字塔特征进行融合，获得信息丰富的多尺度语义特征。3.根据权利要求1所述的一种SAR与光学图像匹配方法，其特征在于：所述S2具体包括：设s、o为SAR和光学影像的特征图，大小为(c，h1，w1)、(c，h2，w2)对于s和o，通过卷积层分别获得特征图s1、s2和o1、o2；对于s1、s2和o1，执行尺寸变换操作，将其大小分别重建为(c，1，n)，(c，1，n)和(c，1，N)，其中n＝h1×
w1、N＝h2×
w2；随后将s1的转置乘以o1并经过SoftMax运算后获得空间注意图A(N,n)；最后，将A乘以s2并重建为(c，h2，w2)的结果乘以比例因子并加到o2，获得最终输出特征图；A(N,n)的计算过程如公式(1)所示:其中A(N,n)测量位置i对位置j的影响，两个位置的特征表达越相似，二者之间相关性的贡献就越大；最终特征图的计算过程如公式(2)所示：其中α为学习到的权重，并被初始化为0；E表示SAR所有位置的特征和光学图像特征的加权和。4.根据权利要求1所述的一种SAR与光学图像匹配方法，其特征在于：所述S3还包括：引入了基于输...

【专利技术属性】
技术研发人员：李军，李良志，马凌飞，李静，何娇，
申请(专利权)人：南京国础科学技术研究院有限公司，
类型：发明
国别省市：