遥感图像配准方法技术

本发明专利技术提供了一种遥感图像配准方法，本发明专利技术提出一种特征提取架构，首先利用预训练网络提取图像特征，然后加入通道注意力机制，寻找重要通道特征，减少无关点的干扰。本发明专利技术提取网络中不同尺度的特征，设计多尺度的双向匹配关系。补充不同尺度的特征信息对特征关系进行建模，提高模型的鲁棒能力，增强匹配的准确性。本发明专利技术改进损失函数，利用回归得到的四个参数设计新的损失函数迭代优化网络模型，提高配准的准确性。的准确性。的准确性。

【技术实现步骤摘要】
遥感图像配准方法


[0001]本专利技术涉及一种遥感图像配准方法。

技术介绍

[0002]图像配准是图像融合、图像分割和图像拼接等图像处理领域的基础步骤。配准技术通过寻找两幅图像在同一空间中互相对应的点进行匹配和对齐，从而进行研究。其中遥感图像配准技术在城市变化检测、土地利用率监测和环境污染检测方面应用广泛，在实际应用中发挥着重要的作用。现阶段，如何寻找精确的配准技术和高效率的方法是研究领域的热点问题。
[0003]目前遥感图像配准技术主要包含人工设计的传统方法和基于深度学习的方法。传统方法是研究者根据特定遥感图像存在的问题，人工设计针对性的解决方法进行处理。但是该方法泛化性较差，人工成本高，且运行时效低。

技术实现思路

[0004]本专利技术的目的在于提供一种遥感图像配准方法。
[0005]为解决上述问题，本专利技术提供一种遥感图像配准方法，包括：
[0006]步骤一：输入两幅图像至特征提取结构，使用预训练的Resnet101和通道注意力机制结合进行特征提取，提取预训练网络的第三层的源特征和目标特征，及提取预训练网络的第四层经过通道注意力机制后的源特征和目标特征；
[0007]步骤二：将提取得到的特征输入特征匹配部分，将第三层得到的源特征和目标特征进行双向的互相关匹配，以得到第一匹配关系和第二匹配关系；将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配，以得到第三匹配关系和第四匹配关系；
[0008]步骤三：将第一、第二、第三和第四匹配关系送入参数回归网络，以回归出四个变换参数；
[0009]步骤四：使用四个变换参数设计损失函数，基于所述损失函数对网络优化迭代，以提取出最优的网络模型；
[0010]步骤五：取出最优的网络模型的第四层经过通道注意力机制后的源特征参数和目标特征参数，对源特征参数和目标特征参数进行加权平均合成，得到最终的参数后，对源图像进行仿射变换，变换出最终的配准结果。
[0011]进一步的，在上述方法中，将第三层得到的源特征和目标特征进行双向的互相关匹配，包括：
[0012]使用皮尔逊相关性，将第三层得到的源特征和目标特征进行双向的互相关匹配
[0013]进一步的，在上述方法中，将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配，包括：
[0014]使用皮尔逊相关性，将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配。
[0015]进一步的，在上述方法中，所述通道注意力机制首先通过并联的平均池化层和最大池化层，然后分别进入一个三层的感知机，最后将两层结果相加，送入激活函数Relu后，得到具有通道注意力机制的特征图。
[0016]进一步的，在上述方法中，步骤三：将第一、第二、第三和第四匹配关系送入参数回归网络，以回归出四个变换参数，包括：
[0017]将第一、第二、第三和第四匹配关系送入参数回归网络，中，经过两层5x5的卷积和一层全连接层，回归得到四个变换参数。
[0018]进一步的，在上述方法中，步骤四：使用四个变换参数设计损失函数，基于所述损失函数对网络优化迭代，以提取出最优的网络模型，包括：
[0019]使用网格损失做为基线损失函数，即衡量通过仿射变换后坐标点与人工标记的坐标点之间的距离偏差来指导网络优化，以提取出最优的网络模型。
[0020]本专利技术提出一种特征提取架构，首先利用预训练网络提取图像特征，然后加入通道注意力机制，寻找重要通道特征，减少无关点的干扰。
[0021]本专利技术提取网络中不同尺度的特征，设计多尺度的双向匹配关系。补充不同尺度的特征信息对特征关系进行建模，提高模型的鲁棒能力，增强匹配的准确性。
[0022]本专利技术改进损失函数，利用回归得到的四个参数设计新的损失函数迭代优化网络模型，提高配准的准确性。
附图说明
[0023]图1是本专利技术一实施例的遥感图像配准方法的结构图；
[0024]图2是本专利技术一实施例的通道注意力机制结构图；
[0025]图3是本专利技术一实施例的本文配准结果图；
[0026]图4是本专利技术一实施例的不同算法定性对比的示意图；
[0027]图5是本专利技术一实施例的不同算法定量对比的示意图。
具体实施方式
[0028]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0029]如图1～5所示，本专利技术提供一种遥感图像配准方法，包括：
[0030]步骤一：构建特征提取网络，检测图像中的特征点
[0031]遥感图像信息丰富复杂，为了尽可能的提取图像中的特征，使用预训练的Resnet101网络对图像进行特征提取。在提取尽可能多的特征后，为了减少特征匹配阶段的计算量，在预训练的特征提取网络后加入通道注意力机制，筛选出所需的有用特征信息。图2显示了通道注意力机制的结构图。
[0032]通道注意力机制首先通过并联的平均池化层和最大池化层，然后分别进入一个三层的感知机，最后将两层结果相加，送入激活函数Relu后，得到具有通道注意力机制的特征图。过程如下公式所示：
[0033]M
c
(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))，
[0034]式中M
c
(F)表示通过通道注意力后得到的特征图，σ为参数，MLP为三层感知机，
AvgPool为平均池化层，MaxPool为最大池化层，F为输入特征图。
[0035]考虑到不同层次的特征对图像的表征能力不同：低层次的特征语义信息表征能力弱，几何细节信息表征能力强；高层次的特征语义信息表征能力强，几何细节信息表征能力弱。所以为了弥补每层特征的不足，提取预训练网络中的第三层特征和通过通道注意力机制后的第四层特征为后续操作做下铺垫。
[0036]步骤二：构建双向的互相关匹配关系。
[0037]过于依赖单向的匹配关系容易造成配准误差，通过特征提取网络获取的不同尺度的特征信息S、S
′
、T、T
‘
，建立双向的互相关关系。设i、j为图像坐标上的坐标点，k为索引，C
ST
(i,j,k)和C
TS
(i,j,k)分别为预训练网络第三层特征得到的双向的匹配关系(源特征到目标特征的映射，目标特征到源特征的映射)；C
S
′
T
′
(i,j,k)和C
T
′
S
′
(i,j,k)分别为经过注意力机制后的特征映射关系(源特征到目标特征的映射，目标特征到源特征的映射)。则C
ST
(i,j,k)、C
TS
(i,j,k)、C
S
′
T
′
(i,j,k)和C
T
′
S
′
(i,j,k)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感图像配准方法，其特征在于，包括：步骤一：输入两幅图像至特征提取结构，使用预训练的Resnet101和通道注意力机制结合进行特征提取，提取预训练网络的第三层的源特征和目标特征，及提取预训练网络的第四层经过通道注意力机制后的源特征和目标特征；步骤二：将提取得到的特征输入特征匹配部分，将第三层得到的源特征和目标特征进行双向的互相关匹配，以得到第一匹配关系和第二匹配关系；将第四层通过注意力机制后的源特征和目标特征进行双向的互相关匹配，以得到第三匹配关系和第四匹配关系；步骤三：将第一、第二、第三和第四匹配关系送入参数回归网络，以回归出四个变换参数；步骤四：使用四个变换参数设计损失函数，基于所述损失函数对网络优化迭代，以提取出最优的网络模型；步骤五：取出最优的网络模型的第四层经过通道注意力机制后的源特征参数和目标特征参数，对源特征参数和目标特征参数进行加权平均合成，得到最终的参数后，对源图像进行仿射变换，变换出最终的配准结果。2.如权利要求1所述的遥感图像配准方法，其特征在于，将第三层得到的源特征和目标特征进行双向的互相关匹配，包括：使用皮尔逊相关性，将第三层得到的源特征和目...

【专利技术属性】
技术研发人员：陈颖，张祺，陈磊，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：