基于交叉注意与可形变卷积的多时相遥感图像配准方法技术

本发明专利技术涉及一种基于交叉注意与可形变卷积的多时相遥感图像配准方法，首先，基于主干网络VGG16引入可形变卷积构建可形变卷积块DeVgg以适应不同形状、尺度大小等发生明显几何形变的遥感图像，增强了算法的鲁棒性；其次，将主干网络提取出的特征输入到交叉注意力模块中，用以更好地捕获不同背景变化下的影像的空间对应关系，在保留特征图核心信息的同时，能够高效地识别需要关注的特征信息，进而提高整体的匹配准确性。在特征匹配阶段，为了解决特征点匹配质量不佳问题，使用暴力匹配BFMatcher算法进行粗配准，再结合自适应的约束阈值，筛选出优质匹配点。筛选出优质匹配点。筛选出优质匹配点。

【技术实现步骤摘要】
基于交叉注意与可形变卷积的多时相遥感图像配准方法


[0001]本专利技术涉及遥感图像处理领域，尤其涉及一种基于交叉注意与可形变卷积的多时相遥感图像配准方法。

技术介绍

[0002]传统的图像配准方法可以分为两类：（1）基于特征的方法；（2）基于区域的方法。对于基于特征的方法，一般分为三种单独的阶段: 特征检测、特征描述和特征匹配。在特征检测阶段，需从每幅图像中检测出像角点这样的显著点作为兴趣点，然后在这些角点周围提取局部描述符。通过最近邻域搜索或者更复杂的匹配算法可找到两者的对应关系从而完成配准。尺度不变特征变化是一种流行且已广泛应用的基于特征的配准方法，但匹配时间长且容易造成细节丢失。基于SIFT的优越性，目前已提出了许多改进的版本来增强其特征提取、描述符和匹配的性能，如RootSIFT、PCA
‑
SIFT、RSIFT等。常见的点特征提取方法还有Harris算子、SURF、ORB和FAST算法。但其手工设计的描述符无法准确的应对非光线性光照、阴影和遮挡所带来的影响，对具有复杂变化的遥感图像匹配效果不佳。为了解决具有复杂背景变化图像在配准中的难以匹配的问题，有学者提出了一种基于特征提取的暹罗卷积网络。
[0003]基于区域的图像配准也被称为模板匹配，即找到输入图像与模板图像中最相似的部分。一幅图像中不同的地方拥有不同的相关性区域指标。首先，在输入图像中选择适当大小的模板窗口，将模板图像在输入图像内从指定位置开始滑动，利用极大相关性指标确定待配准图像中的相似区域。Ye等人利用图像间的几何特征构建相似性测量，该算法可以有效抵抗图像间非线性辐射带来的差异，突破了传统相似性测度依赖于灰度信息的局限性，能获得较高的正确匹配率。Liu设计出一种利用孪生网络的多模态配准方法，进一步的提高了多模态图像的配准精度。
[0004]在完成特征粗匹配后，常用RANSAC算法消除配准中的错误点剔除。但其内点的筛选依靠自设定的参数阈值，而不同类型的图像存在不同的差异，使得阈值的设定尤为重要。MSAC是RANSAC的修改版本，它使用中位数代替均值作为剔除阈值，提高了算法对异常值和数据中其他噪声源的鲁棒性。MLESAC也是在RANSAC的基础之上进行修改，它使用最大似然来估计模型的参数，提供了比RANSAC更稳健和准确的解决方案，尤其是在处理的数据中存在大量的噪声。为了更好的解决这一问题，本文提出了一种自适应阈值的算法，能更好的筛选出优质的匹配对。
[0005]在图像配准方面，由神经网络提取关键点和制作特征描述符的方法日渐成熟。LoFTR、D2
‑
net、SuperGlue、Patch2Pix等方法被相继提出。LoFTR方法借鉴Transformer使用了自注意层和互信息层来获取两幅图像的特征描述符，能够在低纹理、运动模糊或图片模式重复的区域产生高质量的匹配结果。D2
‑
net方法相较传统的先提取关键点再制作描述符的方法，设计出同时提取关键点和描述子的策略，使得特征模块和描述模块是高度耦合的，能提取到鲁棒性高的描述子。SuperGlue方法结合特征检测器和匹配器作为一个完整的
pipeline，将检测和匹配合并到一个网络里，利用Transformer的注意力机制来自适应增强特征的全局信息，提高匹配精度.然而，注意力机制也带来了计算需求的增加。Patch2Pix方法提出了一种新的角度来学习对应关系，它从匹配网络中直接优化特征，而不需要明确定义特征点，但由于其依赖补丁的原理，可能会导致全局上下文信息的丢失，同时Patch2Pix对所选特定超参数敏感，需要仔细调整。D2
‑
net所用的训练数据是在近30多万个深度信息所获取到的像素级对应关系的图像对，在具有较大光照差异、角度变化的图像中能获得很好的提取效果，但也带来了更大的计算量，难以实现配准精度与配准实时性的统一。
[0006]但现有技术存在以下不足：1、在对具有复杂的背景变化遥感图像中提取共同特征时能力不足传统的CNN具有局部感知域，这意味着它们在提取特征时只关注输入图像的局部区域。这可能导致在寻找全局对应关系时，这些网络无法捕捉到更大范围的上下文信息。
[0007]2、对发生了形变的图像提取特征的能力不足在多时相遥感图像中，由于光照和视角差异的影响，同一地物可能表现出不同的变化信息。现有的卷积神经网络方法往往是采用固定的几何结构模块，难以有效的应用于发生了形变的图像。
[0008]3、使用RANSAC算法需要人为设定一个固定阈值，难以有效的剔除误匹配点在完成特征粗匹配后，常用RANSAC算法消除配准中的错误点剔除。但其内点的筛选依靠自设定的参数阈值，而不同类型的图像存在不同的差异，使得阈值的设定尤为重要。而传统的RANSAC的阈值设定往往是凭借作者经验，难以适应性的应用于具有复杂背景变化的图像。

技术实现思路

[0009]针对现有技术之不足，本专利技术提出一种基于交叉注意与可形变卷积的多时相遥感图像配准方法，所述配准方法首先构建多时相遥感图像配准模型，所述配准模型包括特征提取模块和特征匹配模块，通过交叉注意力机制加强局部特征与全局特征的空间对应关系，并利用可形变卷积块提高了形变特征的表达能力，在特征提取阶段采用自适应性的阈值约束，以得到优质匹配点，所述配准方法具体包括：步骤1：准备待配准的遥感配准图像对，所述图像对包括待配准影像和参考影像；步骤2：构建端到端多时相遥感配准模型，通过特征提取模块获得多时相遥感图像特征，再通过特征匹配模块完成粗匹配、错误点剔除和精匹配操作，具体为：步骤21：所述特征提取模块包括交叉注意力模块和可形变卷积块，将参考影像与待配准影像分别输入到前三个堆叠的可形变卷积块中，得到所述参考影像的第一特征图F1和所述待配准影像的第二特征图F2；步骤22：在第三个可形变卷积块后加入交叉注意力模块，将参考影像的第一特征图F1和待配准影像的第二特征图F2分别输入到交叉注意力模块进行特征融合，实现加强全局特征与局部特征的空间对应关系，输出经过特征融合后的参考影像的第三特征图F3和待配准影像的第四特征图F4，交叉注意力模块的操作具体为：步骤221：在提取参考影像的特征时，交叉注意力模块将参考影像的第一特征图F1作为主要输入，待配准影像的第二特征图F2作为跨模态输入；
步骤222：通过线性变换将第一特征图和第二特征图转换为特征向量，采用点积操作将两个特征向量逐元素相乘计算两者之间的相似度，再根据相似度计算结果计算出注意力权重分布，通过Softmax函数进行归一化后得到特征矩阵Y，再根据注意力权重分布将所述特征矩阵Y与主要输入转换的特征向量进行加权求和，最后进行特征融合输出参考影像的第三特征图F3；步骤223：在提取待配准影像的特征时，交叉注意力模块将待配准影像的第二特征图F2作为主要输入，将参考影像的第一特征图作为跨模态输入，经过与步骤222相同的操作后，输出待配准影像的第四特征图F4；步骤23：在第四个可形变卷积模块中，将步骤22得到的融合特征第三特征图F3和待配准影像的第四特征图F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于交叉注意与可形变卷积的多时相遥感图像配准方法，其特征在于，所述配准方法首先构建多时相遥感图像配准模型，所述配准模型包括特征提取模块和特征匹配模块，通过交叉注意力机制加强局部特征与全局特征的空间对应关系，并利用可形变卷积块提高了形变特征的表达能力，在特征提取阶段采用自适应性的阈值约束，以得到优质匹配点，所述配准方法具体包括：步骤1：准备待配准的遥感配准图像对，所述图像对包括待配准影像和参考影像；步骤2：构建端到端多时相遥感配准模型，通过特征提取模块获得多时相遥感图像特征，再通过特征匹配模块完成粗匹配、错误点剔除和精匹配操作，具体为：步骤21：所述特征提取模块包括交叉注意力模块和可形变卷积块，将参考影像与待配准影像分别输入到前三个堆叠的可形变卷积块中，得到所述参考影像的第一特征图F1和所述待配准影像的第二特征图F2；步骤22：在第三个可形变卷积块后加入交叉注意力模块，将参考影像的第一特征图F1和待配准影像的第二特征图F2分别输入到交叉注意力模块进行特征融合，实现加强全局特征与局部特征的空间对应关系，输出经过特征融合后的参考影像的第三特征图F3和待配准影像的第四特征图F4，交叉注意力模块的操作具体为：步骤221：在提取参考影像的特征时，交叉注意力模块将参考影像的第一特征图F1作为主要输入，待配准影像的第二特征图F2作为跨模态输入；步骤222：通过线性变换将第一特征图和第二特征图转换为特征向量，采用点积操作将两个特征向量逐元素相乘计算两者之间的相似度，再根据相似度计算结果计算出注意力权重分布，通过Softmax函数进行归一化后得到特征矩阵Y，再根据注意力权重分布将所述特征矩阵Y与主要输入转换的特征向量进行加权求和，最后进行特征融合输出参考影像的第三特征图F3；步骤223：在提取待配准影像的特征时，交叉注意力模块将待配准影像的第二特征图F2作为主要输入，将参考影像的第一特征图作为跨模态输入，经过与步骤222相同的操作后，输出待配准影像的第四特征图F4；步骤23：在第四个可形变卷积模块中，将步骤22得到的融合特征第三特征图F3和待配准影像的第四特征图F4分别作为...

【专利技术属性】
技术研发人员：符颖，陈培艳，何兵，胡金蓉，文武，吴锡，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：