基于双变换网络的深度学习SAR图像配准方法技术

本发明专利技术公开一种基于双变换网络的深度学习SAR图像配准算法，主要解决现有深度学习的SAR配准方法获取匹配的图像对困难，匹配精度低，人工标注数据集成本过高及类别不平衡的问题。其实现方案为：1)生成训练和测试数据集。2)设置深度图像分类网络的分类头类别数目，构建双变换网络的两个分支；3)训练双变换网络的两个分支，并利用训练好的双变换网络进行初步匹配，4)在初步匹配的基础上进行精细匹配；5)取两条支路共同认可的点对，并根据精细匹配的结果更新点对，获得最终匹配结果。本发明专利技术获取图像对简单且无需人工标注，数据集类别平衡，匹配精度高，可用于地质矿物资源检测及数字地形模型提取。模型提取。模型提取。

【技术实现步骤摘要】
基于双变换网络的深度学习SAR图像配准方法


[0001]本专利技术属于图像处理
，更进一步涉及一种SAR图像配准方法，可用于地质矿物资源检测及数字地形模型提取。

技术介绍

[0002]SAR图像配准主要是处理同一场景却在不同条件下捕获的两幅或多幅SAR图像，通过探索图像之间的对应关系来找到最适合的变换模型，从而利用变换模型变换不同时间不同物理环境状态下获取的SAR图像，将它们变换到同一坐标系下的过程。在不同的成像条件下，SAR图像会在空间位置，成像模式等许多方面存在一些差异，只有变换到同一个参考系下才能方便处理。因此，SAR图像配准技术是SAR图像目标检测，图像融合，特征提取的重要技术前提。
[0003]学者Zitova等人曾于2003年发表了论文，针对配准方法做了概括，将图像配准技术主要分为四步来实现，即特征提取，特征匹配，估计变换模型，变换图像。从大的方面来讲，图像配准分为两种，其一是传统的配准方法，比如基于灰度的图像配准方法，如low等人于2004年提出的SIFT方法。另一类则是基于深度学习的图像配准方法，此方法利用深度神经网络提取特征以获得匹配点对信息。例如学者Han等人提出了孪生网络，该网络通过两个完全相同的卷积神经网络来提取特征，从而得到图像块的匹配关系。该基于深度学习的SAR图像配准方法是近些年来最为通用的图像配准方法。
[0004]西安电子科技大学在其申请号为：201910943154.7的专利申请文献中公开了一种“基于深度学习的SAR图像精细配准方法”，其实现步骤是：首先获取多幅从不同视角观测到的同一场景SAR图像，由这些图像组成数据集；再构建用于SAR图像精细配准的神经网络模型，模型由用于校正SAR图像间的整体形变的子卷积神经网络和用于校正SAR图像间局部形变的子残差神经网络依次组成；最后构造用于SAR图像精细配准的神经网络的损失函数Loss；接着利用构造好的数据集对网络进行训练，得到训练好的网络模型；最后直接输入作为参考的SAR图像和待配准SAR图像，网络会输出配准好的图像。此方法所构建的网络能够校正SAR图像间的整体形变和局部畸变，从而可以提高配准性能。但该方法存在的不足之处在于：其直接随机从构造的数据集中选取样本进行训练，而高质量SAR图像的获取，成本较高，因此这样会导致数据集获取成本的增加，另外该方法的计算成本较大。
[0005]Shasha Mao等人在遥感领域国际顶级期刊Remote Sensing上发表的论文《Multi
‑
Scale Fused SAR Image Registration Based on Deep Forest》中提出了一种基于深度学习进行遥感图像配准的框架，其利用深度森林对多尺度的样本进行训练，提取更为有效的特征信息，通过深度森林进行二分类区分匹配点对和不匹配点对，从而得到最终的结果。该方法的存在三方面的不足：一是由于在构建样本对的时候过于依赖匹配的样本对，将导致构造样本对成本增加；二是由于分类的结果中仍然包含有噪声点，必须利用归一化互相关法NCC滤波掉噪声点,三是由于构建训练样本集合的过程冗长，需要的训练时间也比较长，降低了图像配准任务的效率。

技术实现思路

[0006]本专利技术的目的在于针对上述现有技术的不足，提出一种基于双变换网络的深度学习SAR图像配准方法，以提高SAR图像配准任务效率，降低获取匹配样本对的成本，提升配准的精度，实现亚像素级别的精确配准。
[0007]本专利技术的技术思路是：通过采用传统方法在参考图像和待配准图像上面寻找关键点，利用这些关键点为中心截取图像块，将每个关键点以及截取的图像块看作一个类别，解决获得匹配图像对难的问题；通过将网络的训练分为参考图像
‑
待配准图像支路R
‑
S及待配准图像
‑
参考图像支路S
‑
R，并选择两条支路都认可的点对作为最终匹配结果，解决类别不匹配的问题；通过设计精细匹配，解决匹配精度不够的问题。
[0008]根据上述思路，本专利技术的实现步骤包括如下：
[0009](1)生成数据集：
[0010]1a)使用SIFT方法分别在参考图像R获取m个关键点和在待配准图像S上获取n个关键点1≤i≤m，1≤j≤n，并这两者做初步配准，得到从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵和从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵
[0011]1b)分别以P
R
和P
S
这些关键点为中心，按照64
×
64的大小对参考图像R和待配准图像S截图，删除不能够截图的点，剩下参考图像的a个点和待配准图像的b个点，得到参考图像集合和待配准图像集合1≤C≤a，1≤D≤b；
[0012]1c)对和分别进行t次包括0
°‑
20
°
的仿射变换及灰度变换，该与其变换后结果组合得到参考图像集合该以及变换后结果组合得到待配准图像集合再对和分别进行v次角度随机在0
°‑
20
°
范围的仿射变换，该与其变换后的结果组合得到用于验证的参考图像集合样本集合该与其变换后的结果组成用于验证的待配准图像集合其中150≤t≤250；40≤v≤100；
[0013](2)选用现有的深度图像分类网络，并设置分类头的类别数目，构建双变换网络的两个分支：
[0014]2a)将参考图像上的关键点作为类别，在参考图像到待配准图像分支上取与参考图像集合FR中含有图片的个数相同的类别数目，将这些类别输入至深度图像分类网络的分类头，构成双变换网络的第一分支“R
‑
S”；
[0015]2b)将待配准图像上的关键点作为类别，在待配准图像到参考图像分支上取与待配准图像集合FS中含有图片个数相同的类别数目，将这些类别输入至深度图像分类网络的分类头，构成双变换网络的第二分支“S
‑
R”；
[0016](3)对网络的两个分支进行训练，获得双变换网络：
[0017]3a)将参考图像集合作为训练集，将仿射变换后的参考图像集合作为验证集，采用梯度下降法对第一分支R
‑
S进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集进行一次验证，当准确率达到目标及目标以上时，保存训练好的模型，得
到训练好的双变换网络第一分支；
[0018]3b)将待配准图像集合作为训练集，将仿射变换后的待配准图像集合作为验证集,采用梯度下降法对第二分支S
‑
R进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集进行一次验证，当准确率达到目标及目标以上时保存训练好的模型，得到训练好的双变换网络第二分支；
[0019]3c)将训练好的第一分支与训练好的第二分支进行并联，构成双变换网络；
[0020](4)利用训练好的双变换网络，进行初步匹配：
[0021]4a)利用1a)中从待配准图像坐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双变换网络的深度学习SAR图像配准方法，其特征在于，包括如下步骤：(1)生成数据集：1a)使用SIFT方法分别在参考图像R获取m个关键点和在待配准图像S上获取n个关键点1≤i≤m，1≤j≤n，并将这两者做初步配准，得到从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵和从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵1b)分别以和这些关键点为中心，按照64
×
64的大小对参考图像R和待配准图像S截图，删除不能够截图的点，剩下能进行截图的a个参考图像点和b个待配准图像点，得到参考图像集合和待配准图像集合1≤C≤a，1≤D≤b；1c)对和分别进行t次包括0
°‑
20
°
的仿射变换及灰度变换，该与其变换后结果组合得到参考图像集合该以及变换后结果组合得到待配准图像集合再对和分别进行v次角度随机在0
°‑
20
°
范围的仿射变换，该与其变换后的结果组合得到用于验证的参考图像集合样本集合该与其变换后的结果组成用于验证的待配准图像集合其中150≤t≤250；40≤v≤100；(2)选用现有的深度图像分类网络，并设置分类头的类别数目，构建双变换网络的两个分支：2a)将参考图像上的关键点作为类别，在参考图像到待配准图像分支上取与参考图像集合中含有图片的个数相同的类别数目，将这些类别输入至深度图像分类网络的分类器，构成双变换网络的第一分支“R
‑
S”；2b)将待配准图像上的关键点作为类别，在待配准图像到参考图像分支上取与待配准图像集合中含有图片个数相同的类别数目，将这些类别输入至深度图像分类网络的分类器，构成双变换网络的第二分支“S
‑
R”；(3)对网络的两个分支进行训练，获得双变换网络：3a)将参考图像集合作为训练集，将仿射变换后的参考图像集合作为验证集，采用梯度下降法对第一分支R
‑
S进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集进行一次验证，当准确率达到目标及目标以上时，保存训练好的模型，得到训练好的双变换网络第一分支；3b)将待配准图像集合作为训练集，将仿射变换后的待配准图像集合作为验证集,采用梯度下降法对第二分支S
‑
R进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集进行一次验证，当准确率达到目标及目标以上时保存训练好的模型，得到训练好的双变换网络第二分支；3c)将训练好的第一分支与训练好的第二分支进行并联，构成双变换网络；(4)利用训练好的双变换网络，进行初步匹配：
4a)利用1a)中从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵把待配准图像上的关键点变换到参考图像上，并删除不能截图的点生成点集合以中的点为中心截图制作测试图像集输入到训练好的双变换网络第一分支进行图片分类，若分为同类，则代表测试集图片对应的在待配准图像上面的点与作为类别的参考图像上面的点是匹配的点，并将其对应图像块相似度低于阈值的点删除，完成R
‑
S支路的初步配准；4b)利用1a)中从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵把参考图像上的关键点变换到待配准图像上，并删除不能截图的点生成点集合以中的点为中心截图制作测试图像集输入到训练好的双变换网络第二分支进行图片分类，若分为同类，则代表测试集图片对应的在参考图像上面的点与作为类别的待配准图像上面的点是匹配的点，并将其对应图像块相似度低于阈值的点删除，完成S
‑
R支路的初步配准；(5)精细匹配：5a)在完成初步配准R
‑
S支路的训练集点旁边重新选点截图，对4a)得到的初步配准进行更新，得到点对集合中的R
‑
S分支训练集上的点；5b)在完成初步配准的S
‑
R支路的训练集点的旁边重新选点截图，对4b)得到的初步配准进行更新，得到点对集合中的S
‑
R分支训练集上的点；5c)选取两条支路都认可的点对，并根据5a)和5b)中更新匹配的结果对其进行更新，得到最终的配准结果。2.根据权利要求1所述的方法，其特征在于：步骤1a)中得到的从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵和从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵分别表示如下：分别表示如下：其中，a
11
、a
12
、a
13
、a
21
、a
22
、a
23
和b
11
、b
12
、b
13
、b
21
、b
22
、b
23
均为浮点数，通过最小二乘法计算得到。3.根据权利要求1所述的方法，其特征在于：步骤1b)中得到的参考图像集合和待配准图像集合分别表示如下：分别表示如下：其中，是第i个参考图像上截取的图像块1≤i≤a，是第j个待配准图像上截取的图像块，1≤j≤b，这些参考图像和待配准图像均为64
×
64大小的图片。
4.根据权利要求1所述的方法，其特征在于：步骤1c)中得到的和以及和分别表示如下：表示如下：表示如下：表示如下：其中，为第f次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致；为第e次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致；为第l次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致；为第h次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致。5.根据权利要求1所述的方法，其特征在于：步骤2a)中得到网络的第一分支“...

【专利技术属性】
技术研发人员：毛莎莎，路世明，杨谨瑗，路凯，缑水平，焦李成，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：