本发明专利技术公开了一种异源图像配准方法、系统及装置，该方法包括：对SAR图像进行滤波并与对应的光学图像组成图像块对；将图像块对样本本输入深度卷积生成对抗网络进行训练；对训练样本进行数据增强并进行划分；基于训练集训练深度孪生匹配网络；基于训练完成的匹配网络生成匹配点对；根据匹配点对计算变换矩阵并配准图像。该系统包括：图像对样本模块、训练样本模块、划分模块、训练模块、匹配模块和配准模块。该装置包括存储器以及用于执行上述异源图像配准方法的处理器。通过使用本发明专利技术，能够提高异源配准精度。本发明专利技术作为一种异源图像配准方法、系统及装置，可广泛应用于图像配准领域。可广泛应用于图像配准领域。可广泛应用于图像配准领域。
【技术实现步骤摘要】
一种异源图像配准方法、系统及装置
[0001]本专利技术涉及图像配准领域，尤其涉及一种异源图像配准方法、系统及装置。
技术介绍
[0002]现有的图像配准技术大致分为三种：基于区域的图像配准方法、基于特征的图像配准方法和近年来兴起的基于网络的图像配准方法，但是这几种配准方法均存在较大的缺陷，成像原理的不同和成像条件的差异造成了SAR图像和光学图像之间存在非线性强度差异，因此基于灰度的方法结果不佳；SAR图像的成像原理造成SAR图像中存在严重的散斑噪声，因此基于点特征的方法难以在SAR图像上提取可靠的特征点，在光学图像中应用良好的配准方法在异源图像配准中一般难以取得预期的效果；基于卷积神经网络的方法需要大量的训练数据以获得好的模型、防止过拟合，但现实应用中的光学图像和SAR图像数据集的数据量往往远远不足以训练出一个较好的网络
技术实现思路
[0003]为了解决上述技术问题，本专利技术的目的是提供一种异源图像配准方法、系统及装置，提高异源配准精度。
[0004]本专利技术所采用的第一技术方案是：一种异源图像配准方法，包括以下步骤：
[0005]对SAR图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；
[0006]将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；
[0007]对训练样本进行数据增强并进行划分，得到训练集和测试集；
[0008]基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；
[0009]提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对；
[0010]根据匹配点对计算变换矩阵并配准图像。
[0011]进一步，所述对SAR图像进行滤波具体包括以下步骤：
[0012]读取SAR图像的图像数据矩阵；
[0013]滑动预设的滤波窗口对SAR图像进行处理，并结合图像数据矩阵计算窗口内参数；
[0014]基于窗口内参数和滤波方程，输出滤波结果，得到滤波后的SAR图像。
[0015]进一步，所述滤波方程公式表示如下：
[0016][0017]上式中，表示滤波后的值，b表示预设参数，m表示观测值，表示局部窗口内的像素均值。
[0018]进一步，所述深度卷积生成对抗网络设有两组，所述将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本这一步骤，其具体包括：
[0019]将图像块对样本中的光学图像输入一组深度卷积生成对抗网络，基于生成器生成伪SAR图像，基于判别器生成判别标签；
[0020]将图像块对样本中滤波后的SAR图像输入另一组深度卷积生成对抗网络，基于生
成器生成伪光学图像，基于判别器生成判别标签；
[0021]根据SAR图像、伪SAR图像、光学图像、伪光学图像和判别标签，构成训练集。
[0022]进一步，所述对训练样本进行数据增强并进行划分，得到训练集和测试集这一步骤，其具体包括：
[0023]对训练样本进行几何变换，得到增强后训练样本；
[0024]所述几何变换包括翻转、旋转、裁剪、平移和缩放；
[0025]对增强后训练样本以7：3的比例划分训练集和测试集。
[0026]进一步，所述基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络这一步骤，其具体包括：
[0027]根据训练集中由光学图像生成的伪SAR图像和对应的SAR图像对深度孪生匹配网络的一条分支进行训练；
[0028]根据训练集中由SAR图像生成的伪光学图像和对应的光学图像对深度孪生匹配网络的另一条分支进行训练；
[0029]结合判别标签对深度孪生匹配网络进行损失计算，得到训练完成的匹配网络。
[0030]进一步，所述提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对这一步骤，其具体包括：
[0031]基于SIFT方法检测测试集中图片的特征点；
[0032]根据图片的特征点对SAR图像和光学图像取图像块并输入至训练完成的匹配网络的两个分支，得到匹配结果；
[0033]基于渐进一致采样方法对匹配结果进行处理，得到匹配点对。
[0034]进一步，所述根据匹配点对计算变换矩阵公式表示如下：
[0035][0036]上式中，T表示图像I1与I2之间的几何变换矩阵，s表示I2相对于I1缩放的尺度因子，θ表示I2相对于I1的旋转角度，t
x
表示I2相对于I1的水平位移参数，t
y
代表I2相对于I1的垂直位移参数。
[0037]本专利技术所采用的第二技术方案是：一种异源图像配准系统，包括：
[0038]图像对样本模块，用于对SAR图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；
[0039]训练样本模块，用于将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；
[0040]划分模块，用于对训练样本进行数据增强并进行划分，得到训练集和测试集；
[0041]训练模块，基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；
[0042]匹配模块，用于提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对；
[0043]配准模块，用于根据匹配点对计算变换矩阵并配准图像。
[0044]本专利技术所采用的第三技术方案是：一种异源图像配准系统，包括：
[0045]至少一个处理器；
[0046]至少一个存储器，用于存储至少一个程序；
[0047]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种异源图像配准方法。
[0048]本专利技术方法、系统及装置的有益效果是：本专利技术通过数据增强能够生成大量的带标签的图像块对用于网络训练，解决了数据集大小不足以训练深度网络的问题，通过生成对抗网络，将异源图像配准问题转化为同源图像配准问题，从而提高异源配准的精度。
附图说明
[0049]图1是本专利技术一种异源图像配准方法的步骤流程图；
[0050]图2是本专利技术一种异源图像配准系统的结构框图。
具体实施方式
[0051]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0052]参照图1，本专利技术提供了一种异源图像配准方法，该方法包括以下步骤：
[0053]对SAR图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；
[0054]将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；
[0055]对训练样本进行数据增强并进行划分，得到训练集和测试集；
[0056]基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；
[0057]提取测试集中图片的图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异源图像配准方法，其特征在于，包括以下步骤：对SAR图像进行滤波并与对应的光学图像组成图像块对，得到图像块对样本；将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本；对训练样本进行数据增强并进行划分，得到训练集和测试集；基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络；提取测试集中图片的图像块并输入至训练完成的匹配网络，得到匹配点对；根据匹配点对计算变换矩阵并配准图像。2.根据权利要求1所述一种异源图像配准方法，其特征在于，所述对SAR图像进行滤波具体包括以下步骤：读取SAR图像的图像数据矩阵；滑动预设的滤波窗口对SAR图像进行处理，并结合图像数据矩阵计算窗口内参数；基于窗口内参数和滤波方程，输出滤波结果，得到滤波后的SAR图像。3.根据权利要求2所述一种异源图像配准方法，其特征在于，所述滤波方程的公式表示如下：上式中，表示滤波后的值，b表示预设参数，m表示观测值，表示局部窗口内的像素均值。4.根据权利要求3所述一种异源图像配准方法，其特征在于，所述深度卷积生成对抗网络设有两组，所述将图像块对样本本输入深度卷积生成对抗网络进行训练，得到训练样本这一步骤，其具体包括：将图像块对样本中的光学图像输入一组深度卷积生成对抗网络，基于生成器生成伪SAR图像，基于判别器生成判别标签；将图像块对样本中滤波后的SAR图像输入另一组深度卷积生成对抗网络，基于生成器生成伪光学图像，基于判别器生成判别标签；根据SAR图像、伪SAR图像、光学图像、伪光学图像和判别标签，构成训练集。5.根据权利要求4所述一种异源图像配准方法，其特征在于，所述对训练样本进行数据增强并进行划分，得到训练集和测试集这一步骤，其具体包括：对训练样本进行几何变换，得到增强后训练样本；所述几何变换包括翻转、旋转、裁剪、平移和缩放；对增强后训练样本以7∶3的比例划分训练集和测试集。6.根据权利要求5所述一种异源图像配准方法，其特征在于，所述基于训练集训练深度孪生匹配网络，得到训练完成的匹配网络这一步骤，其具体包括：根据训练集中...
【专利技术属性】
技术研发人员：陈舒雅，王青松，焦润之，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。