一种多尺度生成对抗网络的异源遥感图像配准方法及装置制造方法及图纸

本发明专利技术公开了一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，根据两组异源遥感图像数据，获取训练样本；对输入图像进行图像分割，获得分割图像；构建基于图像分割的多尺度生成对抗网络；构建图像块的生成对抗网络；训练两个生成对抗网络；将生成图像与待配准图像进行同源图像配准。本发明专利技术能够约束生成对抗网络生成图像的空间信息一致性，并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案，将异源图像配准问题化简为同源图像配准问题，构建统一的异源遥感图像配准框架。

A Method and Device for Registration of Heterogeneous Remote Sensing Images Based on Multiscale Generation Countermeasure Network

【技术实现步骤摘要】
一种多尺度生成对抗网络的异源遥感图像配准方法及装置
本专利技术涉及图像处理
，尤其涉及一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置。
技术介绍
异源遥感图像配准是一种将同一区域不同传感器获取数据的几何信息进行配准的技术，是海量遥感数据自动化处理的关键技术，其运算精度将直接影响到异源遥感图像融合、镶嵌等后续应用的运算精度。然而不同性质的传感器，由于成像机理、拍摄时间、卫星姿态以及传感器参数不同等原因，其获取的数据之间往往会存在较大的尺寸、旋转、平移差异。同时，异源遥感图像的灰度值和特征信息之间也往往会存在非线性的差异。因此，快速、有效、高精度的异源遥感图像自动配准是一个极富挑战性的研究课题，也是当前国内外的研究热点。目前，异源遥感图像配准方法大致可以分为三类：基于区域的方法、基于特征的方法以及基于机器学习的方法。基于区域的配准方法可以被看作是一种模板匹配的配准方法，是异源图像配准中最经典的配准方法。其中，由于互信息能够比较有效地克服异源遥感图像间灰度值非线性映射的问题，其被广泛地应用于异源遥感图像的配准中。然而，由于基于区域的配准方法计算量太大，难以满足遥感图像配准的实时性需求，也难以满足海量遥感图像的自动配准需求。并且，当图像重叠区域较小、图像存在非线性形变或图像存在较大尺度变化时，基于区域的配准方法难以获得理想的配准结果。基于特征的配准方法是同源遥感图像配准中最常用的配准方法，该方法将图像的灰度信息抽象为点、线、面等特征信息，利用特征信息良好的光照、尺度、旋转不变性，实现准确、快速、自动的同源遥感图像配准。但是由于不同源遥感图像之间存在非线性的灰度(辐射)差异，将SIFT等基于同源图像研发的特征提取方法应用于异源遥感图像时，其获取特征信息的重复率较低，导致其应用于异源遥感图像配准时，配准的结果不稳定且甚至会导致配准失败。研发基于机器学习的方法，实现对不同遥感图像的自动适配，是异源遥感图像配准的重要发展方向。然而，目前基于机器学习的图像转换方法难以对高分辨率的遥感数据实现高质量的图像生成，使得基于机器学习的异源遥感图像配准方法难以应用到高分辨率的异源遥感数据上。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，针对高分辨率的异源遥感数据，本专利技术能够有效约束基于生成对抗网络图像转换的空间信息一致性，并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案，将异源遥感图像配准问题化简为同源遥感图像配准问题，构建统一的异源遥感图像配准框架。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，包括如下步骤：(1)从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；(2)采用分割方法对图像进行图像分割，获得多尺度分割图像；(3)构建基于图像分割的多尺度生成对抗网络Ⅰ；(4)构建多尺度图像块生成对抗网络Ⅱ；(5)训练两个生成对抗网络；(6)将生成图像与待配准图像进行同源图像配准。优选的，所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。优选的，所述步骤(3)中，基于图像分割的多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x，S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r)，y(r))和DM(r)(x(r)，GM(x，S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r)，y(r))和图像组合(x(r)，GM(x，S(x))(r))的判别结果，表示数学期望，(x(r)，y(r))～pdata(x(r)，y(r))表示变量(x(r)，y(r))服从某种数据分布pdata(x(r)，y(r))，x(r)～pdata(x(r))表示变量x(r)服从某种数据分布pdata(x(r))。优选的，所述步骤(4)中，构建多尺度图像块生成对抗网络II包括如下步骤：(41)使用高斯差分函数特征点定位方法对多尺度目标图像进行特征点定位；(42)将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；(43)提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块；(44)使用多尺度图像块生成对抗网络II对多尺度目标图像和多尺度生成图像中对应图像块进行判别。优选的，所述步骤(44)中，多尺度图像块生成对抗网络II中的生成器采用步骤(3)中多尺度生成对抗网络I中的生成器。优选的，所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：其中：表示多尺度生成对抗网络工和多尺度图像块生成对抗网络II的目标函数，表示生成图像和目标图像的多尺度图像分割损失函数，y(1)和y(2)分别表示在尺度空间1和在尺度空间2下的目标图像，y′(1)表示在尺度空间1下的生成图像，y″(2)表示在尺度空间2下的中间生成图像，表示在尺度空间r下第k组图像块的图像块对抗损失函数；K(r)为在尺度空间r下，通过多尺度图像块生成对抗网络II从尺度空间r下的生成图像以及目标图像中提取出的图像块的数量(步骤43)，k∈K(r)，为在尺度空间r下的目标图像上提取的第k个图像块，为在尺度空间r下的生成图像上提取的第k个图像块，和称为在尺度空间r下的第k组图像块；λ1为加权系数；H(·)为像素级的交叉熵损失函数，a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；和分别表示在尺度空间r下图像块判别器DPM对和的判别结果；(y(1)，y′(1))～pdata(y(1)，y′(1))表示变量(y(1)，y′(1))服从某种数据分布pdata(y(1)，y′(1))，(y(2)，y″(2))～pdata(y(2)，y″(2))表示变量(y(2)，y″(2))服从某种数据分布pdata(y(2)，y″(2))，y(r)～pdata(y(r))表示变量y(r)服从某种数据分布pdata(y(r))，y′(r)～pdata(y′(r))表示变量y′(r)服从某种数据分布pdata(y′(r))。优选的，所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。一种实现上述任一基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的装置，包括：获取单元：从两组高分辨率异源遥感图像数据中获取成对的训练样本；图像分割本文档来自技高网...

【技术保护点】
1.一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤：(1)从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；(2)采用分割方法对图像进行图像分割，获得多尺度分割图像；(3)构建基于图像分割的多尺度生成对抗网络Ⅰ；(4)构建多尺度图像块生成对抗网络Ⅱ；(5)训练两个生成对抗网络；(6)将生成图像与待配准图像进行同源图像配准。

【技术特征摘要】
1.一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤：(1)从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；(2)采用分割方法对图像进行图像分割，获得多尺度分割图像；(3)构建基于图像分割的多尺度生成对抗网络Ⅰ；(4)构建多尺度图像块生成对抗网络Ⅱ；(5)训练两个生成对抗网络；(6)将生成图像与待配准图像进行同源图像配准。2.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。3.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(3)中，基于图像分割的多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x,S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r),y(r))和DM(r)(x(r),GM(x,S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r),y(r))和图像组合(x(r),GM(x,S(x))(r))的判别结果，表示数学期望，(x(r),y(r))～pdata(x(r),y(r))表示变量(x(r),y(r))服从数据分布pdata(x(r),y(r))，x(r)～pdata(x(r))表示变量x(r)服从数据分布pdata(x(r))。4.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(4)中，构建多尺度图像块生成对抗网络Ⅱ包括如下步骤：(41)使用高斯差分函数特征点定位方法对多尺度目标图像进行特征点定位；(42)将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；(43)提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块；(44)使用多尺度图像块生成对抗网络Ⅱ对多尺度目标图像和多尺度生成图像中对应图像块进行判别。5.根据权利要求4所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(44)中，多尺度图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中多尺度生成对抗网络Ⅰ中的生成器。6.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：其中：表示多尺度生成对抗网络Ⅰ...

【专利技术属性】
技术研发人员：杜文亮，周勇，赵佳琦，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32