一种异构遥感图像变换方法及系统技术方案

本发明专利技术涉及一种异构遥感图像变换方法及系统，设置了可见光灰度图像作为SAR图像到可见光彩色图像的中间态，通过SAR图像降噪声生成器将SAR图像生成可见光灰度图像，并通过第一鉴别器进行鉴别，通过可见光图像生成器将可见光灰度图像生成可见光彩色图像，并通过第二鉴别器进行鉴别，降低了SAR图像到可见光彩色图像变换的失真率，提高了遥感图像变换的质量和效率。和效率。和效率。

【技术实现步骤摘要】
一种异构遥感图像变换方法及系统


[0001]本专利技术涉及图像变换
，特别是涉及一种异构遥感图像变换方法及系统。

技术介绍

[0002]随着信息感知技术的不断发展，对遥感图像的处理和运用日渐由单模态转向多模态。这是由于单一传感器获取的图像已经无法满足某些特定场景的需求，在暂时无法有效提升传感器性能的情况下，将多种类型传感器获取的异构图像进行关联融合成为一条可行的途径。
[0003]以光学与合成孔径雷达(SAR)图像为例，光学图像对天气尤其是云层敏感，这严重限制了光学图像用于地面目标的观测和监视。一种可行的替代方法是利用对天气不敏感的SAR图像作为弥补，将同一时间不同模态传感器获取的图像进行关联。在这一方面，基于深度学习的方法提供了很好的解决方案。在耦合时间序列的异构图像驱动下，基于深度学习的方法可以学习从SAR图像到可见光图像的映射，并将其用于由已知SAR图像到未知可将光图像的变换。以此获得的结果即具有可见光图像的光谱信息，也可获得SAR图像全天时、全天候的观测优点。
[0004]遥感图像的异构变换可以归类为一个图像风格变换问题，而在图像风格变换方面又可以分为基于特征的方法和基于生成对抗网络GAN的方法。基于特征的方法采用的思路是利用人工神经网络的特征提取能力，对原始图像的风格和语义内容分别进行提取，考虑一定的风格和内容的失真，限制从输入到输出的变换在色彩空间中是局部仿射的，并将此约束表示为自定义的完全可微分的能量项，然后进行组合重构，生成一幅新的风格图像。风格变换的另一思路是基于生成对抗网络GAN的方法。这种方法的思路是采用条件生成对抗网络cGAN对图像进行条件生成和变换，使得生成的图像既具有原图像域的语义信息，又具有目标图像域的风格特征。
[0005]对于现有的两类方法，尽管基于特征的方法在艺术图像风格变换上取得了不错的效果，但在生成新的风格照片时，需多次对损失函数求导，因此在用于遥感图像的异构变换时，参数计算量较大，处理实时性不佳。相比之下基于条件生成对抗网络cGAN的方法较前者计算开销小，灵活性更大，在一般的结构清晰、信息对称的图像之间变换结果较为理想，但用于遥感图像异构变换时，也存在纹理损失和失真严重，这将影响最终决策和判别。
[0006]目前，基于条件生成对抗网络的异构遥感图像变换存在以下技术难点：一是由于SAR图像与可见光图像采集传感器的原理差异，相互之间存在信息不对称的特点，利用现有的pix2pix、Cycle-GAN等图像变换模型进行实验发现，由SAR图像生成的RGB可见光图像存在严重的特征丢失等失真现象，使得最终变换结果的可解释性和可信度不高，影响后续的研究和决策。因此需要降低SAR图像受乘性伽马噪声污染对图像跨模态变换的影响，提高模型对SAR图像主要特征的保留和恢复能力，使得最终变换出来的可见光图像既具有原始SAR图像的语义信息，又具有一定的光谱信息，这样为地质灾害监测、现场勘察、海域监控等提供更为可靠的图像信息；二是可见光图像的信息存在于多个通道之中，而SAR图像为灰度图
像，其信息存在于一个通道，二者之间存在通道差异和语义鸿沟，直接采用一个生成器和一个鉴别器的条件生成对抗网络进行异构变换存在光谱信息和语义信息映射不准确等问题。
[0007]在基于条件生成对抗网络的异构图像变换方面，目前还没有针对SAR图像到可见光图像(RGB)的变换模型能很好地解决上述问题。在异构变换的准确性和实时性方面，现有的方法都不能满足遥感图像的复杂化和多样化需求，因此这一问题亟待解决。

技术实现思路

[0008]基于此，本专利技术的目的是提供一种异构遥感图像变换方法及系统，提高了遥感图像变换的质量和效率。
[0009]为实现上述目的，本专利技术提供了如下方案：
[0010]一种异构遥感图像变换方法，所述方法包括：
[0011]对多张所述SAR图像去噪获得各所述SAR图像的可见光灰度图像；
[0012]获得各所述SAR图像的可见光彩色图像；
[0013]以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器；
[0014]以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器；
[0015]将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像。
[0016]可选地，所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。
[0017]可选地，所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。
[0018]可选地，所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。
[0019]可选地，所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：
[0020][0021]其中，表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；表示所述SAR图像降噪声生成器，x
(i)
表示所述SAR图像的集合，y
(i)
表示可见光灰度图像的集合；
[0022]所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：
[0023][0024]其中，表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；表示可见光图像生成器，z
(i)
表示可见光彩色图像的集合；
[0025]α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数；
[0026]当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。
[0027]本专利技术还公开了一种异构遥感图像变换系统，所述系统包括：
[0028]可见光灰度图像获取模块，用于对多张所述SAR图像去噪获得各所述SA本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构遥感图像变换方法，其特征在于，所述方法包括：对多张所述SAR图像去噪获得各所述SAR图像的可见光灰度图像；获得各所述SAR图像的可见光彩色图像；以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器；以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器；将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像。2.根据权利要求1所述的异构遥感图像变换方法，其特征在于，所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。3.根据权利要求1所述的异构遥感图像变换方法，其特征在于，所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。4.根据权利要求1所述的异构遥感图像变换方法，其特征在于，所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。5.根据权利要求1所述的异构遥感图像变换方法，其特征在于，所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：其中，表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；表示所述SAR图像降噪声生成器，x
(i)
表示所述SAR图像的集合，y
(i)
表示可见光灰度图像的集合，所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：其中，表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；
表示可见光图像生成器，z
(i)
表示可见光彩色图像的集合；α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数；当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。6.一种异构遥感图像变换系统，其特征在于，所述系统包括：可见光灰度图...

【专利技术属性】
技术研发人员：刘瑜，谭大宁，李刚，丁自然，孙顺，姜乔文，
申请(专利权)人：清华大学，
类型：发明
国别省市：