基于级联残差生成对抗网络的SAR和光学图像双向翻译方法技术

本发明专利技术属遥感图像处理技术领域，涉及将SAR图像和光学图像间相互翻译的方法，尤其是一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法。本发明专利技术包括步骤：(1)训练样本严格配准；(2)图像预处理；(3)以监督学习的方式训练级联残差生成对抗网络；(4)基于监督学习的预训练网络，以非监督学习的方式迭代训练待测试样本，改善翻译结果。本发明专利技术能高效实现SAR和光学两种截然不同的传感模式的数据之间的转换，能将共同可见的信息从一种图像转换到另一种图像中，且能根据先验知识生成新的内容。本方法可用于SAR图像解译，适用于无雷达背景知识的人员。本发明专利技术可促进现有和未来SAR遥感图像存档的广泛应用，具有推广应用前景。

【技术实现步骤摘要】
基于级联残差生成对抗网络的SAR和光学图像双向翻译方法专利
本专利技术属遥感图像处理
，涉及将SAR图像和光学图像间相互翻译的方法，具体涉及一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法。本专利技术中将不同分辨率、极化方式的SAR图像与光学图像之间进行转换，可用于辅助专业人员进行对SAR图像的解译。
技术介绍
现有技术公开了合成孔径雷达(SyntheticApertureRadar，SAR)具有在全天时、全天候条件下高分辨率成像的能力。作为一种先进的空间遥感技术，它在地球科学、天气变化、环境系统监测、海洋资源利用、行星探测等方面得到了广泛的应用。实践显示，尽管SAR成像技术发展迅速，但SAR图像的解译仍然存在挑战，并且随着轨道上众多雷达卫星每天都在获取大量的SAR数据，解译变得越来越迫切；有研究显示，由于其独特的成像机制和复杂的电磁波散射机理，SAR表现出与光学图像非常不同的成像特征，人类的视觉系统适用于光学图像的解译，却很难解译SAR图像；虽然SAR图像包含丰富的有关目标和场景信息，例如几何结构和材料属性，但它们只能本文档来自技高网...

【技术保护点】
1.基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，其特征在于，其包括步骤：/n(1)从数据集中挑选部分SAR图像和对应的光学图像，并对之严格配准；/n(2)对所有将使用的SAR和光学图像预处理，包括降噪、归一化和切片；/n(3)采用监督学习的方式，将严格配对的SAR和光学图像送入多尺度残差生成对抗网络中，迭代训练该模型；/n(4)采用非监督学习的方式，利用拓展数据集中非配对的光学或SAR图像，迭代训练待测试的图像，改善翻译结果；/n所述的多尺度残差生成对抗网络，基于U-Net网络结构，主体添加了skip connections的encoder-decoder结构，并在此基础上添加输入...

【技术特征摘要】
1.基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，其特征在于，其包括步骤：
(1)从数据集中挑选部分SAR图像和对应的光学图像，并对之严格配准；
(2)对所有将使用的SAR和光学图像预处理，包括降噪、归一化和切片；
(3)采用监督学习的方式，将严格配对的SAR和光学图像送入多尺度残差生成对抗网络中，迭代训练该模型；
(4)采用非监督学习的方式，利用拓展数据集中非配对的光学或SAR图像，迭代训练待测试的图像，改善翻译结果；
所述的多尺度残差生成对抗网络，基于U-Net网络结构，主体添加了skipconnections的encoder-decoder结构，并在此基础上添加输入到decoder中间各层的连接；
所述的监督学习，是指馈送到网络中的训练样本是严格配对的，翻译得到的图像有对应的真值逐像素地对比，有利于目标空间位置的对应和网络的稳定训练；
所述的非监督学习，是指基于少量严格配对样本预训练的级联残差对抗网络。


2.根据权利要求1所述的方法，其特征在于，所述的多尺度残差生成对抗网络，主要包括，(1a)网络结构基于U-Net，主体添加skipconnections的encoder-decoder结构，能规避自编码器的信息瓶颈导致的信息丢失；白包括，将输入根据解码器中特征图的尺度相应地降采样，并将降采样后的图像直接跳连接到解码器的各个特征图中，由此鼓励网络中各个尺度的特征图学习到与输入之间的差距，该网络等效于学习输入与输出之间差距的残差网络；残差的加入可以消除训练解码器过程中可能出现的梯度消失的问题；
(1b)损失函数基于Pix2Pix的网络，鉴别器的损失函数满足：



其中当i＝0，1时，pdata(i)分别表示真实光学和SAR图像的分布，表示x服从pdata(i)分布，表示z服从pdata(j)分布。z表示输入SAR(或光学)图像，T(z)表示翻译的光学(或SAR)图像，x表示对应的真实光学(或SAR)图像，D(□)表示鉴别器的输出概率图，对于鉴别器，最小化L(D)等同于将x分类为1，将T(z)分类为0；
遵循对抗原则，翻译器的损失函数是



其中LGAN(T)是两个翻译器的loss总和。跟鉴别器的目标相反，翻译器希望生成足够真实的图像，以欺骗鉴别器将它们分类为1；
对抗损失函数辅以传统的loss训练，如L1或L2loss；额外的衡量翻译图像T(z)和真实图像x之间距离的L1范数的loss用于训练翻译器；



将上面两个等式加权组合在一起，得到翻译器的最终的损失函数L(T)
L(T)＝LGAN(T)+βLL1(T)(公式四)
L(T)是两个翻译器的目标函数，它们的参数同时更新；两个鉴别器分别有一个损失函数L(D)，且被分别训练；
(1c)训练过程，自适应矩估计(AdaptiveMomentEstimation，Adam)训练算法用于同时训练两个翻译器/鉴别器，遵循GAN训练策略，一次迭代包括以下步骤：
a...

【专利技术属性】
技术研发人员：徐丰，符士磊，金亚秋，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31