【技术实现步骤摘要】
本专利技术涉及遥感图像处理，特别涉及一种基于多层融合生成对抗网络的sar到光学图像转换系统。
技术介绍
1、合成孔径雷达(synthetic aperture radar，sar)和光学遥感(optical remotesensing，rs)传感器已广泛应用于土地利用规划、灾害预防、目标探测等领域。光学图像相对于sar图像更适合人类进行观测并解译，但恶劣天气和云层通常会对光学像造成严重污染，严重影响对地观测，而且光学传感器无法实现全天的地球观测。sar能够克服光学图像的缺点，具有全天候、大范围的优点。然而，sar图像中地物类型的颜色信息与光学图像有很大差异，不包含任何光谱信息，并且存在散斑噪声，严重影响了sar成像的视觉效果。非专家阅读sar图像困难，容易造成资源浪费。因此，如何更好地将sar图像与可见光图像进行结合，使其更符合人类视觉系统，更便于未来的应用，成为遥感领域的研究热点。目前大多数研究都是在特征水平上融合sar和光学图像，这需要专门设计特征提取模块和融合规则，不同的场景和应用可能需要不同的融合策略，而且选择不当可能导致融合效果不佳。由于图像转换技术的快速发展，考虑采用图像到图像的转换方法将sar图像转换为光学图像。近年来，许多基于深度学习的图像到图像的转换方法被提出。其中，基于生成对抗网络(gan)的方法取得了较好的效果，但是由于目前gan生成的光学图像还不够好，与真实光学图像相比差距还很大，现有的sar-to-optical图像转换的方法中利用残差网络的生成器结构相对简单，导致特征提取不完善，特征间的相关性较弱，而
技术实现思路
1、本专利技术提供一种基于多层融合生成对抗网络的sar到光学图像转换系统，以解决现有的sar到光学图像转换的方法中利用残差网络的生成器结构相对简单，导致特征提取不完善，特征间的相关性较弱，而且由于sar图像中的相干斑噪声会对图像中的纹理细节造成影响，弱化生成的光学图像的效果的问题。
2、本专利技术实施例提供一种基于多层融合生成对抗网络的sar到光学图像转换系统，包括：
3、去相干斑模块，用于去除输入的sar图像中的噪声，所述去相干斑模块为多层融合生成器和patchgan鉴别器构建的去相干斑预训练生成对抗网络；
4、光学图像生成子网络和sar图像回归子网络，所述光学图像生成子网络和sar图像回归子网络均由多层融合生成器和patchgan鉴别器组成，所述光学图像生成子网络的多层融合生成器接收所述去相干斑模块输出的sar图像生成转换后的光学图像，将生成的光学图像输入patchgan鉴别器中进行鉴别，判断生成的光学图像是否为虚假的光学图像，在所述光学图像生成子网络进行光学图像生成的同时所述sar图像回归子网络将接收所述光学图像生成子网络生成的光学图片，将光学图片回归成sar图像，通过使用循环一致损失使所述sar图像回归子网络的输出与所述光学图像生成子网络的输入保持相同内容，其中，所述光学图像生成子网络和所述sar图像回归子网络的网络结构相同，传播方向相反。
5、可选地，在本专利技术的一个实施例中，所述多层融合生成器为编码-解码器结构，在编码器模块中先对输入图像进行两次下采样分成三层，第一层为原始大小，第二层为二分之一大小，第三层为四分之一大小，每一层都经过三个卷积模块，每一个卷积模块都包含相同结构，依次是卷积操作、归一化和relu激活函数操作；其中卷积操作使用的是3x3的卷积核，步长为1，且三次卷积操作后的通道数分别为64，128，256，三次归一化操作使用的是instance normalization，然后将第一层处理后的特征图经过两次下采样，第二层处理后的特征图经过一次下采样，将第一层和第二层的两个特征图与第三层处理后的特征图融合成大小为的特征图，其中h和w分别为高和宽，再将融合后的特征图经过9个残差块组成的残差网络，每个残差块中都包含反射填充操作、卷积操作、归一化操和relu激活函数操作，然后将经过残差块的特征图输入解码器结构，经过两次上采样放入解码器第一层，经过一次上采样放入解码器第二层，本身作为第三层，先将解码器的三层分别于编码器的三层浅层特征融合，大小分为256×h×w、和第一层融合的特征图经过两个卷积模块和一次激活函数模块，卷积模块与编码器中的相同，激活函数模块包含卷积操作和tanh激活函数操作，第二层融合的特征图经过一个反卷积模块、一个卷积模块和一个激活函数模块，反卷积使用的是convtranspose2d操作，将特征图变为原来的两倍，通过反卷积输出大小为256×h×w的特征图，第三层融合的特征图经过两个反卷积模块和一个激活函数模块，通过两次反卷积输出大小为256×h×w的特征图，最后将三层特征图融合输出。
6、可选地，在本专利技术的一个实施例中，所述去相干斑模块为多层融合生成器和patchgan鉴别器构建的去相干斑预训练生成对抗网络，所述去相干斑模块的训练过程为：
7、获取有噪声和无噪声的sar图像数据集；
8、将有噪声的sar图像输入到多层融合生成器中，把多层融合生成器生成的图像和无噪声的sar图像输入到patchgan鉴别器中进行鉴别，输出去噪后的sar图像；
9、经过多轮训练，得到训练好的去相干斑模块。
10、可选地，在本专利技术的一个实施例中，所述光学图像生成子网络中的多层融合生成器的输入通道设置为1，输出通道设置为3；所述sar图像回归子网络中的多层融合生成器的输入通道设置为3，输出通道设置为1。
11、所述光学图像生成子网络和所述sar图像回归子网络的循环一致损失为：
12、
13、其中，g1和g2分别表示光学图像生成子网络和sar图像回归子网络中的多层融合生成器，x为sar图像，y为目标光学图像，g1(x)是由sar图像转换生成的光学图像，g2(y)是由图像回归后生成的sar图像。
14、本专利技术实施例的基于多层融合生成对抗网络的sar到光学图像转换系统(multilayer fusion generative adversarial network，mfgan)，首先，针对sar图像中的相干斑噪声，设计了去相干斑模块(despeckle module，dsm)进行去噪预处理，且在去噪过程中借用了gan网络的思想，使得去相干斑效果更好。其次，设计了多层融合生成器(multilayer fusion generator，mfg)用于dsm、光学图像生成子网络(optical imagegeneration sub-network，ogs)和sar图像回归子网络(sar image regression sub-network，srs)中，用于去相干斑噪声预处理、sar图像到光学图像的转换和sar图像回归。然后结合patchgan鉴别器并利用srs和ogs建立循环一致性损失的连接，对生成的光学图像进行不断优化。最后，在三个数据集上进行了本文档来自技高网...
【技术保护点】
1.一种基于多层融合生成对抗网络的SAR到光学图像转换系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，所述多层融合生成器为编码-解码器结构，在编码器模块中先对输入图像进行两次下采样分成三层，第一层为原始大小，第二层为二分之一大小，第三层为四分之一大小，每一层都经过三个卷积模块，每一个卷积模块都包含相同结构，依次是卷积操作、归一化和ReLU激活函数操作；其中卷积操作使用的是3x3的卷积核，步长为1，且三次卷积操作后的通道数分别为64，128，256，三次归一化操作使用的是Instance Normalization，然后将第一层处理后的特征图经过两次下采样，第二层处理后的特征图经过一次下采样，将第一层和第二层的两个特征图与第三层处理后的特征图融合成大小为的特征图，其中H和W分别为高和宽，再将融合后的特征图经过9个残差块组成的残差网络，每个残差块中都包含反射填充操作、卷积操作、归一化操和ReLU激活函数操作，然后将经过残差块的特征图输入解码器结构，经过两次上采样放入解码器第一层，经过一次上采样放入解码器第二层，本身作为第三层，先将解码器的三层分别于编码
3.根据权利要求1所述的系统，其特征在于，所述去相干斑模块为多层融合生成器和PatchGAN鉴别器构建的去相干斑预训练生成对抗网络，所述去相干斑模块的训练过程为：
4.根据权利要求1所述的系统，其特征在于，所述光学图像生成子网络中的多层融合生成器的输入通道设置为1，输出通道设置为3；所述SAR图像回归子网络中的多层融合生成器的输入通道设置为3，输出通道设置为1。
5.根据权利要求1所述的系统，其特征在于，所述光学图像生成子网络和所述SAR图像回归子网络的循环一致损失为：
...【技术特征摘要】
1.一种基于多层融合生成对抗网络的sar到光学图像转换系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，所述多层融合生成器为编码-解码器结构，在编码器模块中先对输入图像进行两次下采样分成三层，第一层为原始大小，第二层为二分之一大小，第三层为四分之一大小，每一层都经过三个卷积模块，每一个卷积模块都包含相同结构，依次是卷积操作、归一化和relu激活函数操作；其中卷积操作使用的是3x3的卷积核，步长为1，且三次卷积操作后的通道数分别为64，128，256，三次归一化操作使用的是instance normalization，然后将第一层处理后的特征图经过两次下采样，第二层处理后的特征图经过一次下采样，将第一层和第二层的两个特征图与第三层处理后的特征图融合成大小为的特征图，其中h和w分别为高和宽，再将融合后的特征图经过9个残差块组成的残差网络，每个残差块中都包含反射填充操作、卷积操作、归一化操和relu激活函数操作，然后将经过残差块的特征图输入解码器结构，经过两次上采样放入解码器第一层，经过一次上采样放入解码器第二层，本身作为第三层，先将解码器的三层分别于编码器的三...
【专利技术属性】
技术研发人员：王鹏，陈永康，赵国凤，胡跃，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。