基于循环神经网络的无监督遥感图像超分辨率重建方法技术

本发明专利技术公开了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，整个网络由两个循环网络组成，第一个循环网络以低分辨率训练图像x

【技术实现步骤摘要】
基于循环神经网络的无监督遥感图像超分辨率重建方法
本专利技术涉及数字图像处理
，更具体的说是涉及深度学习和图像块特征提取与重建技术。
技术介绍
遥感图像超分辨率技术可以有效地提升遥感图像的分辨率，恢复遥感图像细节，提升遥感图像的视觉效果，对超分辨率重建遥感图像进行目标检测，图像区域分割等，可以有效地提升处理效果。近年来，随着深度学习的不断发展，基于深度神经网络的超分辨率重建算法逐渐成为研究热点。但由于目前大部分基于深度神经网络算法都采用监督的训练方式，即训练匹配的低分辨率-高分辨率图像对，但在遥感图像背景下，实际的低分辨率-高分辨率图像对难以获得，基于监督学习的深度学习算法只能通过采用高分辨率降采样的图像作为低分辨率图像训练网络，这样训练的网络在重建实际低分辨率遥感图像效果很差。因此，如何提供一种效果较佳的无监督遥感图像超分辨率重建方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，能够使用非配对的高分辨率、低分辨率遥感图像进行网络的训练，解决了传统方法无法使用非匹配图像对训练的问题。为了实现上述目的，本专利技术采用如下技术方案：基于循环神经网络的无监督遥感图像超分辨率重建方法，包括多光谱图像重建方法的训练过程和全色图像重建方法的训练过程，所述多光谱图像和所述全色图像非匹配；所述多光谱图像重建方法的训练过程包括以下步骤：步骤11：将待训练的所述多光谱图像xt作为输入，经过生成网络一生成高分辨率图像y；步骤12：将所述高分辨率图像y作为输入，通过生成网络二生成低分辨率图像G2(y)；所述低分辨率图像G2(y)为所述多光谱图像xt的重建图像；所述全色图像重建方法的训练过程包括以下步骤：步骤21：将待训练的所述全色图像yt作为输入，经过所述生成网络二生成低分辨率图像x；步骤22：将所述低分辨率图像x作为输入，通过所述生成网络一生成高分辨率图像G1(x)；所述高分辨率图像G1(x)为所述全色图像yt的重建图像；所述多光谱图像重建方法的训练过程和所述全色图像重建方法的训练过程同时进行，当训练完成后，将低分辨率遥感图像作为输入，通过训练后的所述生成网络一重建生成高分辨率图像。进一步，所述步骤11具体为：将待训练的所述多光谱图像xt包含的红、绿和蓝三个波段转换为Y通道，将所述Y通道作为输入，经过所述生成网络一生成所述高分辨率图像y；转换公式为：Y＝0.257×R+0.564×G+0.098×B+16(1)其中，R、G、B分别为多光谱图像的红、绿、蓝通道的灰度值，Y通道作为待训练的多光谱图像xt。进一步，所述生成网络一的结构与所述生成网络二的结构相反。进一步，所述生成网络一的结构为：输入图像为低分辨率图像，所述低分辨图像依次经过第一卷积层和第一激活函数得到输出结果一，所述输出结果一经过16个残差块得到输出结果二，所述输出结果二和所述输出结果一相加后再经过第一亚像素重建层、第二激活函数、第二亚像素重建层和第三激活函数输出图像，所述输出图像为高分辨率图像。进一步，所述生成网络二的结构为：输入图像为高分辨率图像，所述高分辨率图像依次经过第一卷积层、第一激活函数、第一均值池化层、第二卷积层、第二激活函数、第二均值池化层、第三卷积层和第三激活函数得到输出结果一，所述输出结果一经过8个残差块得到输出结果二，所述输出结果一和所述输出结果二相加后再经过第四卷积层和第四激活函数输出图像，所述输出图像为低分辨率图像。进一步，所述残差块包括两个卷积层和一个激活函数，所述激活函数位于两个所述卷积层之间。进一步，循环一致性损失函数为：其中，G1表示生成网络一，G2表示生成网络二，N表示待训练的图像数目，表示待训练的多光谱图像，表示待训练的全色图像；表示多光谱图像重建时的循环损失函数，表示全色图像重建时的循环损失函数。进一步，在所述全色图像重建阶段中，通过同一性损失函数对所述生成网络一进行约束，同一性损失函数公式为：其中，N表示待训练的图像数目，G1表示生成网络一，表示待训练的全色图像，↓s表示双三次降采样，Lidt表示同一性损失函数。进一步，整个网络的总体损失函数为：Ltotal＝ω1Lcyc+ω2Lidt(4)其中，ω1、ω2分别表示循环一致性损失函数的权重和同一性损失函数的权重。进一步，所述多光谱图像为低分辨率图像，所述全色图像为高分辨率图像。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，能够采用非匹配的低分辨率多光谱图像以及高分辨全色图像进行训练，相比于传统的超分辨率重建方法，能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1附图为本专利技术提供的循环卷积神经网络示意图。图2附图为本专利技术提供的生成网络一结构示意图。图3附图为本专利技术提供的生成网络二结构示意图。图4附图为本专利技术重建结果展示图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，包括多光谱图像重建方法的训练过程和全色图像重建方法的训练过程。网络训练数据采用同一卫星拍摄的多光谱图像以及全色图像，多光谱图像和全色图像非匹配。其中多光谱图像含有红、绿、蓝、近红外四个波段，分辨率为4m/像素。全色图像为单通道，分辨率为1m/像素。为了将两种图像通过网络结构联系起来，本专利技术方法采用多光谱遥感图像红、绿、蓝三个波段所转换为的Y通道作为网络的低分辨率训练图像，转换公式如下所示：Y＝0.257×R+0.564×G+0.098×B+16(1)其中，R、G、B分别为多光谱图像的红、绿、蓝通道的灰度值，Y通道作为待训练的多光谱图像xt。结合图1，多光谱图像重建方法的训练过程包括以下步骤：步骤11：将待训练的多光谱图像xt包含的红、绿和蓝三个波段转换为Y通道，将Y通道作为输入，经过生成网络一生成高分辨率图像y；步骤12：将高分辨率图像y作为输入，通过生成网络二生成低分辨率图像G2(y)；低分辨率图像G2(y)为多光谱图像xt的重建图像。在多光谱图像重建方法的训练过程中，生成网络一和生成网络二训练时的循环损失函数为目的是使低分辨率图像G2(y)与多光谱图像xt尽量一致。全色图像重建方法的训练过程包括以下步骤：步骤21：将待训练的全色图像yt作为输入，经过生成网络二生成低分辨率图像x；步骤22：将低分辨率图像x作为输入，通过生成网络一生成高分辨率图像G1(x)；高分辨率图像G1(x)为全色图像yt的重建图像。在全色图像重建方法的训练过程中，生成网络一和生成网络二训练时的循环损失函数为目的本文档来自技高网...

【技术保护点】
1.基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，包括多光谱图像重建方法的训练过程和全色图像重建方法的训练过程，所述多光谱图像和所述全色图像非匹配；所述多光谱图像重建方法的训练过程包括以下步骤：步骤11：将待训练的所述多光谱图像x

【技术特征摘要】
1.基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，包括多光谱图像重建方法的训练过程和全色图像重建方法的训练过程，所述多光谱图像和所述全色图像非匹配；所述多光谱图像重建方法的训练过程包括以下步骤：步骤11：将待训练的所述多光谱图像xt作为输入，经过生成网络一生成高分辨率图像y；步骤12：将所述高分辨率图像y作为输入，通过生成网络二生成低分辨率图像G2(y)；所述低分辨率图像G2(y)为所述多光谱图像xt的重建图像；所述全色图像重建方法的训练过程包括以下步骤：步骤21：将待训练的所述全色图像yt作为输入，经过所述生成网络二生成低分辨率图像x；步骤22：将所述低分辨率图像x作为输入，通过所述生成网络一生成高分辨率图像G1(x)；所述高分辨率图像G1(x)为所述全色图像yt的重建图像；所述多光谱图像重建方法的训练过程和所述全色图像重建方法的训练过程同时进行，当训练完成后，将低分辨率遥感图像作为输入，通过训练后的所述生成网络一重建生成高分辨率图像。2.根据权利要求1所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，所述步骤11具体为：将待训练的所述多光谱图像xt包含的红、绿和蓝三个波段转换为Y通道，将所述Y通道作为输入，经过所述生成网络一生成所述高分辨率图像y；转换公式为：Y＝0.257×R+0.564×G+0.098×B+16(1)其中，R、G、B分别为多光谱图像的红、绿、蓝通道的灰度值，Y通道作为待训练的多光谱图像xt。3.根据权利要求1所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，所述生成网络一的结构与所述生成网络二的结构相反。4.根据权利要求3所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，所述生成网络一的结构为：输入图像为低分辨率图像，所述低分辨图像依次经过第一卷积层和第一激活函数得到输出结果一，所述输出结果一经过16个残差块得到输出结果二，所述输出结果二和所述输出结果一相加后再...

【专利技术属性】
技术研发人员：张浩鹏，姜志国，王鹏睿，谢凤英，赵丹培，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11