一种卫星序列影像生成对抗超分网络方法技术

本发明专利技术公开了一种卫星序列影像生成对抗超分网络方法，包括以下步骤：步骤一：构建数据集，包括训练集、验证集和测试集，并对数据集进行预处理，降采样得到低分辨率图像，每一个场景包括n幅低分辨率序列影像和一幅高分辨率ground truth图像；步骤二：采用生成对抗网络模型，将步骤一得到的卫星影像，分别输入至所述模型进行训练，得到超分模型；步骤三：利用步骤二得到的超分模型处理测试集，测试得到的模型性能；本发明专利技术利用对同一地区分时多次曝光得到的卫星序列影像，使用生成对抗网络GAN对卫星影像进行超分重建，结合生成对抗网络中博弈对抗的特点，在损失函数中同时兼顾像素级MSE损失和特征级VGG损失，提升卫星影像的空间分辨率。辨率。辨率。

【技术实现步骤摘要】
一种卫星序列影像生成对抗超分网络方法


[0001]本专利技术涉及一种网络方法，特别涉及一种卫星序列影像生成对抗超分网络方法，属于卫星图像处理、计算机视觉


技术介绍

[0002]卫星像片图(satellite photo map)简称卫片，也叫卫星图像，是各种人造地球卫星在运行过程中，通过照相机、电视摄象机、多光谱扫描仪等设备，对地面地物进行摄影或扫描所获得的图象资料。其回收的方式有：
①
通过回收运载工具取得摄影胶片；
②
在运行过程中，通过电子仪器把图象资料转变为电信信号记录在磁带上，然后回放到地面接收站，记录在视频磁带上，再经过处理系统变换为胶片影象。
[0003]随着卫星图像处理的发展，遥感已经广泛应用于军事和民用领域，在农林检测、军事侦察、城市规划等方向起着重要作用。高分辨率遥感影像可以清楚地表达地物目标的空间结构与表层纹理特征，分辨出地物内部更为精细的组成，地物边缘信息也更加清晰，为有效的地学解译分析提供了条件和基础。然而，由于目前成像传感器的局限性和复杂的大气条件，空间分辨率收到限制，而超分辨率技术为人们获得高分辨率遥感卫星图像提供了帮助。超分辨率(SR)技术是用单幅低分辨率(LR)图像或LR图像序列重建HR图像。LR图像序列的亚像素移动通常用于SR图像重建。它们可以从不同传感器的同一区域图像中同时获取。

技术实现思路

[0004]本专利技术的目的在于提供一种卫星序列影像生成对抗超分网络方法，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种卫星序列影像生成对抗超分网络方法，包括以下步骤：
[0006]步骤一：构建数据集，包括训练集、验证集和测试集，并对数据集进行预处理，降采样得到低分辨率图像，每一个场景包括n幅低分辨率序列影像和一幅高分辨率ground truth图像；
[0007]步骤二：采用生成对抗网络模型，将步骤一得到的卫星影像，分别输入至所述模型进行训练，得到超分模型；
[0008]步骤三：利用步骤二得到的超分模型处理测试集，测试得到的模型性能；
[0009]步骤四：对步骤三得到的超分图像与高分辨率ground truth进行对比，定量评价的评价指标采用峰值信噪比PSNR。
[0010]作为本专利技术的一种优选技术方案，所述步骤一中，构建数据集的内容如下：用卫星序列影像数据来训练网络，以SPOT5为例，所有的训练图像都被随机裁剪成88
×
88像素大小的斑块，对于测试集，使用启明星微纳卫星影像数据，为了对训练和测试数据进行预处理，使用Bicubic插值对原始序列高分辨率图像进行2倍、4倍、6倍的降采样，每一个场景包括n幅低分辨率序列影像和一幅高分辨率ground truth图像，前者用于训练使用，后者用于跟
生成的高分辨率SR影像作对比。
[0011]作为本专利技术的一种优选技术方案，所述步骤二中，构建生成对抗网络GAN的内容如下：
[0012]生成对抗网络由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像，对G使用SRGAN模型，包含4个卷积块，16个残差块(ResBlocks)和一个子像素卷积层，具体来说，使用了两个具有3
×
3小核和64个特征图的卷积层，然后是批量规范化层和ParametricReLU[作为激活函数，用两个训练有素的子像素卷积层提高输入图像的分辨率，此在子像素层之前引入一个跳过连接来引导输出；
[0013]鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活α＝0.2，并在整个鉴别器网络中避免最大池，它包含8个卷积层，3
×
3滤波核的数量不断增加，与VGG网络一样，从64核增加到512核，增加了2倍，每当特征数量增加一倍时，就会使用分层卷积来降低图像分辨率，所得的512个特征图之后是两个密集层和一个最后的sigmoid激活函数，以获得样本分类的概率；
[0014]训练生成对抗网络GAN：
[0015]将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD，利用Adam优化器进行最优化；
[0016]感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成：
[0017][0018][0019][0020]测试生成对抗网络GAN：
[0021]对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR来衡量去马赛克效果；
[0022][0023][0024]与现有技术相比，本专利技术的有益效果是：
[0025]1.本专利技术一种卫星序列影像生成对抗超分网络方法，该方法利用对同一地区分时多次曝光得到的卫星序列影像，使用生成对抗网络GAN对卫星影像进行超分重建，结合生成对抗网络中博弈对抗的特点，在损失函数中同时兼顾像素级MSE损失和特征级VGG损失，提升卫星影像的空间分辨率。
附图说明
[0026]图1为本专利技术所提供的结构示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]请参阅图1，本专利技术提供了一种卫星序列影像生成对抗超分网络方法的技术方案：
[0029]具体按照以下步骤实施：
[0030]1、构建数据集：
[0031]用卫星序列影像数据来训练网络，以SPOT5为例。所有的训练图像都被随机裁剪成88
×
88像素大小的斑块。对于测试集，使用启明星微纳卫星影像数据。为了对训练和测试数据进行预处理，使用Bicubic插值对原始序列高分辨率图像进行2倍、4倍、6倍的降采样，每一个场景包括n(如8)幅低分辨率序列影像和一幅高分辨率ground truth图像。前者用于训练使用，后者用于跟生成的高分辨率SR影像作对比。
[0032]2、构建生成对抗网络GAN：
[0033]生成对抗网络由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像。我们对G使用SRGAN模型，包含4个卷积块，16个残差块(ResBlocks)和一个子像素卷积层。具体来说，我们使用了两个具有3
×
3小核和64个特征图的卷积层，然后是批量规范化层和ParametricReLU[作为激活函数。用两个训练有素的子像素卷积层提高输入图像的分辨率。此外，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卫星序列影像生成对抗超分网络方法，其特征在于，包括以下步骤：步骤一：构建数据集，包括训练集、验证集和测试集，并对数据集进行预处理，降采样得到低分辨率图像，每一个场景包括n幅低分辨率序列影像和一幅高分辨率ground truth图像；步骤二：采用生成对抗网络模型，将步骤一得到的卫星影像，分别输入至所述模型进行训练，得到超分模型；步骤三：利用步骤二得到的超分模型处理测试集，测试得到的模型性能；步骤四：对步骤三得到的超分图像与高分辨率ground truth进行对比，定量评价的评价指标采用峰值信噪比PSNR。2.根据权利要求1所述的一种卫星序列影像生成对抗超分网络方法，其特征在于：所述步骤一中，构建数据集的内容如下：用卫星序列影像数据来训练网络，以SPOT5为例，所有的训练图像都被随机裁剪成88
×
88像素大小的斑块，对于测试集，使用启明星微纳卫星影像数据，为了对训练和测试数据进行预处理，使用Bicubic插值对原始序列高分辨率图像进行2倍、4倍、6倍的降采样，每一个场景包括n幅低分辨率序列影像和一幅高分辨率ground truth图像，前者用于训练使用，后者用于跟生成的高分辨率SR影像作对比。3.根据权利要求1所述的一种卫星序列影像生成对抗超分网络方法，其特征在于：所述步骤二中，构建生成对抗网络GAN的内容如下：生成对抗网络由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像，对G使用SRGAN模型，包含4个卷积块，16个残差块(Re...

【专利技术属性】
技术研发人员：郭羽萱，张学敏，金光，戴小兵，
申请(专利权)人：武汉大学，
类型：发明
国别省市：