基于生成对抗网络的遥感图像超分辨率重建方法技术

本发明专利技术提出了一种基于生成对抗网络的遥感图像超分辨率重建方法，其步骤为：首先，构建模拟实际退化过程的遥感图像高阶退化模型，获得成对的高分辨率遥感图像和低分辨率遥感图像；其次，将低分辨率遥感图像输入包含超密集残差模块的遥感图像生成器中，生成重建超分辨率图像；然后，利用融合递归残差和注意力机制的

【技术实现步骤摘要】
基于生成对抗网络的遥感图像超分辨率重建方法


[0001]本专利技术涉及遥感图像重构
，特别是指一种基于生成对抗网络的遥感图像超分辨率重建方法
。

技术介绍

[0002]随着遥感技术的不断发展，遥感图像由于其覆盖面积广
、
受地面影响小等优点，已经广泛应用于灾害预警
、
环境变化监测
、
军事侦察等领域
。
对于遥感图像而言，图像分辨率的大小能够决定其携带信息数量的多少
。
在使用遥感图像进行目标检测
、
分类
、
场景变化检测时，为了获得更加准确的结果，需要高分辨率的图像
。
目前我国遥感图像技术快速发展，
"
风云
"、"
高分
"、"
北斗
"
等卫星系列已逐步融入社会各行各业
。
而受成像传感器
、
光学元件制作工艺等硬件条件以及信号传输带宽的限制，难以直接获取高分辨率的遥感图像，并且在遥感图像成像和传输的过程中会发生模糊或噪声等未知的损失
。
提升拍摄设备质量
、
使用制造工艺更好
、
精度更高的光学元器件和图像传感器等方法，虽然可以提高拍摄图像的质量，但实现难度大，成本高，难以在实际应用中推广
。
因此，通过算法完成遥感图像超分辨率重建任务逐渐成为一种主流解决方案
。
[0003]在深度学习兴起之前，常用的遥感图像超分辨率方法包括基于插值重建的方法和基于图像先验信息重建的方法
。
前者采用像素插值法将低分辨率图像直接上采样为高分辨率图像，但会导致重建图像高频信息缺失
、
模糊和连续锯齿状等问题
。
后者需要利用明确的图像先验信息，限制了其在图像重建方面的表现
。
随着深度学习技术的发展，基于卷积神经网络的图像超分辨率重建方法在高频信息恢复方面表现出色，但由于网络层次有限，无法充分利用特征信息，因此重建后的图像仍然存在局部模糊的问题，特别是在地物交叉部分的细节纹理上存在连续锯齿状和伪影
。

技术实现思路

[0004]针对现有遥感图像超分辨率重建方法存在的图像模糊和伪影等问题，本专利技术提出了一种基于生成对抗网络的遥感图像超分辨率重建方法，该方法融合了高阶图像退化模型和生成对抗网络结构，能够有效消除重建图像中模糊和伪影等的影响，实现高质量的遥感图像超分辨率重建
。
[0005]本专利技术的技术方案是这样实现的：
[0006]一种基于生成对抗网络的遥感图像超分辨率重建方法，其步骤如下：
[0007]步骤一：构建模拟实际退化过程的遥感图像高阶退化模型，将高分辨率遥感图像
I
HR
输入遥感图像高阶退化模型中，获得与高分辨率遥感图像
I
HR
相对应的低分辨率遥感图像
I
LR
；
[0008]步骤二：构建遥感图像超分辨率重建网络，包括包含超密集残差模块的遥感图像生成器
、
融合递归残差和注意力机制的
U
型遥感图像判别器；并将成对的高分辨率遥感图像
I
HR
和低分辨率遥感图像
I
LR
作为遥感图像超分辨率重建网络的训练集；
[0009]步骤三：将低分辨率遥感图像
I
LR
输入包含超密集残差模块的遥感图像生成器中，生成重建超分辨率图像
I
SR
；
[0010]步骤四：利用融合递归残差和注意力机制的
U
型遥感图像判别器对高分辨率遥感图像
I
HR
和重建超分辨率图像
I
SR
进行分类判决；
[0011]步骤五：通过计算
L1
级别损失
、
感知损失以及
GAN
损失优化遥感图像超分辨率重建网络的参数，使网络收敛，完成训练，得到遥感图像超分辨率重建模型；
[0012]步骤六：将待重建的低分辨率遥感图像输入遥感图像超分辨率重建模型中，生成超分辨率重建遥感图像
。
[0013]优选地，所述遥感图像高阶退化模型包括第一阶段
、
第二阶段和降采样；第一阶段的输入为高分辨率遥感图像
I
HR
，第一阶段的输出与第二阶段的输入相连接，第二阶段的输出与降采样相连接，降采样的倍率随机选取；降采样后输出多张不同退化程度的低分辨率遥感图像
I
LR
，与高分辨率遥感图像
I
HR
构成多组成对的
HR
‑
LR
遥感图像，作为训练集；其中，第一阶段和第二阶段均包括加模糊和加噪声两个过程，其中，模糊核类型包括高斯模糊核和
sinc
模糊核，噪声类型包括高斯噪声和泊松噪声；模糊核类型和噪声类型按设定概率发生，且第一阶段和第二阶段的设定概率不同，模糊核大小随机选取，进行多次迭代
。
[0014]优选地，所述包含超密集残差模块的遥感图像生成器包括第一卷积层
、
超密集残差模块组
、
第二卷积层
、
上采样模块
、
第三卷积层和第四卷积层；低分辨率遥感图像
I
LR
输入第一卷积层，第一卷积层的输出特征输入超密集残差模块组，超密集残差模块组的输出特征与第一卷积层的输出特征相加后输入第二卷积层，第二卷积层的输出特征输入上采样模块，上采样模块的输出特征输入第三卷积层，第三卷积层的输出特征输入第四卷积层，第四卷积层输出重建超分辨率图像
I
SR
；其中，超密集残差模块组包括依次连接的
23
个超密集残差模块
(RRSDB)
，最后一个
RRSDB
的输出特征与第一卷积层的输出特征进行相加后作为第二卷积层的输入特征
。
[0015]优选地，所述
RRSDB
包括卷积层Ⅰ、LReLu
激活函数Ⅰ、
卷积层Ⅱ、LReLu
激活函数Ⅱ、
卷积层Ⅲ、LReLu
激活函数Ⅲ、
卷积层Ⅳ、LReLu
激活函数Ⅳ和卷积层
Ⅴ
；其中，输入特征
F
in
输入卷积层Ⅰ，卷积层Ⅰ的输出特征输入
LReLu
激活函数Ⅰ，
LReLu
激活函数Ⅰ的输出特征与输入特征
F
in
相加后得到第一特征
F1；第一特征
F1输入卷积层Ⅱ，卷积层Ⅱ的输出特征输入
LReLu
激活函数Ⅱ，
LReLu...

【技术保护点】

【技术特征摘要】
1.
一种基于生成对抗网络的遥感图像超分辨率重建方法，其特征在于，其步骤如下：步骤一：构建模拟实际退化过程的遥感图像高阶退化模型，将高分辨率遥感图像
I
HR
输入遥感图像高阶退化模型中，获得与高分辨率遥感图像
I
HR
相对应的低分辨率遥感图像
I
LR
；步骤二：构建遥感图像超分辨率重建网络，包括包含超密集残差模块的遥感图像生成器
、
融合递归残差和注意力机制的
U
型遥感图像判别器；并将成对的高分辨率遥感图像
I
HR
和低分辨率遥感图像
I
LR
作为遥感图像超分辨率重建网络的训练集；步骤三：将低分辨率遥感图像
I
LR
输入包含超密集残差模块的遥感图像生成器中，生成重建超分辨率图像
I
SR
；步骤四：利用融合递归残差和注意力机制的
U
型遥感图像判别器对高分辨率遥感图像
I
HR
和重建超分辨率图像
I
SR
进行分类判决；步骤五：通过计算
L1
级别损失
、
感知损失以及
GAN
损失优化遥感图像超分辨率重建网络的参数，使网络收敛，完成训练，得到遥感图像超分辨率重建模型；步骤六：将待重建的低分辨率遥感图像输入遥感图像超分辨率重建模型中，生成超分辨率重建遥感图像
。2.
根据权利要求1所述的基于生成对抗网络的遥感图像超分辨率重建方法，其特征在于，所述遥感图像高阶退化模型包括第一阶段
、
第二阶段和降采样；第一阶段的输入为高分辨率遥感图像
I
HR
，第一阶段的输出与第二阶段的输入相连接，第二阶段的输出与降采样相连接，降采样的倍率随机选取；降采样后输出多张不同退化程度的低分辨率遥感图像
I
LR
，与高分辨率遥感图像
I
HR
构成多组成对的
HR
‑
LR
遥感图像，作为训练集；其中，第一阶段和第二阶段均包括加模糊和加噪声两个过程，其中，模糊核类型包括高斯模糊核和
sinc
模糊核，噪声类型包括高斯噪声和泊松噪声；模糊核类型和噪声类型按设定概率发生，且第一阶段和第二阶段的设定概率不同，模糊核大小随机选取，进行多次迭代
。3.
根据权利要求1所述的基于生成对抗网络的遥感图像超分辨率重建方法，其特征在于，所述包含超密集残差模块的遥感图像生成器包括第一卷积层
、
超密集残差模块组
、
第二卷积层
、
上采样模块
、
第三卷积层和第四卷积层；低分辨率遥感图像
I
LR
输入第一卷积层，第一卷积层的输出特征输入超密集残差模块组，超密集残差模块组的输出特征与第一卷积层的输出特征相加后输入第二卷积层，第二卷积层的输出特征输入上采样模块，上采样模块的输出特征输入第三卷积层，第三卷积层的输出特征输入第四卷积层，第四卷积层输出重建超分辨率图像
I
SR
；其中，超密集残差模块组包括依次连接的
23
个超密集残差模块
(RRSDB)
，最后一个
RRSDB
的输出特征与第一卷积层的输出特征进行相加后作为第二卷积层的输入特征
。4.
根据权利要求3所述的基于生成对抗网络的遥感图像超分辨率重建方法，其特征在于，所述
RRSDB
包括卷积层Ⅰ、LReLu
激活函数Ⅰ、
卷积层Ⅱ、LReLu
激活函数Ⅱ、
卷积层Ⅲ、LReLu
激活函数Ⅲ、
卷积层Ⅳ、LReLu
激活函数Ⅳ和卷积层
Ⅴ
；其中，输入特征
F
in
输入卷积层Ⅰ，卷积层Ⅰ的输出特征输入
LReLu
激活函数Ⅰ，
LReLu
激活函数Ⅰ的输出特征与输入特征
F
in
相加后得到第一特征
F1；第一特征
F1输入卷积层Ⅱ，卷积层Ⅱ的输出特征输入
LReLu
激活函数Ⅱ，
LReLu
激活函数Ⅱ的输出特征与输入特征
F
in
、
第一特征
F1相加后得到第二特征
F2；第二特征
F2输入卷积层Ⅲ，卷积层Ⅲ的输出特征输入
LReLu
激活函数Ⅲ，
LReLu
激活函数Ⅲ的输出特征与输入特征
F
in
、
第一特征
F1、
第二特征
F2相加后得到第三特征
F3；第三特征
F3输入卷
积层Ⅳ，卷积层Ⅳ的输出特征输入
LReLu
激活函数Ⅳ，
LReLu
激活函数Ⅳ的输出特征与输入特征
F
in
、
第一特征
F1、
第二特征
F2相加后得到第四特征
F4；第四特征
F4输入卷积层
Ⅴ
，经过卷积层
Ⅴ
得到输出特征
F
out
；第一特征
F1、
第二特征
F2、
第三特征
F3、
第四特征
F4和输出特征
F
out
的表达式分别为：
F1＝
C(F
in
)+F
in
；
F2＝
C(F1)+2F
in
+...

【专利技术属性】
技术研发人员：杨蕾，宋晓炜，鹿德源，蔡文静，李梦龙，王浩震，
申请(专利权)人：中原工学院，
类型：发明
国别省市：