一种遥感影像超分辨率模型训练方法和装置制造方法及图纸

本发明专利技术公开了一种遥感影像超分辨率模型训练方法，包括以下步骤：获取遥感影像数据集，其中数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；构建初始超分辨率遥感影像模型和对抗网络模型，初始超分辨率遥感影像模型由生成器网络训练生成；对抗网络模型由生成器网络和U

【技术实现步骤摘要】
一种遥感影像超分辨率模型训练方法和装置


[0001]本专利技术涉及图像智能处理
，具体而言，涉及一种遥感影像超分辨率模型训练方法和装置。

技术介绍

[0002]遥感影像作为地理信息载体的重要组成部分，其清晰度对后续图像应用准确性产生影响。由于遥感图像成像过程受到传感器技术制约，目前存在许多有实用价值而空间分辨率低下的历史遥感影像，如何真实、准确地提高遥感图像分辨率是长期研究的方向。鉴于遥感影像具有空间分辨率这一基本特性，理论上，清晰的遥感图像包含的单元像素密度更高，能够区分愈加精细的地物单元，因此提高遥感影像清晰度之根本，首先在于提高其空间分辨率。
[0003]图像超分辨率清晰化是图像预处理的重要步骤，主要包括基于插值、基于重构以及基于学习的超分辨率方法。基于插值的方法是根据已知像素点在设计的线性函数中插值估计出未知点像素值，如最近邻插值、Lanczos滤波插值或者双三次滤波插值，虽然此类方法运行处理效率高、计算简单易行，但囿于线性模型填充低频信息，导致整体语义信息特征与目标相距甚远，超分辨率结果出现了严重的细节丢失和边缘模糊。基于重构的方法旨在以大量低分辨率图像精准匹配来建立先验信息，最终重建出高质量的图像，主要有凸集投影法、迭代反投影法和最大后验概率法等。然而，超分辨率过程属于高度病态且欠定的问题，即使采用最优参数解算的模型，不同任务下的普适转换性能仍然较弱，超分辨率图像质量并不理想。
[0004]近年来，以大批量数据作为驱动的深度学习方法，在设计相应的模型和损失约束函数后，自动端到端的学习特征映射。生成对抗网络作为深度学习理论框架中重要组成部分，然而，目前大多方法制作训练数据集采用插值降采样+模糊的压缩方法(如Bicubic插值)获取低分辨率图像，不能真正模拟实际高
‑
低分辨率图像纹理变化机理，超分辨率操作后的遥感图像，仍存在严重影响视觉的“伪影”和“鬼影”现象。

技术实现思路

[0005]为解决上述问题，本申请提供了一种遥感影像超分辨率模型训练方法，包括以下步骤：
[0006]获取遥感影像数据集，数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；
[0007]构建初始超分辨率遥感影像模型和对抗网络模型，初始超分辨率遥感影像模型由生成器网络训练生成；对抗网络模型由生成器网络和U
‑
net型判别器网络共同训练生成；
[0008]其中，初始超分辨率遥感影像模型训练过程包括：将遥感影像数据集送入生成器网络，输出SR超分辨率遥感影像，计算损失约束，形成初始超分辨率生成模型G(I
LR
)；
[0009]生成器网络和U
‑
net型判别器网络共同训练指：将SR超分辨率遥感影像与HR高清
遥感影像块在U
‑
net型判别器网络执行对抗训练，计算超分辨率遥感影像生成器网络联合损失和判别器网络判别损失，形成遥感影像超分辨率模型。
[0010]其中，高分辨率遥感影像像素与低分辨率遥感影像像素的比例为4:1，即超分辨率比例因子为4。
[0011]进一步的，生成器网络训练指：
[0012]第1次Conv1卷积加入SN光谱规范化操作构成第1次操作；
[0013]接入RRDRB超密集残差连接块，对RRDRB输出的特征图进行Conv2卷积，加入SN光谱规范化操作构成第2次操作；
[0014]将第1次操作输出的特征图与第2次操作的特征图进行跃迁连接；
[0015]送入SAM自注意力机制模块；
[0016]将SAM输出的特征进行4倍上采样操作，4倍上采样操作包括两次2倍Nearest最近邻插值，分别加入SN光谱规范化操作；附加两次3
×
3卷积操作，卷积操作分别加入SN光谱规范化操作。
[0017]进一步的，U
‑
net型判别器网络结构包括10层卷积操作，分别为：Conv0层、Conv1层、Conv2层、Conv3层、Conv4层、Conv5层、Conv6层、Conv7层、Conv8层以及Conv9层；
[0018]10层卷积操作层在卷积层后均加入SN光谱规范化层；
[0019]其中，Conv3层、Conv4层、Conv5层、Conv6层进行UpSampling上采样操作；
[0020]Conv2和Conv4、Conv1和Conv5、Conv0和Conv6卷积层采取跃迁连接操作；
[0021]Conv7和Conv8卷积层Leaky
‑
ReLU(α＝0.2)函数的激活操作。
[0022]进一步的，初始超分辨率遥感影像模型G(I
LR
)损失函数公式定义为：
[0023][0024]其中，L
char
为生成的SR超分辨率遥感影像集I
SR
与HR真实高清遥感影像标签I
HR
之间的像素差值残差，ε为稳定网络整体训练的常数项，且ε＝10
‑3。
[0025]超分辨率遥感影像生成器网络和判别器网络的L
adv
对抗损失项定义如下：
[0026][0027][0028]其中，为判别器网络对抗损失函数，为生成器网络的对抗损失函数，I
SR
＝G(I
LR
)为生成的超分辨率遥感图像数据集，I
HR
为高清遥感图像数据集；E(*)代表输入数据批次的均值；D
Ra
(I
HR
,I
SR
)＝σ(C(I
HR
))
‑
E[(C(I
SR
)])，σ是sigmoid预测函数，C(*)代表判别器网络中非线性变换的输出值。
[0029]进一步的，超分辨率遥感影像生成器网络L
G
联合损失定义为：
[0030][0031]其中，η、λ以及β是调节生成器网络不同子损失项的常量，η＝10
‑2、λ＝5
×
10
‑4、β＝1
×
104，L
text
为SR超分辨率遥感影像与HR真实高清遥感影像之间的纹理约束损失项，定义为：φ(*)为预训练的VGGNet
‑
19模型，G
r
(F)为格雷
姆矩阵；
[0032]判别器网络L
D
判别损失函数公式定义为：
[0033]L
G
与L
D
损失稳定迭代收敛时，停止网络训练。
[0034]另一方面，本申请提供了一种遥感影像超分辨率模型训练装置，包括：
[0035]遥感影像数据集预处理模块，用于生成遥感影像数据集，数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感影像超分辨率模型训练方法，其特征在于，包括以下步骤：获取遥感影像数据集，所述数据集由真实的遥感影像实验数据集对构成，一组所述遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；构建初始超分辨率遥感影像模型和对抗网络模型，所述初始超分辨率遥感影像模型由生成器网络训练生成；所述对抗网络模型由生成器网络和U
‑
net型判别器网络共同训练生成；其中，初始超分辨率遥感影像模型训练过程包括：将所述遥感影像数据集送入生成器网络，输出SR超分辨率遥感影像，计算损失约束，形成初始超分辨率生成模型G(I
LR
)；所述生成器网络和U
‑
net型判别器网络共同训练指：将所述SR超分辨率遥感影像与HR高清遥感影像块在U
‑
net型判别器网络执行对抗训练，计算超分辨率遥感影像生成器网络联合损失和判别器网络判别损失，形成遥感影像超分辨率模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述高分辨率遥感影像像素与低分辨率遥感影像像素的比例为4:1，即超分辨率比例因子为4。3.根据权利要求1所述的模型训练方法，其特征在于，所述生成器网络训练指：第1次Conv1卷积加入SN光谱规范化操作构成第1次操作；接入RRDRB超密集残差连接块，对RRDRB输出的特征图进行Conv2卷积，加入SN光谱规范化操作构成第2次操作；将所述第1次操作输出的特征图与第2次操作的特征图进行跃迁连接；送入SAM自注意力机制模块；将SAM输出的特征进行4倍上采样操作，所述4倍上采样操作包括两次2倍Nearest最近邻插值，分别加入SN光谱规范化操作；附加两次3
×
3卷积操作，所述卷积操作分别加入SN光谱规范化操作。4.根据权利要求1所述的模型训练方法，其特征在于，所述U
‑
net型判别器网络结构包括10层卷积操作；所述10层卷积操作层为：Conv0层、Conv1层、Conv2层、Conv3层、Conv4层、Conv5层、Conv6层、Conv7层、Conv8层以及Conv9层；所述10层卷积操作层在卷积层后均加入SN光谱规范化层；所述Conv3层、Conv4层、Conv5层、Conv6层进行UpSampling上采样操作；所述Conv2和Conv4、Conv1和Conv5、Conv0和Conv6卷积层采取跃迁连接操作；所述Conv7和Conv8卷积层Leaky
‑
ReLU(α＝0.2)函数的激活操作。5.根据权利要求1所述的模型训练方法，其特征在于，所述初始超分辨率遥感影像模型G(I
LR
)损失函数公式定义为：其中，L
char
为生成的SR超分辨率遥感影像集I
SR
与HR真实高清遥感影像标签I
HR
之间的像素差值残差，ε为稳定网络整体训练的常数项，且ε＝10
‑3。6.根据权利要求5所述的模型训练方法，其特征在于，所述超分辨率遥感影像生成器网络和判别器网络的L
adv
对抗损失项定义如下：
其中，为判别器网络对抗损失函数，为生成器网络的对抗损失函数，I
SR
＝G(I
LR
)为生成的超分辨率遥感图像数据集，I
HR
为高清遥感图像数据集；E(*)代表输入数据批次的均值；D
Ra
(I
HR
,I
SR
)＝σ(C(I
HR
))
‑
E[(C(I
S...

【专利技术属性】
技术研发人员：罗卫，龙超，饶维冬，冯刚，张林杰，黄筱，
申请(专利权)人：中国电建集团贵阳勘测设计研究院有限公司，
类型：发明
国别省市：