基于光谱约束对抗网络的高光谱图像超分辨率方法技术

本发明专利技术提出了一种基于光谱约束对抗网络的高光谱图像超分辨率方法，解决了现有技术生成的高光谱图像光谱失真严重、依赖先验信息且运算复杂度高的问题。实现步骤为：构建生成器网络；构建判决器网络；构建光谱约束对抗网络；初始化光谱约束对抗网络；生成训练集；训练光谱约束对抗网络；对高光谱图像进行超分辨率。本发明专利技术利用光谱约束对抗网络，不需要借助同一场景下的高分辨率多光谱图像作为先验信息进行图像融合，能够有效提升高光谱图像空间分辨率，同时降低超分辨率后高光谱图像的光谱失真。

【技术实现步骤摘要】
基于光谱约束对抗网络的高光谱图像超分辨率方法
本专利技术属于图像处理
，更进一步涉及图像超分辨率
中的一种基于光谱约束对抗网络的高光谱图像超分辨率方法。本专利技术可用于提高空间分辨率较低的高光谱图像的空间分辨率。
技术介绍
由于高光谱图像同时包含了被拍摄场景的空间信息和光谱信息，相较于自然图像只能在空间维进行处理的单一方式，可以从空间维和光谱维同时处理高光谱图像。在目标检测、图像分类，语义分割等自然图像处理领域，更高的空间分辨率往往意味着能够获取更好地效果，对于高光谱图像同样如此。然而，现有的高光谱图像超分辨率方法超分后的高光谱图像不是空间信息细节过于模糊，就是光谱失真严重，不能同时做到既能提升高光谱图像的空间分辨率又能有效抑制光谱失真。西北工业大学在其申请的专利文献“基于生成对抗网络的高光谱图像超分辨重建方法”(专利申请号：201910389210.7，申请公开号：110119780A)中提出了一种高光谱图像超分辨率方法。该方法在生成对抗网络中设计了一种包含双残差块的生成器网络，其中一个残差块用于提取空间特征，另一个残差块本文档来自技高网...

【技术保护点】
1.一种基于光谱约束对抗网络的高光谱图像超分辨率方法，其特征在于，构建由生成器网络和判决器网络组成的光谱约束对抗网络；生成高光谱图像训练集对光谱约束对抗网络的生成器和判决器进行交替训练；该方法具体步骤包括如下：/n(1)构建生成器网络：/n(1a)搭建一个生成器网络，其结构依次为：输入层→第1卷积层→第1归一化层→第1激活函数层→残差块组合→上采样模块→注意力模块→第8卷积层→输出层；/n所述残差块组合由3个相同的残差块采用交叉连接方式组成，每个残差块的结构依次为：第2卷积层→第2归一化层→第2激活函数层→第3卷积层→第3归一化层→第1特征融合层；/n所述上采样模块由k个反卷积层串联组成，k的...

【技术特征摘要】
1.一种基于光谱约束对抗网络的高光谱图像超分辨率方法，其特征在于，构建由生成器网络和判决器网络组成的光谱约束对抗网络；生成高光谱图像训练集对光谱约束对抗网络的生成器和判决器进行交替训练；该方法具体步骤包括如下：
(1)构建生成器网络：
(1a)搭建一个生成器网络，其结构依次为：输入层→第1卷积层→第1归一化层→第1激活函数层→残差块组合→上采样模块→注意力模块→第8卷积层→输出层；
所述残差块组合由3个相同的残差块采用交叉连接方式组成，每个残差块的结构依次为：第2卷积层→第2归一化层→第2激活函数层→第3卷积层→第3归一化层→第1特征融合层；
所述上采样模块由k个反卷积层串联组成，k的取值是logr；其中：r表示上采样系数，r取值是2，4，8中的任意值，log表示以2为底的对数操作；
所述注意力模块由全局平均池化层和全局最大池化层两层并列的网络组成；
所述输入层采用InputLayer函数实现，每个归一化层均采用BatchNormalization函数实现，每个激活函数层均采用LeakyReLU函数实现，特征融合层采用ElementwiseSUM函数实现，全局平均池化层采用GlobalMeanPool3d函数实现，全局最大池化层采用GlobalMaxPool3d函数实现；
(1b)设置生成器网络的每层参数：
将第1卷积层和第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数分别设置为32和1，卷积步长均设置为1；
将第1激活函数层和第2激活函数层的每个LeakyReLU函数的斜率均设置为0.3；
将第1残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为1×1×9和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将第2残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为2×2×8和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将第3残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为3×3×7和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将上采样模块中反卷积层的3D卷积核大小设置为6×6×6，卷积核的个数均设置为64，卷积步长设置为2×2×1；
(2)构建判决器网络：
(2a)搭建一个判决器网络，其结构依次为：输入层→第1卷积层→第1激活函数层→特征提取块组合→第1全连接层→第9激活函数层→第2全连接层→输出层；
所述特征提取块组合由7个相同的特征提取块级联组成，每个特征提取块的结构依次为：第2卷积层→第1归一化层→第2激活函数层；
所述输入层采用InputLayer函数实现，每个激活函数层均采用LeakyReLU函数实现，每个归一化层均采用BatchNormalization函数实现，第1全连接层和第2全连接层采用Dense函数实现，输出层采用Sigmoid函数实现；
(2b)设置判决器网络的每层参数：
将第1卷积层至第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数依次设置为32、32、64、64、128、128、256、256，卷积步长依次设置为1、2、1、2、1、2、1、2；
将第1激活函数层至第9激活函数层的每个LeakyReLU函数的斜率均设置为0.3；
将两个Dense全连接层的输出节点个数分别设置为1024和1；
(3)构建光谱约束对抗网络：
将生成器网络和判决器网络级联组成光谱约束对抗网络；
(4)初始化光谱约束对抗网络：
使用random_normal_initializer函数将光谱约束对抗网络中所有的卷积层、反卷积层、归一化层以及全连接层的权重初始化为满足正态分布的随机值；其中：所述正态分布的标准差为0.02；
(5)生成训练集：
(5a)从高光谱图像数据集随机选取不少于总图像张数60％的图像组成初始训练集，初始训练集中每张高光谱图像分辨率均为H×W×C，初始训练集中总的图像张数与高光谱图像数据集总的图像张数的比值越大越好；其中，初始训练集中的高光谱图像的高度H、宽度W、光谱波段数C的值依次不小于32、32、10；
(5b)对初始训练集中的每张高分辨率高光谱图像进行预处理，得到各自对应的分辨率为的低分辨率高光谱图像；将预处理后的低分辨率高光谱图像和初始训练集中的高分辨率高光谱图像组成训练集；
(6)训练光谱约束对抗网络：
(6a)将训练集中的低分辨率高光谱图像输入到生成器网络中，生成器网络输出超分后的高分辨率高光谱图像，利用生成器网络损失函数计算生成器网络损失值；
利用生成器网络的损...

【专利技术属性】
技术研发人员：雷杰，李雪朋，谢卫莹，李云松，崔宇航，钟佳平，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61