基于谱空结合和梯度域损失的高光谱图像超分辨重构方法技术

本发明专利技术涉及一种基于谱空结合和梯度域损失的高光谱图像超分辨重构方法，属于图像超分辨重构领域。该方法包括：S1：得到高光谱图像；S2：将高光谱图像分成训练集和测试集；S3：将训练集输入谱空结合的神经网络中，并利用空域和梯度域的联合损失来训练；S4：将测试集通过神经网络，得到最后重构结果。本发明专利技术所采用的方法与现有的技术相比，在网络结构上更为轻量化，同时具有更高的重构质量，且具有较强的抗噪性能。

【技术实现步骤摘要】
基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
本专利技术属于图像超分辨重构领域，涉及一种基于谱空结合网络和梯度域损失的高光谱图像超分辨重构方法。
技术介绍
高光谱图像空间分辨率低，极易产生混合端元，导致光谱畸变，破坏端元的空间和光谱一致性。从输入信息来区分，高光谱图像超分辨率重构大致可以分成两种：基于图像融合的重构方法(有辅助图像)、无辅助图像的重构方法。基于图像融合的重构方法采用RGB图像或全色(Panchromatic,PAN)图像或多光谱(Multispectral,MS)图像作为辅助，使用空间和光谱信息来联合约束，从而解混端元、减缓光谱畸变。使用RGB辅助的重构方法，将高光谱超分辨率重构问题看成对LR图像及对应RGB图像求有关稀疏、非负约束的优化问题。Akhtar等人使用稀疏编码策略来重构高光谱图像，充分挖掘其空间结构及信号非负性、稀疏性。Dong等人提出基于非负矩阵结构稀疏编码(Non-NegativeStructuredSparseRepresentation,NNSR)来探索图像稀疏表示的空间相关性，使用高光谱LR图像和对应的RGB图像重构得到HR图像。基于同一地点高光谱图像和PAN图像的端元具有一致性，Zhao等人通过高光谱图像和对应PAN图像训练过完备字典对，并使用非局部相似性来表示HR图像与LR图像间的映射关系。由于PAN图像是混合可见光波段形成的灰度图像，光谱分辨率低，在与高光谱图像的融合过程易产生光谱畸变。相对于PAN图像，MS图像空间分辨率更低，但谱信息丰富，有几个到十几个波段，能够获得地物的色彩信息。Zhang等人提出了一种基于小波的贝叶斯融合框架，并把高斯混合模型作为先验约束小波系数，对高光谱LR图像和高分辨率MS图像进行融合，最后得到高光谱HR图像。Wei等人通过训练观察图像得到过完备字典，使用带有稀疏正则的优化框架来融合高光谱图像和MS图像，并通过交替优化投影目标图像和系数编码来求解。然而，在实际应用中，难以获得同一场景下光谱覆盖范围相通的MS图像，波段范围不同会导致高光谱图像重构质量下降。无辅助图像的重构方法因其物理要求简单而受到了广泛关注。无辅助图像的重构只利用高光谱LR图像，结合了高光谱图像的空间、谱信息对重构进行约束。Xing等人利用高光谱图像学习字典，并使用Beta-Bernoulli过程提高字典的自洽性，但计算复杂度高。Akgun等人把高光谱图像看成若干个含有高维特征的凸集，使用POCS(ProjectionOntoConvexSet)来获得HR图像的解空间，并加入先验信息约束，能够较好保持图像的边缘和细节信息，但解过于依赖初始值、不具有唯一性。Zhang等人提出了一种基于MAP(MaximumAPosterior)的高光谱图像超分辨率重构算法，在求解时加入先验知识以保证解的唯一性，将高光谱图像的波段分成三组并使用主成分分析减少计算量、去除冗余信息。近年来，深度学习在高光谱图像重构上也得到了广泛应用。Yuan等人借鉴迁移学习的思想，利用自然图像LR和HR图像的映射关系来帮助重构高光谱HR图像，但该方法并没有考虑到高光谱图像的谱间信息相关性。3D-FCNN使用三维卷积提取谱空特征，对于同一个探测器采集的高光谱图像无需二次训练即可进行重构。Li等人使用深度卷积网络学习高光谱图像谱段间的差值，结合差值及LR图像初始化HR图像，并采用IBP算法，通过最小化HR图像与其反向投影所得LR图像间的仿真误差，对HR图像进行迭代更新直到收敛。总体来说，现有技术在解决高光谱图像时存在如下几个问题：1)方法的时间复杂度与重构质量无法兼顾；2)现有方法无法捕捉高光谱图像的谱信息做到谱空结合，重构质量不佳。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于谱空结合网络和梯度域损失的高光谱图像超分辨重构方法，将高光谱图像的所有谱信息作为神经网络输入，并使用伪3D卷积和残差学习充分利用不同谱之间的联系，以提高重构效果，并采用梯度域损失和空域损失相结合的损失函数来提高重构图像的细节质量。本专利技术所采用的方法与现有技术相比，能够在相同的空间、时间等条件花费下，取得较清晰的重构效果，优于现有技术。为达到上述目的，本专利技术提供如下技术方案：一种基于谱空结合和梯度域损失的高光谱图像超分辨重构方法，包括以下步骤：S1：得到高光谱图像；S2：将高光谱图像分成训练集和测试集；S3：将训练集输入谱空结合的神经网络中，并利用空域和梯度域的联合损失来训练；S4：将测试集通过神经网络，得到最后重构结果。进一步，步骤S3中，所述的谱空结合的神经网络SSRNet是基于深度学习的卷积神经网络，将HR图像重构任务转化成对HR图像与LR图像间残差的拟合，并使用伪三维卷积来提取谱空特征，实现对空间分辨率、谱分辨率的提高；SSRNet使用了像素域Charbonnier损失函数和梯度域损失相结合的损失函数，提高重构图像质量，并采用了多尺度训练方式，完成多种采样因子下的图像重构任务。进一步，所述SSRNet结构包括：其中包括14个卷积层，且除了最后一个卷积层外每一个卷积层都有一个激活函数层相结合；1)深度残差学习：A、在网络输入与输出之间添加跳跃连接，使网络学习的是高/低分辨率图像间的残差，网络参数的权重也相对稀疏，可以加快收敛速度；B、网络中使用残差块，降低因网络层数的加深出现梯度消失或者爆炸的风险；2)引入伪三维卷积(Pseudo-3DConvolution,P3D)残差块；所述残差块的数量根据计算资源的不同而修改；增加残差块的数量可以提高重构质量，但会增加计算资源消耗；对于一个3x3x3的三维卷积核，P3D采用一个3x1x1的一维谱卷积核和一个1x3x3的二维空域卷积核来代替；相较于同深度的二维卷积神经网络，伪三维卷积神经网络有效减少了参数数目、模型大小；同时在残差块设计时，在首尾端分别添加大小为1x1x1的瓶颈层，减少了二维空域卷积核与一维谱卷积核的输入输出特征图的尺寸，从而降低计算成本，便于增加网络深度；3)在伪三维卷积残差模块中去掉BN层，提升网络性能；BN层的主要作用就是防止梯度消失或爆炸，但是本专利技术在设计网络结构时去掉了BN层，主要有以下两个原因：①BN层通常使用较大的batchsize，但由于高光谱图像数据大，维度高，采用较大batchsize时会急剧增加计算资源消耗，所以网络结构设计时采用较小的batchsize，也就不适用BN层；②BN层在标准化特征的同时，也减小了网络的范围柔性(RangeFlexibility)，即网络能够表现或应对变化的范围；因此对于图像超分辨率重构，去除BN层不会降低图像重构质量，反而能够提升网络性能、减少GPU内存使用率。4)网络中的激活函数都采用Relu激活函数，加快收敛速度，防止梯度爆炸和梯度消失。进一步，步骤S3中，所述损失函数是神经网络优化的目标函数，用于评价预测值和真实值之间的差别，优秀的损失函数可以提高网络收敛速度，提升预测值的质量，反之，会降低网络整体性能；对于基于深度学习的超分辨率重构方法，最常用的损失函数是基于像素对间最小化的方法MSE，最小化MSE可以直观地提升PSNR值。尽管MSE优化简单，但网络返回的是多个可能图像的平均值，有异常点会使MSE值本文档来自技高网...

【技术保护点】
1.一种基于谱空结合和梯度域损失的高光谱图像超分辨重构方法，其特征在于，该方法包括以下步骤：S1：得到高光谱图像；S2：将高光谱图像分成训练集和测试集；S3：将训练集输入谱空结合的神经网络中，并利用空域和梯度域的联合损失来训练；S4：将测试集通过神经网络，得到最后重构结果。

【技术特征摘要】
1.一种基于谱空结合和梯度域损失的高光谱图像超分辨重构方法，其特征在于，该方法包括以下步骤：S1：得到高光谱图像；S2：将高光谱图像分成训练集和测试集；S3：将训练集输入谱空结合的神经网络中，并利用空域和梯度域的联合损失来训练；S4：将测试集通过神经网络，得到最后重构结果。2.根据权利要求1所述的基于谱空结合和梯度域损失的高光谱图像超分辨重构方法，其特征在于，步骤S3中，所述的谱空结合的神经网络SSRNet是基于深度学习的卷积神经网络，将HR图像重构任务转化成对HR图像与LR图像间残差的拟合，并使用伪三维卷积来提取谱空特征，实现对空间分辨率、谱分辨率的提高；SSRNet使用了像素域Charbonnier损失函数和梯度域损失相结合的损失函数，提高重构图像质量，并采用了多尺度训练方式，完成多种采样因子下的图像重构任务。3.根据权利要求2所述的基于谱空结合和梯度域损失的高光谱图像超分辨重构方法，其特征在于，所述SSRNet结构包括：1)深度残差学习：在网络输入与输出之间添加跳跃连接，使网络学习的是高/低分辨率图像间的残差，2)引入伪三维卷积(Pseudo-3DConvolution,P3D)残差块；所述残差块的数量根据计算资源的不同而修改；3)在伪三维卷积残差模块中去掉BN层，提升网络性能；4)网络中的激活函...

【专利技术属性】
技术研发人员：王敏全，丁溢洋，尚赵伟，秦安勇，赵林畅，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50