基于深度残差网络的高光谱图像超分辨率重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度残差网络的高光谱图像超分辨率重建方法。本发明专利技术方法利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；所述深度残差网络包含2

【技术实现步骤摘要】
基于深度残差网络的高光谱图像超分辨率重建方法及装置
本专利技术涉及一种图像超分辨率重建方法，尤其涉及一种高光谱图像超分辨率重建方法。
技术介绍
高光谱遥感是当前遥感领域的前沿技术。高光谱成像设备在紫外至近红外的数百个光谱波段上进行连续地成像，采集到的高光谱图像含有丰富的空间和光谱信息，具有光谱连续、图谱合一的特性。它的每一个像元都可以提取出一条近似于连续的光谱曲线，用来反映该像元所对应地物的材料属性，因此，高光谱遥感技术在目标检测、环境监测、矿物勘探等军事或民用领域均体现出极高的应用价值。另外在医学成像中，通过高光谱成像技术获得的空间分辨光谱成像提供了关于组织生理学、形态学和组成的诊断信息。受成像条件和光学器件的影响，在高光谱图像的获取和处理过程中存在诸多问题：(1)一般高光谱图像具有较高的光谱分辨率和较低的空间分辨率，较低的空间分辨率大大限制了高光谱图像的实际应用。从硬件上来提高高光谱图像的分辨率代价高而效果提升不大，例如对成像光谱仪精度的提高、图像尺寸的缩小、单位面积内像素采集量的增加，都受到了当前的制造水平和物理规律的制约，从硬件上提高其分辨率较为困难、耗时耗力；(2)高光谱图像容易受到外界因素的影响，获取的图像空间分辨率低且存在出现大量的混合像素，导致图像质量下降、信息丢失，而图像质量衰退的过程是不规律的，这使图像的超分辨率重建更为困难。对图像的后续处理和使用带来了一定的问题，影响了应用的可靠性与准确性。(3)针对图像超分辨率病态(ill-posed)问题，人们提出了多种正则化方法，包括基于插值的方法、基于多帧图像的方法和基于样本学习的单帧图像超分辨率方法。这些方法在灰度图像或彩色图像上取得较好的重建效果，但是直接应用于高光谱图像重建效果并不理想。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术不足，提供一种基于深度残差网络的高光谱图像超分辨率重建方法，可以有效地缓解高光谱图像训练样本少、单个样本数据量大、难以训练等问题，并且在一定程度上克服了硬件制造技术与成像环境对高光谱图像分辨率的限制。本专利技术所提出的基于深度残差网络的高光谱图像超分辨率重建方法，利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。根据相同的专利技术思路还可以得到以下技术方案：一种基于深度残差网络的高光谱图像超分辨率重建装置，包括预先训练的深度残差网络，用于进行高光谱图像的超分辨率重建；所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。优选地，所述深度残差网络在训练过程中所使用的训练样本通过以下方法得到：对高分辨率高光谱图像进行退化处理，得到对应的低分辨率高光谱图像；然后分别对高、低分辨率高光谱图像进行分块，每一对高、低分辨率高光谱图像块即为一个训练样本。优选地，M的值为4。优选地，使用ADAM算法结合BP算法对所述深度残差网络进行训练。进一步优选地，训练过程中各卷积层的权值矩阵W与偏置b的参数更新方式具体如下：mt＝μ×mt-1+(1-μ)×gt其中，t表示时间步长，gt表示时间步长t的梯度，mt是一阶有偏矩估计，nt是二阶有偏矩估计，是一阶偏差校正矩估计，是二阶偏差校正矩估计，ε是一个非常小的正数，η是学习率，μ、υ是矩估计的指数衰减率并且μ,υ∈[0,1)，θt是参数矢量(W、b)，参数矢量每次更新的增量为Δθt。相比现有技术，本专利技术技术方案具有以下有益效果：本专利技术针对高光谱图像特点及获取与处理过程中存在的问题，从软件方法着手，将深度残差网络引入高光谱图像的超分辨率重建，并以二进制指数方式的跳跃连接对深度残差网络模型进行改进，通过滑块卷积充分利用高光谱图像的空间相似性与邻谱间相似性有效地保持高光谱图像特征，深度网络模型的结构特点与卷积神经网络的权值共享能缓解数据量大、因网络模型深度加深带来的训练困难、空间与时间复杂度高等问题。附图说明图1为传统深度残差网络结构示意图；图2为Kim等人提出的VDSR网络结构示意图；图3为本专利技术所提出深度残差网络一个具体实施例的结构示意图；图4为具体实施例中单个残差块的结构示意图。具体实施方式针对现有高光谱图像超分辨率重建技术的不足，本专利技术的思路是将深度残差网络引入高光谱图像的超分辨率重建，并以二进制指数方式的跳跃连接对深度残差网络模型进行改进。该模型利用卷积神经网络优异的特征提取能力和权值共享特点及网络结构特点，有效地缓解了高光谱图像训练样本少，单个样本数据量大，训练困难等问题。并且训练出的深度残差网络模型具有强大的泛化能力和一定的迁移功能。在高光谱图像超分辨率重建过程中充分考虑高光谱图像的空间相似性与邻谱间相似性，在提升空间分辨率的同时保持光谱信息。2014年Dong等人提出的SRCNN(三个的卷积层端对端连接)首次将卷积神经网络应用于图像超分辨率重建并取得不错的效果，性能优于传统方法；2015年He等人提出的ResNet分析网络可以通过扩展深度和宽度来提升性能但无法无限地加深加宽，达到饱和后，训练难度急剧上升且效果可能还会变差，而通过在网络中引入残差学习(跳跃连接)便可以克服这一问题，深度残差网络一经出世便在ImageNet中斩获图像分类、检测、定位三项的冠军。如图1所示为一般的残差网络结构示意图(包含三个残差块，引入了三个跳跃连接，每个残差块中有三个隐层)。对每个残差块，通常在对网络的训练过程中需要优化的是学习到的残差与输入之和，但是通过引入跳跃连接，可以将优化的目标转换为优化输出与输入之差(即残差)，在图像超分辨率重建中，残差则为高低分辨率中相差的高频细节信息，由于低频信息占大部分，残差矩阵中的值有很多为零，残差因而具有稀疏特性，在优化过程中降低了训练难度且使得收敛加快。受二者的启发，2016年Kim等人提出的VDSR网络，用于普通二维图像的超分辨率重建，如图2所示。该网络主线路为20层卷积层，并且引入残差学习方式，从网络输入端直接将输入连接到输出端(图2所示跳跃连接)与通过20层卷积层学习到的残差求和后得到高分辨率图像。由于VDSR是针对二维图像做处理的，将VDSR直接拿来做高光谱图像的超分辨率重建并不合适，需要同时考虑高光谱图像的空间特性和谱特性。引入残差学习这一方式，相对于没有残差的情况可以将网络的深度扩展至更深使网络性能得到不错的提升，结合卷积神经网络的特性，减少了网络参数，避免在训练时因网络深度加深带来的梯度消失和梯度爆炸，收敛更快。此外，VDSR只引入了一个跳跃连接，而在网络搭建过程中，通过对跳跃连接的引入方式进行设计可以更好的利用残差学习的优点，使得网络性能得到进一步提升。本专利技术在将深度残差网络引入高光谱图像超分辨率重建的同时，以二进制指数方式的跳跃连接对传统深度残差网络进行了改进。具体而言，本专利技术所提出的基于本文档来自技高网...

【技术保护点】
1.一种基于深度残差网络的高光谱图像超分辨率重建方法，利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；其特征在于，所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1，2，…，M。

【技术特征摘要】
1.一种基于深度残差网络的高光谱图像超分辨率重建方法，利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；其特征在于，所述深度残差网络包含2M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1，2，…，M。2.如权利要求1所述方法，其特征在于，所述深度残差网络在训练过程中所使用的训练样本通过以下方法得到：对高分辨率高光谱图像进行退化处理，得到对应的低分辨率高光谱图像；然后分别对高、低分辨率高光谱图像进行分块，每一对高、低分辨率高光谱图像块即为一个训练样本。3.如权利要求1所述方法，其特征在于，M的值为4。4.如权利要求1所述方法，其特征在于，使用ADAM算法结合BP算法对所述深度残差网络进行训练。5.如权利要求4所述方法，其特征在于，训练过程中各卷积层的权值矩阵W与偏置b的参数更新方式具体如下：mt＝μ×mt-1+(1-μ)×gt其中，t表示时间步长，gt表示时间步长t的梯度，mt是一阶有偏矩估计，nt是二阶有偏矩估计，是一阶偏差校正矩估计，是二阶偏差校正矩估计，ε是一个非常小的正数，η是学习率，μ、υ是矩估计的指数衰减率并且μ，υ∈[0，1)，θt是参数矢量(W、b)，参数矢量每次更新的增量为Δθt。6....

【专利技术属性】
技术研发人员：邓承志，颜苏东，徐晨光，吴朝明，王军，田伟，汪胜前，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：江西,36