一种基于3D卷积神经网络的高光谱图像超分辨率复原方法技术

本发明专利技术公开了一种基于3D卷积神经网络的高光谱图像超分辨率复原方法，本发明专利技术采用如下的技术方案：3D残差密集网络，该网络创新点包括3D卷积核对高光谱图像光谱维进行卷积部分和3D亚像素重组对图像进行放大并重建高分辨率图像部分，将这两部分统一在深度卷积神经网络框架3D‑RDN中，通过残差密集块等结构充分利用卷积层的分层特征，实现对高光谱图像的超分辨率复原。当前现有的基于深度学习的方法应用于高光谱图像时，未充分考虑高光谱图像自身的特征，因而难以有效利用高光谱图像丰富的光谱维信息重建高分辨率的图像。本发明专利技术充分利用高光谱图像的所有空谱信息，实现高效超分辨率复原，在PSNR值上优于现有方法。

【技术实现步骤摘要】
一种基于3D卷积神经网络的高光谱图像超分辨率复原方法
本专利技术属于计算机视觉中的图像复原领域，尤其涉及高光谱图像的超分辨率复原，进一步涉及一种利用卷积神经网络进行高光谱图像超分辨率复原的方法，充分利用3D卷积核、3D亚像素重组技术与残差密集网络的特点。本方法在公开数据集上得到良好的识别性能验证。
技术介绍
高光谱图像是一种能够实现地物空间信息和光谱信息同步获取的图像，其在深空探测、地质勘探、农作物遥感乃至人脸识别等领域都具有非常重要的应用价值。然而受成像原理的制约，高光谱图像的空间分辨率往往低于普通可见光图像，因此采用超分辨率复原技术，通过信号处理的方法突破成像设备的极限，成为提高高光谱图像空间分辨率的重要途径。近年来，深度学习技术的发展为超分辨率复原技术的研究带来了新的思路，已成为相关领域的主流技术，取得了显著优于传统技术的效果。然而现有的该类方法主要面向普通二维图像展开，尚未充分考虑高光谱图像自身的特征，因而难以有效利用高光谱图像的空间和光谱维信息，重建高分辨率的图像，并且传统的深层卷积神经网络未能充分利用每一层卷积提取的特征。为此，本专利技术针对高光谱图像的空谱相关性特点，参本文档来自技高网...

【技术保护点】
1.一种基于3D卷积神经网络的高光谱图像超分辨率复原方法，3D残差密集网络，该网络创新点包括3D卷积核对高光谱图像光谱维进行卷积部分和3D亚像素重组对图像进行放大并重建高分辨率图像部分，将这两部分统一在深度卷积神经网络框架3D‑RDN中，通过残差密集块等结构充分利用卷积层的分层特征，实现对高光谱图像的超分辨率复原；其特征在于：该方法包括3个步骤：获取低分辨率高光谱图像数据集；构建3D残差密集网络，将低分辨率图像输入网络中进行迭代监督训练，保存模型；将模型应用于新数据中，进行超分辨率复原；步骤1：首先对高分辨率图像进行预处理，对图像进行高斯模糊以及降采样操作，获得用于网络训练的低分辨率高光谱图像...

【技术特征摘要】
1.一种基于3D卷积神经网络的高光谱图像超分辨率复原方法，3D残差密集网络，该网络创新点包括3D卷积核对高光谱图像光谱维进行卷积部分和3D亚像素重组对图像进行放大并重建高分辨率图像部分，将这两部分统一在深度卷积神经网络框架3D-RDN中，通过残差密集块等结构充分利用卷积层的分层特征，实现对高光谱图像的超分辨率复原；其特征在于：该方法包括3个步骤：获取低分辨率高光谱图像数据集；构建3D残差密集网络，将低分辨率图像输入网络中进行迭代监督训练，保存模型；将模型应用于新数据中，进行超分辨率复原；步骤1：首先对高分辨率图像进行预处理，对图像进行高斯模糊以及降采样操作，获得用于网络训练的低分辨率高光谱图像数据集；步骤2：构建3D残差密集网络，网络构成的重点位3D卷积核及3D亚像素重组技术；传统二维卷积神经网络在空间维度上采用的是全局感受野，但缺乏光谱维度的局部感受野；为弥补传统二维神经网络对高光谱图像进行处理时没有充分利用图像谱间相关性的数据特点，将2D卷积拓展到3D卷积；3D卷积能够在高光谱图像空间维及光谱维上同时进行卷积操作，捕捉其谱间信息及空间信息，进行特征提取；输入数据为由多个波段图像组成的高光谱图像三维立方体，3D卷积核在空间维及光谱维上同时进行卷积操作，并以1为步长使得卷积核在输入立方体中滑动遍历，多个连续波段依次通过卷积，卷积层中每个特征图都与上一层的多个相邻连续波段相连，从而获取一定的光谱维信息；在第一层卷积中，感受野与卷积核大小相同，为3×3×3，第二层卷积层中一个特征图的某一位置的值是通过卷积第一层的三个连续波段图像的同一位置的局部感受野得到的；随着卷积层熟的加深，局部感受野变大，最终覆盖所有波段，充分利用整个高光谱图像的光谱维信息；3D亚像素重组图像也是的重要步骤之一，将二维亚像素重组技术拓展到光谱维度，针对复原过程中图像尺寸放大及重建的过程，其插值函数被隐含地包含在前面网络的卷积层中自动学习到；由于卷积运算都是在低分辨率图像尺寸大小上进行，因此效率会较高；在低分辨率空间中提取局部和全局特征之后，在高分辨率空间中将图像放大到输出尺寸，得到输出的高分辨率图像；当输入大小为H×W×C的原始低分辨率图像通过三个三维残差密集块之后，其中H,W,C分别为输入图像的高、宽和光谱维高度，得到与输入的图像大小相同的r3个特征图像数据块，r为放大倍数；再将特征图像块每个像素r3个通道重新排列成一个r×r×r的区域，对应高分辨率图像中一个r×r×r大小的子块，从而大小为H×W×C×r3的特征图像被重新排列成rH×rW×rC×1的高分辨率图像；最后一层卷积层输出的特征个数需要设置成固定值，即放大倍数r的平方，这样总的像素个数就与要得到的高分辨率图像一致，将像素进行重新排列得到高分辨率图；将3D卷积核与3D亚像素重组技术融合入残差密集网络中；本发明的3D-RDN网络结构由四部分组成：三维浅层特征提取3D-SFE、三维残差密...

【专利技术属性】
技术研发人员：王素玉，李鑫，于晨，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11