基于层级特征融合的卷积神经网络高光谱图像锐化方法技术

本发明专利技术公开了基于层级特征融合的卷积神经网络高光谱图像锐化方法，包括，读取原始高光谱图像数据；合成全色图像数据；对获取的图像数据进行分块处理，得到训练样本对；构造基于层级特征融合的卷积神经网络结构；将训练样本对输入至基于层级特征融合的卷积神经网络，利用随机梯度下降算法，使训练误差逐步降低，直到维持在可接受范围内，从而得到最优网络参数；将测试样本对输入至此最优网络中，输出高空间分辨率的高光谱图像。本发明专利技术能有效地降低网络训练耗时，缓解光谱失真的现象，增强其锐化效果。

Hyperspectral image sharpening method based on convolutional neural network and hierarchical feature fusion

The invention discloses a convolution neural network hyperspectral image sharpening method based on hierarchical feature fusion, which comprises: reading the original hyperspectral image data; synthesizing the panchromatic image data; processing the acquired image data in blocks to obtain the training sample pair; constructing the convolution neural network structure based on hierarchical feature fusion; inputting the training sample pair to the one based on hierarchical feature fusion Convolution neural network, using the random gradient descent algorithm, reduces the training error gradually until it is maintained in the acceptable range, so as to obtain the optimal network parameters; input the test sample pair into the optimal network, and output the hyperspectral image with high spatial resolution. The invention can effectively reduce the network training time, alleviate the phenomenon of spectrum distortion, and enhance the sharpening effect.

【技术实现步骤摘要】
基于层级特征融合的卷积神经网络高光谱图像锐化方法
本专利技术涉及遥感图像领域，具体涉及一种基于层级特征融合的卷积神经网络高光谱图像锐化方法。
技术介绍
光学遥感图像处理旨在通过远距离的辐射信号地传递，以非接触的方式获取地面上各种资源或目标的信息从而进行检测和识别等任务。根据遥感图像的光谱分辨率，可将其分为高光谱图像、多光谱图像和全色图像。高光谱图像具有上百个连续光谱波段，除了空间信息之外，还可提供对于资源勘测和目标识别而言非常重要的光谱信息。但是，它的不足之处在于空间分辨率较低，会限制其的实际应用。为了解决这一问题，提出了将高光谱图像与高空间分辨率的全色图像进行融合的方法，以实现对前者的锐化处理。目前，大致可将已有的算法分为四类，分别是成分替代法、多分辨率分析法、矩阵分解法和贝叶斯估计法。这些算法有的计算效率高，有的恢复的细节较多，有的则是能较好地防止光谱失真，但是相对于实际需求来说，已有的算法仍存在或多或少的不足之处。近年来，由于具备强大的学习能力，卷积神经网络技术受到了图像处理领域的广泛重视。本专利技术基于卷积神经网络来设计高性能的高光谱图像锐化方法。考虑到高光谱图像的光谱波段覆盖范围广，且相邻波段间相似度高，使得全色图像难以精确地修复每个波段的空间细节信息。
技术实现思路
为了增强卷积神经网络应用于高光谱图像锐化时的空间信息修复能力和光谱信息保护能力，本专利技术提供了一种基于层级特征融合的卷积神经网络高光谱图像锐化方法。为了实现以上目的，本专利技术采用如下技术方案：一种基于层级特征融合的卷积神经网络高光谱图像锐化方法，包括如下步骤：S1读取原始高光谱图像数据合成全色图像数据其中L和W分别表示高光谱图像的长和宽，b表示波段数；S2选取高光谱图像训练区域，及其对应的全色图像区域作为训练样本对，进行预处理后，分块采样，得到多个训练样本块；S3构建基于层级特征融合的卷积神经网络；S4利用零均值的高斯分布随机初始化各卷积核的权重和偏置；S5选用欧氏距离损失函数作为输出层，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差；S6对权重和偏置进行迭代更新优化，当训练误差维持在预设范围内时，权重和偏置为最优解，即得到基于层级特征融合的最优卷积神经网络；S7选取原始高光谱图像测试区域，及与其相应的全色图像区域作为测试样本；S8将S7的测试样本对直接输入到S6得到的基于层级特征融合的最优卷积神经网络得到高空间分辨率的高光谱图像。所述S1中全色图像是通过将获取的高光谱图像中的可见光谱范围内的波段进行加权求和得到。所述S2选取高光谱图像训练区域，及其对应的全色图像区域作为训练样本对，进行预处理后，分块采样，得到多个训练样本块，具体为：S2.1预处理：选取高光谱图像的部分区域作为训练区域，利用高斯滤波器对其进行平滑处理，再进行s倍的下采样，得到低分辨率地高光谱图像训练样本其中满足表达式：L＝sl，W＝sw，接着对进行s倍的上采样，得到所述s取4。S2.2分块采样：以5个像素点为间隔，分别对训练样本对和进行采样，即可把它们分别分成多个具有较少像素点的训练样本块和所述基于层次特征融合的卷积神经网络包括光谱预测层Conv1、光谱预测层Conv2、空间预测层Conv3、空间预测层Conv4、拼接层Concat、特征提取层Conv5、浅层特征融合层Conv6、中层特征融合层Conv7、中层特征融合层Conv8、高层特征融合层Conv10及求和层Sum。所述基于层次特征融合的卷积神经网络的构建过程如下：S3.1光谱预测层Conv1，输入训练数据与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y1(i)，可表示为：其中Y1(i)表示第一层光谱预测卷积层输出的特征图，W1和B1分别表示第一层光谱预测卷积核的权重矩阵和偏置矩阵，表示线性整流函数；S3.2光谱预测层Conv2，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y2(i)，本层与Conv1协同作用，用于对高光谱图像的波段有效成分进行预测，剔除冗余的光谱波段；S3.3空间预测层Conv3，输入训练数据与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到16个特征图Y3(i)；S3.4空间预测层Conv4，输入上一层的输出，与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到16个特征图Y4(i)，本层与Conv3协同作用，用于将全色图像转换为特征图的形式，能够有效地提取其空间信息；S3.5拼接层Concat，输入Y2(i)和Y4(i)，将两者在光谱维度进行拼接，输出具有80个波段的数据；S3.6特征提取层Conv5，输入上一层的输出，与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出16个特征图Y5(i)；S3.7浅层特征融合层Conv6，输入上一层的输出和输入，将上一层的输入和输出在光谱维度进行拼接，得到具有96个波段的数据，再与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出16个特征图Y6(i)；S3.8中层特征融合层Conv7，输入上一层的输出和输入，将上一层的输入和输出在光谱维度进行拼接，得到具有112个波段的数据，再与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出16个特征图Y7(i)；S3.9中层特征融合层Conv8，输入上一层的输出和输入，将上一层的输入和输出在光谱维度进行拼接，得到具有128个波段的数据，再与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出16个特征图Y8(i)；S3.10高层特征融合层Conv9，输入上一层的输出和输入，将上一层的输入和输出在光谱维度进行拼接，得到具有144个波段的数据，再与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出16个特征图Y9(i)；S3.11高层特征融合层Conv10，输入上一层的输出和输入，将上一层的输入和输出在光谱维度进行拼接，得到具有160个波段的数据，再与b个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出b个特征图Y10(i)；S3.12求和层Sum，输入上一层的输出和两者进行对应元素点相加，输出b个特征图Y11(i)，即预测的高空间分辨率的高光谱图像。所述S5中，层级特征融合的卷积神经网络训练时所选用的欧式距离损失函数表达式为：其中θ表示卷积神经网络需要优化的参数集合，Np表示训练样本的总量，||·||F表示矩阵的F-范数。所述S6中，采用随机梯度下降算法对权重和偏置进行迭代更新优化。本专利技术的有益效果：(1)本专利技术本文档来自技高网...

【技术保护点】
1.一种基于层级特征融合的卷积神经网络高光谱图像锐化方法，其特征在于，包括如下步骤：/nS1 读取原始高光谱图像数据

【技术特征摘要】
1.一种基于层级特征融合的卷积神经网络高光谱图像锐化方法，其特征在于，包括如下步骤：
S1读取原始高光谱图像数据合成全色图像数据其中L和W分别表示高光谱图像的长和宽，b表示波段数；
S2选取高光谱图像训练区域，及其对应的全色图像区域作为训练样本对，进行预处理后，分块采样，得到多个训练样本块；
S3构建基于层级特征融合的卷积神经网络；
S4利用零均值的高斯分布随机初始化各卷积核的权重和偏置；
S5选用欧氏距离损失函数作为输出层，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差；
S6对权重和偏置进行迭代更新优化，当训练误差维持在预设范围内时，权重和偏置为最优解，即得到基于层级特征融合的最优卷积神经网络；
S7选取原始高光谱图像测试区域，及与其相应的全色图像区域作为测试样本；
S8将S7的测试样本对直接输入到S6得到的基于层级特征融合的最优卷积神经网络得到高空间分辨率的高光谱图像。


2.根据权利要求1所述的卷积神经网络高光谱图像锐化方法，其特征在于，所述S1中全色图像是通过将获取的高光谱图像中的可见光谱范围内的波段进行加权求和得到。


3.根据权利要求1所述的卷积神经网络高光谱图像锐化方法，其特征在于，所述S2选取高光谱图像训练区域，及其对应的全色图像区域作为训练样本对，进行预处理后，分块采样，得到多个训练样本块，具体为：
S2.1预处理：选取高光谱图像的部分区域作为训练区域，利用高斯滤波器对其进行平滑处理，再进行s倍的下采样，得到低分辨率地高光谱图像训练样本其中满足表达式：L＝sl，W＝sw，接着对进行s倍的上采样，得到
S2.2分块采样：以5个像素点为间隔，分别对训练样本对和进行采样，分成多个训练样本块和


4.根据权利要求1所述的卷积神经网络高光谱图像锐化方法，其特征在于，所述基于层次特征融合的卷积神经网络包括光谱预测层Conv1、光谱预测层Conv2、空间预测层Conv3、空间预测层Conv4、拼接层Concat、特征提取层Conv5、浅层特征融合层Conv6、中层特征融合层Conv7、中层特征融合层Conv8、高层特征融合层Conv10及求和层Sum。


5.根据权利要求4所述的卷积神经网络高光谱图像锐化方法，其特征在于，所述基于层次特征融合的卷积神经网络的构建过程如下：
S3.1光谱预测层Conv1，输入训练数据与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y1(i)，可表示为：



其中Y1(i)表示第一层光谱预测卷积层输出的特征图，W1和B1分别表示第一层光谱预测卷积核的权重矩阵和偏置矩阵，表示线性整流函数；
S3.2光谱预测层Conv2，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y2(i)，本层与Conv1协同作用，用于对高光谱图像的波...

【专利技术属性】
技术研发人员：贺霖，朱嘉炜，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44