一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法技术

本发明专利技术提供一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法。所述方法包括以下步骤：读取原始高光谱图像数据，合成全色图像数据；对获取的图像数据进行分块处理，得到训练样本对；构造基于细节内嵌注入的卷积神经网络结构；将训练样本对输入至基于细节内嵌注入的卷积神经网络，利用随机梯度下降算法，使训练误差逐步降低，直到维持在可接受范围内，从而得到最优网络参数；将测试样本对输入至此最优网络中，输出高空间分辨率的高光谱图像。本发明专利技术能有效地降低网络训练耗时，缓解光谱失真的现象，增强其锐化效果。

A method of hyperspectral image sharpening based on convolutional neural network with embedded details

【技术实现步骤摘要】
一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
本专利技术涉及遥感图像领域，特别涉及一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法。
技术介绍
随着遥感应用领域日益发展，多光谱图像已不足以满足当前需求，光谱分辨率更高的高光谱图像成为重点研究对象。高光谱图像虽然光谱分辨率高，但是其较低的空间分辨率一直限制其广泛应用。为了提升高光谱图像的空间分辨率，可通过两种途径：超分辨率和全色锐化。前者将低分辨率的高光谱图像作为输入，利用其固有特性作为先验信息，直接进行锐化处理；后者将低空间分辨率的高光谱图像和高空间分辨率的全色图像作为输入，利用图像融合将全色图像的空间细节信息注入至高光谱图像中，以提升其空间分辨率。两种方法相比，全色锐化相当于在超分辨率的基础上，加入全色图像的导向作用，能进一步提升锐化效果。全色锐化的代表算法有矩阵分解、贝叶斯算法和导向滤波器等，这些方法都在有效地提升高光谱图像的空间分辨率，但均存在较为显著的光谱失真现象，即锐化后图像的光谱特性发生了较为明显的改变。因此，对于高光谱图像全色锐化算法，亟待解决的问题是如何实现既能提升高光谱图像的空间分辨率，同时又能很好地保持光谱特性。近年来，由于其强大的学习能力，卷积神经网络技术受到了图像处理领域的广泛重视。本专利技术基于卷积神经网络来设计高性能的高光谱图像全色锐化方法。考虑到高光谱图像的光谱波段覆盖范围广，且相邻波段间相似度高，使得全色图像难以精确地修复每个波段的空间细节信息，因此本专利技术提出一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法。通过将高光谱图像所缺失的细节信息逐层分解，使得每层网络的学习更具有针对性，最后将不同层次的细节信息综合在一起，得到高空间分辨率的高光谱图像，这样不仅能使其光谱特性不受破坏，而且使得整个网络能够合理地分配资源去学习高光谱图像所缺失的空间细节信息，大大降低了网络的训练耗时。
技术实现思路
本专利技术是为了增强卷积神经网络应用于高光谱图像全色锐化时的空间信息修复能力和光谱信息保护能力，提供了一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法。本专利技术的目的至少通过如下技术方案之一实现：一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，包括以下步骤：步骤1：读取原始高光谱图像数据合成全色图像数据其中L和W分别表示高光谱图像的长和宽，b表示波段数；表示全体实数集合；步骤2：选取高光谱图像数据训练区域，将高光谱图像数据训练区域及其对应的全色图像数据区域作为训练样本对，进行预处理后，对训练样本对进行分块采样，得到多个训练样本块；步骤3：构建基于细节内嵌注入的卷积神经网络；步骤4：利用零均值的高斯分布随机初始化各卷积核的权重矩阵W和偏置矩阵B；步骤5：选用欧式距离损失函数对卷积神经网络进行训练，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差；步骤6：采用随机梯度下降算法对权重和偏置进行迭代更新优化，当训练误差维持在可接受范围内时，此时的各卷积核的权重矩阵和偏置矩阵为最优解，即得到基于细节内嵌注入的最优卷积神经网络；步骤7：选取原始高光谱图像数据测试区域及与其相应的全色图像数据区域作为测试样本；步骤8：将步骤7的测试样本对直接输入到步骤6得到的基于细节内嵌注入的最优卷积神经网络，即可得到高空间分辨率的高光谱图像。进一步地，步骤1中，对获取的高光谱图像数据中可见光谱范围内的波段进行等权求和，得到相应的全色图像进一步地，步骤2具体包括以下步骤：步骤2.1预处理：选取原始高光谱图像数据的部分区域作为训练区域，利用高斯滤波器对其进行平滑处理，再进行s倍的下采样，得到低分辨率地高光谱图像训练样本其中满足表达式：L＝sl，W＝sw，接着对进行s倍的上采样，得到是指对低分辨率的高光谱图像数据训练区域进行上采样后得到的图像；步骤2.2分块采样：以设定个数像素点为间隔，分别对训练样本对和进行采样，把它们分别分成多个具有少量像素点的样本块和i是样本块的序号；表示第i个高光谱图像数据样本块；同理，表示第i个全色图像数据样本块。进一步地，步骤3中，所述基于细节内嵌注入的卷积神经网络包括以下结构：光谱推断层Conv1，输入高光谱训练数据将其与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图可表示为：其中Y1(i)表示光谱推断层Conv1输出的特征图，W1和B1分别表示Conv1的权重矩阵和偏置矩阵，表示线性整流函数；光谱推断层Conv2，输入光谱推断层Conv1的输出，与32个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到32个特征图Y2(i)，本层与Conv1协同作用，用于对高光谱图像的波段有效成分进行推断处理，剔除冗余的光谱波段；具体表示为：W2和B2分别表示Conv2的权重矩阵和偏置矩阵；空间推断层Conv3，输入全色训练数据与16个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到16个特征图Y3(i)；具体表示为：W3和B3分别表示Conv3的权重矩阵和偏置矩阵；空间推断层Conv4，输入空间推断层Conv3的输出，与32个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到32个特征图Y4(i)，本层与Conv3协同作用，用于将全色图像转换为特征图的形式，能够有效地提取其空间信息；具体表示为：W4和B4分别表示Conv4的权重矩阵和偏置矩阵；拼接层Concat，输入Y2(i)和Y4(i)，将两者在光谱维度进行拼接，输出具有64个波段的数据；细节学习层Conv5，输入拼接层Concat的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y5(i)；具体表示为：其中，[,]表示拼接，W5和B5分别表示Conv5的权重矩阵和偏置矩阵；细节学习层Conv6，输入细节学习层Conv5的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y6(i)；具体表示为：W6和B6分别表示Conv6的权重矩阵和偏置矩阵；底层细节注入层Conv7，输入细节学习层Conv6的输出，与32个空间大小为3×3的卷积核进行卷积运算，并与Y2(i)进行逐像素点相加，输出32个特征图Y7(i)；具体表示为：W7和B7分别表示Conv7的权重矩阵和偏置矩阵；中层细节注入层Conv8，输入底层细节注入层Conv7的输出，与64个空间大小为1×1的卷积核进行卷积运算，并与Y1(i)进行逐像素点相加，输出64个特征图Y8(i)；具体表示为：W8和B8分别表示Conv8的权重矩阵和偏置矩阵；顶层细节注入层Conv9，输入中层细节注入层Conv8的输出，与b个空间大小为1×本文档来自技高网...

【技术保护点】
1.一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，其特征在于，包括以下步骤：/n步骤1：读取原始高光谱图像数据

【技术特征摘要】
1.一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，其特征在于，包括以下步骤：
步骤1：读取原始高光谱图像数据合成全色图像数据其中L和W分别表示高光谱图像的长和宽，b表示波段数；表示全体实数集合；
步骤2：选取高光谱图像数据训练区域，将高光谱图像数据训练区域及其对应的全色图像数据区域作为训练样本对，进行预处理后，对训练样本对进行分块采样，得到多个训练样本块：
步骤3：构建基于细节内嵌注入的卷积神经网络；
步骤4：利用零均值的高斯分布随机初始化各卷积核的权重矩阵W和偏置矩阵B；
步骤5：选用欧式距离损失函数对卷积神经网络进行训练，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差；
步骤6：采用随机梯度下降算法对权重和偏置进行迭代更新优化，当训练误差维持设定范围内时，此时的各卷积核的权重矩阵和偏置矩阵为最优解，即得到基于细节内嵌注入的最优卷积神经网络；
步骤7：选取原始高光谱图像数据测试区域及与其相应的全色图像数据区域作为测试样本；
步骤8：将步骤7的测试样本对直接输入到步骤6得到的基于细节内嵌注入的最优卷积神经网络，即可得到高空间分辨率的高光谱图像。


2.根据权利要求1所述的一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，其特征在于，步骤1中，对获取的高光谱图像数据中可见光谱范围内的波段进行等权求和，得到相应的全色图像


3.根据权利要求1所述的一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，其特征在于，步骤2具体包括以下步骤：
步骤2.1预处理：选取原始高光谱图像数据的部分区域作为训练区域，利用高斯滤波器对其进行平滑处理，再进行s倍的下采样，得到低分辨率地高光谱图像训练样本其中满足表达式：L＝sl，W＝sw，接着对进行s倍的上采样，得到是指对低分辨率的高光谱图像数据训练区域进行上采样后得到的图像；
步骤2.2分块采样：以设定个数像素点为间隔，分别对训练样本对和进行采样，把它们分别分成多个具有少量像素点的样本块和i是样本块的序号；表示第i个高光谱图像数据样本块；表示第i个全色图像数据样本块。


4.根据权利要求1所述的一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法，其特征在于，步骤3中，所述基于细节内嵌注入的卷积神经网络包括以下结构：
光谱推断层Conv1，输入高光谱训练数据将其与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y1(i)；可表示为：



其中Y1(i)表示光谱推断层Conv1输出的特征图，W1和B1分别表示Conv1的权重矩阵和偏置矩阵，表示线性整流函数；
光谱推断层Conv2，输入光谱推断层Conv1的输出，与32个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到32个特征图Y2(i)，本层与Conv1协同作用，用于对高光谱图像的波段有效成分进行推断处理，剔除冗余的光谱波段；具体表示为：



W2和B2分...

【专利技术属性】
技术研发人员：贺霖，朱嘉炜，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44