基于AAE提取空间特征的高光谱和全色图像融合方法技术

本发明专利技术公开了一种基于AAE提取空间特征的高光谱和全色图像融合方法，解决了现有高光谱图像融合中光谱失真严重，空间细节注入不足的问题，实现步骤：获取图像数据集进行预处理；构建并训练高光谱图像光谱约束对抗自编码器网络；提取高光谱图像的空间特征；获取增强后全色图的空间细节；融合高光谱图像和增强后全色图像的空间信息；构建增益矩阵；得到高空间分辨率的高光谱图像。本发明专利技术同时考虑高光谱和全色图像空间信息，用AAE提取深层的空间特征，有效减小光谱损失，有效地提高空间分辨率。仿真证明，本发明专利技术融合指标和视觉效果空间和光谱性能更好，空间细节保持更好，光谱信息更完善，用于高光谱图像融合处理。

Fusion method of hyperspectral and panchromatic images based on spatial features extracted by AAE

The invention discloses a hyperspectral and panchromatic image fusion method based on AAE to extract spatial features, which solves the problems of serious spectral distortion and insufficient spatial details injection in the existing hyperspectral image fusion. The realization steps are: acquiring image data set for preprocessing; constructing and training hyperspectral image spectral constraint self encoder network; extracting spatial features of hyperspectral image The spatial details of the enhanced panchromatic image are obtained; the spatial information of the hyperspectral image and the enhanced panchromatic image is fused; the gain matrix is constructed; the hyperspectral image with high spatial resolution is obtained. The invention simultaneously considers the spatial information of hyperspectral and panchromatic images, extracts the deep spatial features with AAE, effectively reduces the spectral loss, and effectively improves the spatial resolution. Simulation results show that the fusion index, visual effect space and spectral performance of the invention are better, the spatial details are better, and the spectral information is more perfect, which is used for hyperspectral image fusion processing.

【技术实现步骤摘要】
基于AAE提取空间特征的高光谱和全色图像融合方法
本专利技术属于图像处理
，更进一步涉及高光谱图像融合，具体是一种基于对抗自编码器(AAE)提取空间特征的高光谱图像和全色图像的融合方法。本专利技术可用于得到空间分辨率高、光谱信息丰富的高光谱图像。
技术介绍
空间分辨率高的图像有利于精准定位目标，光谱分辨率高的图像有利于区分不同特征的类别和精确识别目标。高光谱图像在一定的波长范围内具有较多的波段数，光谱分辨率高，其已经应用于许多领域和一些实际应用，例如植被研究，精确农业，区域地质填图像，矿产勘探和环境监测等。受到传感器技术和成本的限制，高光谱图像的空间分辨率较低。而全色成像光谱仪能够获得具有高空间分辨率的全色图像，对高光谱图像和全色图像进行融合就可以实现获得高空间分辨率的高光谱图像，这是一项非常有意义的图像处理方式。常用的高光谱图像融合算法包括多分辨率分析法、成分替换法、矩阵分解法和贝叶斯法等。从它们的处理结果上来看均存在一定程度的不足。多分辨率分析方法包括小波变换、拉普拉斯金字塔(LaplacianPyramid,LP)、亮度调节的平滑滤波法(SmoothingFilterbasedIntensityModulation,SFIM)等，主要思想是将全色图像多尺度分解成低分辨率高光谱图像，获得空间细节，然后将空间细节注入高光谱图像，这些方法能够保持较好的光谱信息，但是此方法易受到空间失真(例如振铃伪像)的影响，同时存在注入空间细节过多的问题；成分替换法包括主成分分析(PrincipalComponentAnalysis,PCA)和施密特正交化(Gram-Schmidt,GS)等，主要思想是空间成分替代，使用全色图像通过采用逆变换来替换空间分量，这种方法在空间信息保持方面效果较好，并且能够减小图像配准误差，但是在光谱信息的保持方面存在不足，可能会导致光谱混叠，结果存在明显的光谱失真现象；基于矩阵分解和基于贝叶斯的方法是所提出的效果较好的方法，包括耦合非负矩阵分解(CoupledNonnegativeMatrixFactorization,CNMF)、贝叶斯稀疏表示(BayesianSparseRepresentation,BSR)和Hysure等，贝叶斯方法是对给定的低分辨率高光谱图像和全色图像使用期望的高分辨率高光谱图像的后验分布，虽然在空间细节修复和光谱维护上处理得相对较好，但它们的运算量大，而且贝叶斯方法需要依靠极强的先验信息才能达到最佳效果，故在实际应用中存在一定的限制。基于矩阵分解的融合是非常有效的。例如，YokoyaN等人在文献“CoupledNonnegativeMatrixFactorizationUnmixingforHyperspectralandMultispectralDataFusion.IEEETransactionsonGeoscience&RemoteSensing,2012,50(2):528-537.”中提出耦合非负矩阵分解方法(CNMF)，该算法通过对复杂的高分解两种数据源进行非负矩阵分解，获得两个数据源的端元和丰度图，然后交替地融合多光谱图像丰度与高光谱图像的端元信息，可以在空间和光谱方面产生较好的融合结果。近年来，基于卷积神经网络(CNN)的方法已成功应用于计算机视觉的处理，成为具有良好融合能力的高光谱融合方法的新趋势。基于CNN的融合方法假设低分辨率与高分辨率高光谱图像的关系和低分辨率与高分辨率全色图像之间的关系相同，学习低分辨率与高分辨率全色图像之间的映射。Huang等人在“Anewpan-sharpeningmethodwithdeepneuralnetworks.IEEEGeosci.RemoteSens.Lett.,vol.12,no.5,pp.1037–1041,201”第一次提出使用CNN。随后，Masi等人在“Pansharpeningbyconvolutionalneuralnetworks.RemoteSens.,vol.8,no.7,p.594,2016.”中，将针对自然图像的超分辨率提出的架构移植到了高光谱融合问题，获得了当时最好的性能，同时展示了使用自然图像超分辨率方式解决高光谱融合问题的可行性。以上两种基于CNN的方法将融合问题转化为单个图像回归问题，虽然这两种方法取得了良好的性能，但它们将高光谱图像的融合问题视为深度学习的黑盒问题，并且忽略了融合问题的两个重要目标：光谱和空间信息的保持；Yang等人在“Pannet:Adeepnetworkarchitectureforpansharpening,”inProc.IEEEInt.Conf.Comput.Vis.(ICCV),2017,pp.1753–1761.中提出了一个深度的高光谱融合网络，称为PanNet，结合领域特定的知识来设计PanNet架构，重点关注融合问题中的光谱和空间信息保持。PanNet自动从数据中学习映射，将特定问题的知识融入深度学习框架。为了保持光谱信息，将上采样的多光谱图像添加到网络输出中，直接将光谱信息传播到重构的图像中。为了保持空间结构，在高通滤波域训练网络参数，而不是图像域。这种方法的不足之处在于，使用空间保持网络的输出和原图来约束光谱信息的保持，即光谱信息保持依赖于空间信息保持，这种光谱保持是间接的，可能导致次优的保持结果。华南理工大学在其申请的专利文献“基于光谱预测残差卷积神经网络的高光谱图像锐化方法”(专利申请号：CN201811485313，公布号：CN109727207A)中提出了基于光谱预测残差卷积神经网络的高光谱图像锐化方法。该方法公开了一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法，包括读取原始高光谱图像；从高光谱图像合成全色图像；预处理数据得到训练样本对；搭建光谱预测残差卷积神经网络结构；使用样本对训练网络，利用自适应矩估计算法，使训练误差降低至最小值，得到最优的网络结构参数；将测试样本对输入训练好的光谱预测残差卷积神经网络结构中，输出高分辨率的高光谱图像。该方法虽然通过训练神经网络得到分辨率提高的融合结果，但是，该方法仍然存在的不足之处是，对于光谱信息和空间信息的保持效果不好，并且利用自适应性的矩估计算法优化，由于高光谱图像数据庞大，再加上锐化过程需要整个网络参与训练，使得计算过程非常繁琐，算法复杂度较高，其中缺少传统图像处理方法和基于神经网络方法的结合，同时光谱信息也保持的不是很完善。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种光谱信息和空间信息保持良好的基于AAE提取空间特征的高光谱和全色图像融合方法。为实现专利技术目的，本专利技术采用了以下的技术方案：本专利技术是一种基于对抗自编码器提取空间特征的高光谱图像和全色图像的融合方法，其特征在于，包括有如下步骤：(1)获取图像数据集，对数据进行预处理：(1.1)输入原始图像数据：从公开数据集中获取原始高光谱图像HREF，作为参考的高光谱图像；(1.2)数据预处理：利用原始高光谱图像HREF，即参考的高光谱图像，根据Wald协议得到合成本文档来自技高网...

【技术保护点】
1.一种基于对抗自编码器提取空间特征的高光谱图像和全色图像的融合方法，其特征在于，包括有如下步骤：/n(1)获取图像数据集，对数据进行预处理：/n(1.1)输入原始图像数据：从公开数据集中获取原始高光谱图像H

【技术特征摘要】
1.一种基于对抗自编码器提取空间特征的高光谱图像和全色图像的融合方法，其特征在于，包括有如下步骤：
(1)获取图像数据集，对数据进行预处理：
(1.1)输入原始图像数据：从公开数据集中获取原始高光谱图像HREF，作为参考的高光谱图像；
(1.2)数据预处理：利用给定参考的即原始高光谱图像HREF，根据Wald协议得到合成的高光谱图像和合成的全色图像；利用双三次插值法生成四倍下采样的低空间分辨率高光谱图像H；利用拉普拉斯金字塔超分辨率网络将低空间分辨率的高光谱图像插值为高空间分辨率的高光谱图像，具体操作为将H输入拉普拉斯超分辨率网络，进行四倍上采样，使得空间维度与全色图像大小相同，得到上采样后的高光谱图像，记为H，利用平均融合的方法，将原始高光谱图像HREF进行可见光波段融合，得到全色图P；
(2)构建输入高光谱图像的对抗自编码器：对抗自编码器包括有编码器、判别器和解码器，编码器、解码器和判别器的网络结构的设计都是基于基础网络结构；
基础网络结构为：输入层→隐藏层→输出层；
编码器网络参数设置如下，将输入层的节点总数设置为高光谱图像的波段总数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像特征的波段数；
解码器网络参数设置如下，将输入层的节点总数设置为高光谱图像特征的波段数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像的波段数；
编码器，即生成器，隐藏层由两层全连接层构成，激活函数使用LeakyRelu；解码器由两层全连接层构成，激活函数使用LeakyRelu和Sigmoid；判别器D使用全连接层→LeakyRelu→全连接层的构成形式；
设置学习率为1e-4，训练批次大小为输入网络高光谱图像空间维度大小，损失函数包括自编码器损失函数、生成器损失函数和判别器损失函数，优化过程使用Adam算法优化；
(3)训练对抗自编码器，提取高光谱图像的空间特征：将上采样后的高光谱图像H作为对抗自编码器的输入进行训练，训练过程包括有，生成器和判别器进行的对抗学习以及误差最小化的图像重构，训练优化过程中当损失函数收敛或训练步数大于设定步数时停止训练；从训练完成的网络的编码器输出中，获取提取的高光谱图像的低维度空间特征，作为高光谱图像的空间信息；
(4)对全色图进行增强处理：利用自适应直方均衡和高斯-拉普拉斯算法对全色图像进行增强处理，得到了增强处理后的全色图；
(5)获取增强后的全色图的空间细节：对增强后的全色图像进行高斯滤波，并对滤波前后的图像作差，获得增强后全色图像的空间细节D；
(6)融合高光谱图像和全色图像的空间信息：利用自适应融合方式，融合高光谱图像空间信息和全色图像空间信息，得到原始高光谱图像的总空间信息；
(7)构建增益矩阵：利用增益矩阵公式构造增益矩阵；
(8)得到高空间分辨率的高光谱图像：利用构造得到的增益矩阵和提取的全色图的空间细节D以及上采样得到的高光谱图像共同得到原始高光谱图像的高空间分辨率的高光谱图像。
将上采样后的高光谱图像，与提取的空间细节按照下式相融合，得到高空间和光谱分辨率的图像：



l＝1,2,...,n，其中，表示融合后的高光谱图像，是融合图像的第l个波段。


2.根据权利要求1所述的基于对抗自编码器提取空间特征的高光谱图像和全色图像的融合方法，其特征在于，步骤3中所述的训练对抗自编码器，提取高光谱图像的空间特征，过程如下：首先初始化对抗自编码器的网络参数，网络参数包括权重和偏置，然后训练对抗自编码器，训练分为两个过程：
(3.1)输入样本的重构：将上采样后的高光谱图像H作为对抗自编码器的输入进行训练，计算自编码器损失函数；采用随机梯度下降算法进行优化，优化过程就是使损失函数最小化的过程，同时更新对抗自编码器中编码器和解码器的网络权重和偏置，当损失函数最小化时，解码器的输出为重构结果，即解码器能够从编码器生成的编码数据中恢复出原始图像；
(3.2)正则化约束：计算判别器损失函数和生成器损失函数，同样用随机梯度下降算法进行优化，优化过程就是使判别器损失函数和生成器损失函数最小化的过程，首先更新判别器网络参数，训练判别器区分输入的编码向量Z是来自真实分布...

【专利技术属性】
技术研发人员：谢卫莹，钟佳平，李云松，雷杰，刘保珠，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61