基于AE提取多尺度空谱特征的高光谱和全色图像融合方法技术

本发明专利技术属于图像处理技术领域，公开了一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法。实现步骤：获取图像数据集并进行预处理；构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像。将低分辨率高光谱图像插值，高分辨率全色图像进行下采样与之匹配，并通过浅层多分辨率自编码器网络提取多尺度空间光谱特征；构建通道注意力机制和特征重建融合残差网络，减小光谱损失的基础上增强融合高光谱图像的空间信息，获得高光谱图像。本发明专利技术提取更丰富更细微的空间光谱特征，且网络很浅，计算复杂度较低。

【技术实现步骤摘要】
基于AE提取多尺度空谱特征的高光谱和全色图像融合方法
本专利技术属于图像处理
，更进一步涉及高光谱和全色图像的融合，具体是基于自编码器(AutoEncoder，AE)提取多尺度空间光谱特征的高光谱和全色图像融合方法。
技术介绍
目前：随着遥感技术的发展，拥有几十甚至上百个光谱波段的高光谱图像可由高光谱图像传感器获得，但由于传感器技术和成本的限制，得到的高光谱图像的空间分辨率较低，不利于遥感图像后续的分类、目标检测等。同时，遥感系统还会搭载全色图像传感器来获得同一感兴趣区域具有高空间分辨率的全色图像，于是可以融合高空间分辨率的全色图像来提升高光谱图像空间信息，从而得到空间信息增强、光谱信息丰富的高质量高光谱图像。经典常用的高光谱和全色图像融合算法有成分替代法，多分辨率分析法和贝叶斯法。成分替代法的主要思想是采用某种变换从高光谱图像中分离出空间信息和光谱信息，用全色图像的空间信息替换高光谱图像的空间信息，最后对重组的高光谱图像进行逆变化得到融合的高光谱图像。典型方法有亮度-色调-饱和度变换法(Intensity-Hue-Saturat本文档来自技高网...

【技术保护点】
1.一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法包括：获取图像数据集并进行预处理；构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像。/n

【技术特征摘要】
1.一种基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法包括：获取图像数据集并进行预处理；构建并训练多个分辨率下的自编码器；提取多尺度空间光谱特征；获取自适应增强后的空间光谱特征；构建并训练通道注意力机制和特征重建融合残差网络组成的网络模型；得到高空间分辨率的高光谱图像。


2.如权利要求1所述的基于AE提取多尺度空谱特征的高光谱和全色图像融合方法，其特征在于，所述基于AE提取多尺度空谱特征的高光谱和全色图像融合方法具体包括如下步骤：
(1)获取图像数据集，对数据进行预处理：
(1.1)获取图像数据集：从公开数据集中获取到低分辨率高光谱图像HLR，高分辨率全色图像PHR，原始参考高光谱图像HREF；
(1.2)数据预处理：PHR的尺寸是HLR的四倍；对获取到的低分辨率高光谱图像HLR分别进行两次最近邻两倍插值得两倍插值后的高光谱图像H2-up，四倍插值后的高光谱图像H4-up；对获取到的高分辨率全色图像分别进行两次下采样得两倍下采样后的全色图像P2-down，四倍下采样后的全色图像P4-down；
(2)构建多个不同分辨率下的自编码器：自编码器由编码器和解码器构成，针对(1)中预处理得到的三种分辨率下的高光谱和全色图像分别设计了3D自编码器和2D自编码器，所有编码器网络结构是两层卷积层，所有解码器网络结构是反卷积层和反卷积函数；卷积层/反卷积层由卷积函数/反卷积函数，BatchNormalization函数和ReLU函数组成；
3D编码器网络参数设置如下，均采用3D卷积函数，卷积核尺寸为3*3*3，步长为1，两个卷积函数的输出节点数分别为4和2；
3D解码器网络参数设置如下，均采用3D反卷积函数，卷积核尺寸为3*3*3，步长为1，两个反卷积函数输出节点数分别为4和1；
2D编码器网络参数设置如下，均采用2D卷积函数，卷积核尺寸为3*3，步长为1，两个卷积函数输出节点数分别为32和16；
2D解码器网络参数设置如下，均采用2D反卷积函数，卷积核尺寸为3*3，步长为1，两个反卷积函数输出节点数分别为32和1；
(3)训练多个自编码器，提取多尺度空间光谱特征：
(3.1)将低分辨率高光谱图像HLR增加一个维度后输入3D自编码器进行训练，将四倍下采样全色图像P4-down输入2D自编码器进行训练，3D自编码器图像重建的损失函数由L1范数损失和光谱角映射损失组成，2D自编码器图像重建的损失函数由L1范数损失和互相关系数损失组成，设置的学习率均为1e-3，训练的批次大小为7，优化过程使用Adam算法优化，训练优化过程中当损失函数收敛时停止训练；
(3.2)输入之前用于训练的数据到已经训练完成的编码器网络中，将3D编码器五维输出中的“帧维”合并至通道维上，变成四维，然后与2D编码器的输出进行通道维上级联后得到该尺度下的空间光谱特征F1；
(3.3)对其余两组同分辨率下的高光谱和全色图像重复(3.1)、(3.2)步骤，得各自尺度下的空间光谱特征F2、F3；
(4)构建特征重建融合残差网络：特征重建融合残差网络包括三个残差子网络；前两个残差子网络由一个卷积层、两个残差块和一个实现上采样的反卷积层组成，最后一个残差子网络与其它两个的区别是反卷积层由实现输出的卷积函数替代；卷积层和反卷积层的构成同(2)中2D自编码器的卷积层和反卷积层；残差块包括两个卷积层和一个将输入与输出相加的短接线；
三个残差子网络的网络参数设置如下：卷积层均采用2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数都是256，反卷积层均采用2D反卷积函数，卷积核尺寸为3*3，步长为2，输出节点数都是128，最后实现输出的卷积函数也是2D卷积函数，卷积核尺寸为3*3，步长为1，输出节点数为高光谱图像的波段总数；
(5)获取自适应增强后的多尺度空间光谱特征：利用通道注...

【专利技术属性】
技术研发人员：董文倩，徐张纯，曲家慧，肖嵩，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61