【技术实现步骤摘要】
本专利技术属于高光谱图像处理，特别涉及一种轻量无监督学习高光谱图像盲融合方法。
技术介绍
1、高光谱成像技术可以获得具有丰富的光谱信息的图像，有助于更好的分辨不同材质的物体，因此被广泛应用于遥感、计算机视觉以及医疗等领域。然而受光学传感器的物理限制，高光谱成像技术获取的图像的空间分辨率一般不高，极大影响了高光谱图像的实际应用价值。为了获得更高空间分辨率的高光谱图像(hrhsi)，常见的做法是同时获得具有高空间分辨率的低光谱图像(hrmsi)或自然彩色图像(rgb)与具有低空间分辨率的高光谱图像(lrhsi)，并采用算法将二者融合，如图1所示。近年来，深度学习利用强大的特征抽取能力，采用监督学习的方式从由已知的观测网络仿真的大量数据中学习图像融合的映射，在高光谱图像融合领域得到了快速发展。然而实际应用中难以获取大量的有参考图像的数据集，并且观测网络未知，使得这些基于监督学习的深度学习模型难以泛化到真实的数据集中，一定程度上限制了深度学习算法在高光谱图像融合上的应用。
2、观测网络未知、无参考图像可供训练且只有一对hrmsi和lrhsi的高光谱图像融合研究，也即无监督高光谱图像盲融合研究对于数据量小、观测网络的参数不全情况下模型的泛化性和鲁棒性具有重大的意义，具有广阔的应用前景。目前主流的基于深度学习的高光谱图像融合方法虽然在部分仿真数据上取得了不错的效果，但是这些方法参数量大，导致模型占用过多存储空间，且推理速度太慢，使得这些方法难以应用在真实场景中。
技术实现思路
1、
2、本专利技术的目的是通过以下技术方案来实现的：一种轻量无监督学习高光谱图像盲融合方法，包括如下步骤：
3、s1、对高光谱图像进行预处理和仿真；具体步骤为：
4、s11、对原始高光谱图像进行归一化：
5、
6、其中，为原始高光谱图像，图像的长、宽、和波段数分别为h、w、和c，归一化后的高光谱图像x的数值范围在0到1之间；将三维张量x展开为二维矩阵：其中n＝h×w；
7、s12、进行数据仿真：对x分别进行空间退化和光谱退化，获得lrhsi和hrmsi，分别记为和其中n<n,c<c；
8、s2、构建并优化观测网络；具体步骤为：
9、s21、构建观测网络，观测网络表示x与其退化后生成的y以及z之间的物理关系；观测网络包含两个子网络，分别用来学习观测网络中x到y的空间退化矩阵和x到z的光谱退化矩阵；
10、x与其退化后生成的y以及z之间的物理关系表示为：
11、y＝xbs
12、z＝rx
13、其中，矩阵是模糊矩阵，是预先设定的下采样矩阵，是光谱响应矩阵，估计观测网络的参数总结为估计矩阵b和矩阵r；
14、为了精确的学习光谱响应矩阵，构建学习光谱响应矩阵的子网络，该子网络包含两个全连接层，全连接层利用随机向量来生成谱响应矩阵，然后输入softmax非线性激活函数进行归一化，再采用沿通道卷积方式将归一化的谱响应矩阵和y进行卷积，从而生成多光谱图像；
15、为了精确的学习模糊核，构建学习模糊核的子网络，该子网络包含两个全连接层，全连接层利用输入的随机向量来生成模糊核，再采用softmax非线性激活函数对模糊核进行归一化，然后将归一化的模糊核与z进行卷积，最后进行8倍下采样，得到多光谱图像；
16、s22、通过优化如下公式所示的目标函数，得到估计矩阵和
17、
18、其中，表示观测网络学到的光谱退化矩阵，表示观测网络学到的空间退化矩阵，θr和θb分别表示观测网络中用来学习空间退化和光谱退化矩阵的子网络参数，符号‖·‖表示一范数；
19、s3、构建并优化融合网络，首先通过上采样将y插值到和x相同的空间分辨率；对于z，采用7x7卷积对其进行空间滤波，提取其低频成分；同时另外用一个1x1卷积将z映射到特征空间，得到高分辨率多光谱图像的特征；7x7卷积的输出与上采样的输出经过一个1x1卷积生成低频特征，然后计算高分辨率多光谱图像的特征与低频特征的残差来获取高频特征；将高频特征输入多个级联的压缩激活模块，最后一个压缩激活模块后连接一个1x1卷积，通过多个级联的压缩激活模块与最后一层卷积来进一步提取高频图像，再将获取的高频图像与上采样后的低分辨率高光谱图像相加获得融合图像
20、选取一范数损失函数作为重建损失函数：
21、
22、其中，表示融合网络学到的高分辨率高光谱图像，表示融合网络的参数；
23、选择adam作为优化器对融合网络进行参数优化。
24、本专利技术的有益效果是：(1)在没有参考图像且观测模型参数未知的情况下将深度学习应用于高光谱图像融合。本专利技术挖掘观测模型中隐含的物理约束来学习观测模型，从而克服真实场景中观测模型未知且没有参考图像可供训练的困难，更加贴近现实场景中的高光谱图像融合任务的需求。(2)采用轻量化的融合网络模型，和传统方法相比，大大降低了模型的参数量同时还取得了很好的视觉效果，实用性强，网络轻量，不依赖大量数据，有一定的鲁棒性和可解释性。
本文档来自技高网...【技术保护点】
1.一种轻量无监督学习高光谱图像盲融合方法，其特征在于，包括如下步骤：
【技术特征摘要】
1.一种轻量无监督学习高光谱图像盲融...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。