一种高光谱和多光谱图像融合方法、系统及介质技术方案

本发明专利技术公开了一种高光谱和多光谱图像融合方法、系统及介质，本发明专利技术高光谱和多光谱图像融合方法包括输入高光谱图像Y和多光谱图像Z；采用奇异值分解从高光谱图像Y中提取光谱子空间S；将多光谱图像Z和得到的光谱子空间S估计子空间系数A；根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X。本发明专利技术能够有效实现低分辨率的高光谱图像、高分辨率的多光谱图像融合得到高分辨率的高光谱图像，具有重构精度高、计算效率高、具有很强的普适性和鲁棒性，拥有抗噪声干扰的优点。

A hyperspectral and multispectral image fusion method, system and medium

【技术实现步骤摘要】
一种高光谱和多光谱图像融合方法、系统及介质
本专利技术涉及高光谱和多光谱图像融合技术，具体涉及一种基于子空间表示和深度卷积神经网络的高光谱和多光谱图像融合方法、系统及介质。
技术介绍
高光谱成像技术能够同时获得几十上百个光谱波段的图像信息，丰富的光谱信息有助于对场景内物质的准确识别，因此高光谱成像技术被广泛地应用于对地观测、军事监测、环境监测、地质勘探、医学检测和人脸识别等多个领域。但是由于硬件的限制，现有的成像系统难以直接获得高分辨率的高光谱图像。因此高光谱图像往往空间分辨率很低，这极大地限制了高光谱图像的应用，所以提升高光谱图像的空间分辨率很有必要。另一方面，现有的成像系统往往能够获得高分辨率的多光谱图像。高分辨率的多光谱图像包含丰富的空间信息和有限的光谱信息。融合低分辨率的高光谱图像和高分辨率的多光谱图像是一种获得高分辨率高光谱图像的有效途径。因此研究高光谱图像和多光谱图像融合具有重要意义。目前流行的多光谱和高光谱图像融合方法可以分为基于矩阵分解的图像融合方法、基于张量分解的图像融合方法和基于深度卷积神经网络的图像融合方法。基于矩阵分解的融合方法假设，一个特定场景的高光谱图像的每一个像素总能由极少数高光谱端元的线性组合来表示。基于这个假设，一张高光谱图像就能被分解成光谱基和相应的子空间系数。要得到相应高分辨率的高光谱图像，就是要从高分辨率的多光谱图像和低分辨率的高光谱图像中得到光谱基和相应的系数。基于张量分解的融合方法把高光谱图像分解成一个核张量和三个维度的因子矩阵，三个维度的因子矩阵分别代表高光谱图像在三个空间维度的信息，核张量代表了三个维度之间信息的关联程度。然后从高分辨率多光谱图像和低分辨率高光谱图像中学习核张量和三个维度的因子矩阵。这些基于矩阵和张量分解的融合方法往往需要给定的图像先验知识，而这些预先给定的图像先验知识往往并不能很好的描述图像的特性，会造成融合图像的细节失真。基于深度卷积神经网络的多光谱和高光谱图像融合方法是数据驱动的，需要在额外的多光谱和高光谱数据对上进行预训练。这类方法主要存在如下问题:首先在实际中高分辨率高光谱图像的训练数据是不存在的，需要通过对高光谱图像进行下采样来模拟构造数据集，而在模拟构造的数据上进行训练会降低融合的精度；二是由于不同传感器的高光谱图像的光谱波段数目不同，造成训练网络的可拓展性差，也就是在一类高光谱图像训练好的网络不能被直接应用于不同波段数的高光谱图像。
技术实现思路
本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种高光谱和多光谱图像融合方法、系统及介质，本专利技术能够有效实现低分辨率的高光谱图像、高分辨率的多光谱图像融合得到高分辨率的高光谱图像，具有重构精度高、计算效率高、具有很强的普适性和鲁棒性，拥有抗噪声干扰的优点。为了解决上述技术问题，本专利技术采用的技术方案为：一种高光谱和多光谱图像融合方法，实施步骤包括：1）输入高光谱图像Y和多光谱图像Z；2）采用奇异值分解从高光谱图像Y中提取光谱子空间S；3）将多光谱图像Z和得到的光谱子空间S估计子空间系数A；4）根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；步骤3）的详细步骤包括：3.1）初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；3.2）进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；（1）（2）（3）（4）上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ1表示更新后的惩罚因子；3.3）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤3.2）继续进行迭代。可选地，步骤2）的详细步骤包括：2.1）针对高光谱图像Y进行如下奇异值分解：Y=U1Σ1V1，其中，Y表示高光谱图像，U1和V1为列正交矩阵，Σ1表示对角矩阵，对角矩阵Σ1保存着高光谱图像Y的奇异值,且奇异值从大到小排列；2.2）针对分解得到的对角矩阵Σ1，通过保留对角矩阵Σ1中前L个最大的奇异值、忽略剩下小的奇异值得到的由列正交矩阵U1的前L列构成的光谱子空间S。可选地，步骤3.2）中根据式（1）更新待估计的子空间系数A具体是指将式（1）视为具有解析解的强凸问题，采用共轭梯度法来求解更新待估计的子空间系数A。可选地，步骤3.2）中根据式（2）更新变量V时具体是指将式（2）视为从干净图像(A-G/(2μ))去除方差为λ/(2μ)的高斯白噪声的去噪问题，并采用深度卷积神经网络解决去噪问题以求解更新变量V，深度卷积神经网络的输入为干净图像(A-G/(2μ))和噪声等级λ/(2μ)，输出为干净的灰度图像。可选地，所述深度卷积神经网络一共包含15层，第1层是大小为3×3的卷积操作和修正线性单元，第2～14层均包括大小为3×3的卷积操作、批处理化和修正线性单元，最后一层是大小为3*3的卷积操作。可选地，步骤3）之前还包括建立式（1）～（4）所示多个子问题求解模型的步骤：S1）建立融合后的高光谱图像X的子空间表示模型，将融合后的高光谱图像X表示光谱子空间S及其相应的子空间系数A的如下式所示：X=SA（5）上式中，X表示融合后的高光谱图像，S为光谱子空间，A为子空间系数；分别建立高光谱图像Y、多光谱图像Z两者和融合后的高光谱图像X之间的关联表示模型如下式所示：Y=XB+ε1（6）Z=RX+ε2（7）上式中，Y表示高光谱图像，X表示融合后的高光谱图像，B表示空间采样矩阵，ε1表示建立高光谱图像Y和融合后的高光谱图像X之间的转换噪声；Z表示多光谱图像，R表示光谱采样矩阵，ε2表示多光谱图像Z和融合后的高光谱图像X之间的转换噪声；S2）根据式（5）、（6）、（7），将对子空间系数A的估计转化为下式所示的基础模型；（8）上式中，A表示待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵；S3）为基础模型引入待估计的子空间系数A的先验信息λ(A)得到下式所示优化模型；（9）上式中，A为待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，(A)为待估计的子空间系数A的正则项，λ为该正则项的权重参数；S4）引入变量V=A，A表示待估计的子空间系数，建立需要优化增广的拉格朗日函数L(A,V,G)，其函数表达式如下式所本文档来自技高网...

【技术保护点】
1.一种高光谱和多光谱图像融合方法，其特征在于实施步骤包括：/n1）输入高光谱图像Y和多光谱图像Z；/n2）采用奇异值分解从高光谱图像Y中提取光谱子空间S；/n3）将多光谱图像Z和得到的光谱子空间S估计子空间系数A；/n4）根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；/n步骤3）的详细步骤包括：/n3.1）初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子

【技术特征摘要】
1.一种高光谱和多光谱图像融合方法，其特征在于实施步骤包括：
1）输入高光谱图像Y和多光谱图像Z；
2）采用奇异值分解从高光谱图像Y中提取光谱子空间S；
3）将多光谱图像Z和得到的光谱子空间S估计子空间系数A；
4）根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；
步骤3）的详细步骤包括：
3.1）初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；
3.2）进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；

（1）

（2）

（3）

（4）
上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ1表示更新后的惩罚因子；
3.3）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤3.2）继续进行迭代。


2.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，步骤2）的详细步骤包括：
2.1）针对高光谱图像Y进行如下奇异值分解：Y=U1Σ1V1，其中，Y表示高光谱图像，U1和V1为列正交矩阵，Σ1表示对角矩阵，对角矩阵Σ1保存着高光谱图像Y的奇异值,且奇异值从大到小排列；
2.2）针对分解得到的对角矩阵Σ1，通过保留对角矩阵Σ1中前L个最大的奇异值、忽略剩下小的奇异值得到的由列正交矩阵U1的前L列构成的光谱子空间S。


3.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，步骤3.2）中根据式（1）更新待估计的子空间系数A具体是指将式（1）视为具有解析解的强凸问题，采用共轭梯度法来求解更新待估计的子空间系数A。


4.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，步骤3.2）中根据式（2）更新变量V时具体是指将式（2）视为从干净图像(A-G/(2μ))去除方差为λ/(2μ)的高斯白噪声的去噪问题，并采用深度卷积神经网络解决去噪问题以求解更新变量V，深度卷积神经网络的输入为干净图像(A-G/(2μ))和噪声等级λ/(2μ)，输出为干净的灰度图像。


5.根据权利要求4所述的高光谱和多光谱图像融合方法，其特征在于，所述深度卷积神经网络一共包含15层，第1层是大小为3×3的卷积操作和修正线性单元，第2～14层均包括大小为3×3的卷积操作、批处理化和修正线性单元，最后一层是大小为3*3的卷积操作。


6.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，步骤3）之前还包括建立式（1）～（4）所示多个子问题求解模型的步骤：
S1）建立融合后的高光谱图像X的子空间表示模型，将融合后的高光谱图像X表示光谱子空间S及其相应的子空间系数A的如下式所示：
X=SA（5）
上式中，X表示融合后的高光谱图像，S为光谱子空间，A为子空间系数；
分别建立高光谱图像Y、多光谱图像Z两者和融合后的高光谱图像X之间的关联表示模型如下式所示：
Y=XB+ε1（6）
Z=RX+ε2（7）
上式中，Y表示高光谱图像，X表示融合后的高光谱图像...

【专利技术属性】
技术研发人员：李树涛，佃仁伟，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43