一种基于预处理的高光谱图像超分辨率重建方法技术

本发明专利技术提出一种基于预处理的高光谱图像超分辨率重建方法，属于视觉图像处理领域，具体为：首先，提取可见光RGB图像Z多层次的特征Z'；然后，迭代高光谱图像Y，上下采样预处理，得到Y

【技术实现步骤摘要】
一种基于预处理的高光谱图像超分辨率重建方法


[0001]本专利技术属于视觉图像处理领域，具体是一种基于预处理的高光谱图像超分辨率重建方法。

技术介绍

[0002]高光谱成像技术具有广泛连续的光谱信息，被广泛地用于需要估计复杂表面的物理参数和识别具有精细光谱特征的视觉相似材料的遥感应用中。但是，由于现有成像系统的硬件限制，高光谱图像在光谱和空间分辨率、光吞吐量之间不可避免地进行权衡。对于特定的光学系统，波段越窄时，接受到的能量越弱，因此只能接收更大区域的反射能量，导致空间分辨率降低。尤其当高分辨率高光谱相机信噪比不达标的时候，空间分辨率会更低。
[0003]为了解决这一问题，现有技术通过LR HSI和HR RGB的融合，得到HR HSI的超分辨率重建技术。大多数研究报告称，在使用重建的HSI数据期间，与使用原始数据相比，解释、分析或勘探精度都有所提高。因此，超分辨率重建成为HSI数据预处理的一个重要步骤，特别是在高分辨率和非常高分辨率图像的应用中。
[0004]早期大多使用传统方法进行融合，如Naveed Akhtar等人提出了一种基于贝叶斯字典的学习方法(Bayesian HSI Sup Res)[1]。Dong等人提出了一种基于聚类的结构化稀疏编码方法(NSSR)[2]，利用学习到的稀疏编码之间的空间相关性进行高光谱图像的重建。
[0005]近年来，多使用神经网络来进行高光谱超分辨率重建；如Dian等人提出了一种通过卷积神经网络直接学习图像先验知识的HSI锐化方法(DHSIS)[3]。Zhang等人将退化估计纳入HSI超分辨率，提出了一个无监督的深度学习框架(DBIN)[4]。Xie等人将低秩先验知识融合到公式中，然后通过展开近似梯度算法来求解所提出的模型构建网络(MHF
‑
net)[5]。Yao等人提出了一种新型的交叉注意耦合解混网络(CUCaNet)[6]，通过对网络进行合理的一致性假设自适应学习谱响应函数和空间响应函数。
[0006]上述方法中，传统的方法与MHF
‑
net方法、CUCaNet方法都假设在HR HSI降采样到LR HSI和HR RGB的过程中，降采样矩阵和光谱响应函数是已知的，且假设高光谱与可见光图像间是严格配准的。然而，通常不能做到拍摄的数据严格配准。因此，在两种传感器拍摄的图像不能实现严格配准时，需要提出新的解决方案。同时上述这些高光谱超分辨率重建的方法多从空间分辨率的方面进行考虑，而没有考虑到光谱维度的重建，导致重建后光谱信息的恢复不尽如人意，从而引入光谱畸变，如NSSR与CUCaNet方法。
[0007]Reference
[0008][1]Akhtar N,Shafait F,Mian A.Bayesian sparse representation for hyperspectral image super resolution[C]//IEEE Conference on Computer Vision&Pattern Recognition.IEEE,2015.
[0009][2]W.Dong et al.,"Hyperspectral image super
‑
resolution via non
‑
negative structured sparse representation",IEEE Trans.Image Process.,vol.25,no.5,pp.2337
‑
2352,May 2016.
[0010][3]R.Dian,S.Li,A.Guo,and L.Fang,“Deep hyperspectral image sharpening,”IEEE Trans.Neural Netw.Learn.Syst.,vol.29,no.11,pp.5345
–
5355,Nov.2018.
[0011][4]W.Wang,W.Zeng,Y.Huang,X.Ding,and J.Paisley,“Deep blind hyperspectral image fusion,”in Proc.IEEE/CVF Int.Conf.Comput.Vis.(ICCV),Oct.2019,pp.4150
–
4159.
[0012][5]Q.Xie,M.Zhou,Q.Zhao,Z.Xu and D.Meng,"MHF
‑
Net:An Interpretable Deep Network for Multispectral and Hyperspectral Image Fusion,"in IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.44,no.3,pp.1457
‑
1473,1March 2022,doi:10.1109/TPAMI.2020.3015691.
[0013][6]J.Yao,D.Hong,J.Chanussot,D.Meng,X.Zhu,and Z.Xu,“Crossattention in coupled unmixing nets for unsupervised hyperspectral super
‑
resolution,”in Proc.Eur.Conf.Comput.Vis.Cham,Switzerland:Springer,2020,pp.208
–
224.

技术实现思路

[0014]针对HSI数据与RGB数据不能严格配准时，两者之间的融合以及重建后光谱信息恢复不好的问题；本专利技术提出了一种基于预处理的高光谱图像超分辨率重建方法，通过分别对高光谱图像与可见光图像进行预处理，实现了重建后引入额外的光谱畸变和未经过配准的图像对直接进行重建的目的。
[0015]所述基于预处理的高光谱图像超分辨率重建方法，具体步骤如下：
[0016]步骤一、针对可见光RGB图像Z，通过多个分支的卷积层和池化层提取该图像多层次的特征Z'；
[0017]步骤二、构建对高光谱进行单图像重建的网络，以迭代的形式对高光谱图像进行上下采样预处理；
[0018]针对高光谱图像Y，执行迭代公式如下所示：
[0019]Y
n
＝((conv
3,3
(Y
n
‑1),
↑
8),
↓
8)
[0020]其中，n代表迭代的次数；n≥2。
[0021]每一次上采样或下采样之前加上之前层的对应大小的图像，在最后一次时，只进行上采样，作为预处理后的高光谱图像Y
n
。
[0022]步骤三、将可见光RGB图像预处理得到的特征Z'通过SE模块，再将得到的结果与高光谱图像预处理得到的Y<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预处理的高光谱图像超分辨率重建方法，其特征在于，具体步骤如下：首先，针对可见光RGB图像Z，通过多个分支的卷积层和池化层提取该图像多层次的特征Z'；然后，构建对高光谱进行单图像重建的网络，针对高光谱图像Y，以迭代的形式对高光谱图像进行上下采样预处理，得到预处理后的高光谱图像Y
n
；执行迭代公式如下所示：Y
n
＝((conv
3,3
(Y
n
‑1),
↑
8),
↓
8)其中，n代表迭代的次数；n≥2；conv是卷积运算操作符，下标表示卷积算子的大小；接着，将可见光RGB图像预处理得到的特征Z'通过SE模块，再将得到的结果与高光谱图像预处理得到的Y
n
按照矩阵维度拼接在一起，拼接后的图像通过两次SE模块和3
×
3的卷积，得到最终融合后的高分辨率高光谱图像X；将融合后的高分辨率高光谱图像X再次降采样，分别得到低分辨率的高光谱图像和可见光图像，与原始的高光谱图像和可见光图像相减，得到的可见光图像残差和高光谱图像残差分别执行特征提取和上下采样预处理；并重复执行融合，得到高分辨率高光谱图像X1；最后，将高分辨率高光谱图像X1重复迭代，直至达到设定的迭代次数，得到融合后的高分辨率高光谱图像Xn；与上一次生成的高分辨率高光谱图像Xn
‑
1前后拼接，再进行卷积得到重建的超分辨率的高光谱图像。2.如权利要求1所述的一种基于预处理的高光谱图像超分辨率重建方法，其特征在于，所述提取可见光RGB图像Z多层次的特征Z'，提取流程如下所示：步骤101，对输入的RGB图像Z进行1*1卷积后，通过3*3的池化层，再次进行1*1的卷积得到矩阵Z
11
：Z
11
＝conv
1,1
(pool
3,3
(conv
1,1
(Z)))其中pool是池化操作符；步骤102，对输入的RGB图像Z进行1*1卷积后，再进行1*3的卷积得到矩阵Z
13
：Z
13...

【专利技术属性】
技术研发人员：李宁，马如彬，焦继超，徐威，逄敏，董建业，李嘉俊，
申请(专利权)人：中国电波传播研究所中国电子科技集团公司第二十二研究所，
类型：发明
国别省市：