基于通道MLP提取空谱特征的高光谱图像超分方法及系统技术方案

本发明专利技术公开了一种基于通道MLP提取空谱特征的高光谱图像超分方法及系统，本发明专利技术采用的超分辨率网络模型包括：通道MLP模块、空谱特征提取单元、上采样模块以及重构模块；其中空谱特征提取单元由n个空谱特征提取模块级联构成，用于对浅层特征提取空谱特征，并对所有空谱特征提取模块的输出通过残差连接相加得到输出特征；空谱特征提取模块由通道MLP模块结合波段分组、波段滑动、波段打乱、通道分组操作组成；重构模块用于对输入的低分辨率高光谱图像进行插值放大，并与上采样特征F

【技术实现步骤摘要】
基于通道MLP提取空谱特征的高光谱图像超分方法及系统


[0001]本专利技术属于高光谱图像处理
，具体涉及一种基于通道MLP提取空谱特征的高光谱图像超分方法及系统。

技术介绍

[0002]高光谱图像(hyperspectral images,HSIs)是一种包含上百个波段的立方体图像。其不仅拥有空间信息，还包含丰富的光谱信息。高光谱图像被广泛用于城市布局规划、农业应用和军事应用等领域。但由于传感器硬件的限制，到达每个波段的光电子有限，导致高光谱图像的空间分辨率较低，难以清晰识别地物的纹理结构、地物类别区分度低等问题，严重影响了高光谱图像的实际应用。因而，提高高光谱图像的空间分辨率非常重要。
[0003]超分辨率(简称超分)旨在将低空间分辨率的图像重建成高分辨率图像。高光谱图像超分辨率算法可分为两种：基于融合的高光谱超分方法和基于单图像的高光谱超分方法。基于融合的高光谱超分方法，是一种通过融合高空间分辨率辅助图像和低空间分辨率高光谱图像，从而得到高空间分辨率高光谱图像的技术。由于成像系统的高复杂性和高成本，难以得到精确配准的高空间分辨率辅助图像，因此，基于融合的高光谱超分方法实用性低。
[0004]基于单图像的高光谱超分辨率因为不需要辅助图像，所以实用性更高。这类方法可以分为：基于图像插值、稀疏表征、低秩张量、深度学习方法。基于图像插值、稀疏表征、低秩张量的算法，难以充分挖掘高光谱图像的内在特征。目前，基于深度学习的高光谱单图像超分算法，利用卷积神经网络(CNN)或Transformer强大的特征提取能力，实现高光谱图像的重建。但是，现有方法不能充分提取高光谱图像的光谱信息，高光谱图像的重建效果有待提高。多层感知机(MLP)已经成功应用到RGB等自然图像领域。不同于RGB等自然图像，高光谱图像拥有丰富的光谱信息，具有数据量大的特点。基于CNN和Transformer的方法难以充分捕获光谱特征，导致光谱扭曲、性能欠佳；而且以往的方法在处理高光谱图像时，计算量大。为此，如何充分捕获光谱细节信息、降低计算消耗，对于高光谱超分领域仍然是一个重要内容。

技术实现思路

[0005]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于空谱特征的高光谱图像超分方法及系统，本专利技术旨在实现一种效果更好、计算资源消耗更小的高光谱图像超分辨率技术，以解决高光谱图像空间分辨率低的问题。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：
[0007]一种基于通道MLP提取空谱特征的高光谱图像超分方法，包括利用超分辨率网络模型根据输入的低分辨率高光谱图像生成高分辨率高光谱图像，所述超分辨率网络模型包括：
[0008]通道MLP模块，用于对输入的低分辨率高光谱图像提取浅层特征F0；
[0009]空谱特征提取单元，由n个空谱特征提取模块级联构成，对浅层特征F0进行复杂空谱特征提取，并对所有空谱特征提取模块输出通过残差连接相加得到空谱特征F
m
；所述空谱特征提取模块由通道MLP模块结合波段分组、波段滑动、波段打乱、通道分组操作组成，用于光谱空间特征提取，并降低计算消耗；
[0010]通道MLP模块，用于对输入的空谱特征F
m
提取特征F；
[0011]上采样模块，用于对特征F进行上采样得到上采样特征F
up
；
[0012]重构模块，用于对输入的低分辨率高光谱图像进行插值放大，并将插值放大得到的图像和上采样特征F
up
相加得到高分辨率高光谱图像。
[0013]可选地，所述空谱特征提取模块包括：
[0014]归一化层LN，用于对输入的特征F
i
‑1进行归一化得到归一化特征；
[0015]局部与全局光谱信息提取模块，用于对归一化特征采用通道MLP模块提取通道特征后，沿着通道维度分为两路输出；一路输出仅采用通道MLP提取通道特征；而另外一路输出利用通道MLP模块结合波段分组、波段滑动操作捕获两种不同的局部光谱信息并融合，对融合后的局部光谱特征图利用通道MLP模块结合波段打乱、波段分组操作得到全局光谱特征；最后采用通道MLP模块融合两路输出得到局部与全局光谱模块的输出；
[0016]归一化层LN，用于对输入特征图F
i
‑1和局部全局光谱信息模块输出特征图相加后的特征图进行归一化；
[0017]空间组特征提取模块，用于对归一化后的局部与全局光谱信息输出采用CycleMLP结合通道分组操作提取空间特征；
[0018]前馈网络模块，用于对输入的特征F
i
‑1和空间组特征模块输出相加得到的特征图H
n
进行特征提取后，再对特征提取后得到的特征图与H
n
通过残差连接相加得到输出特征F
i
。
[0019]可选地，所述局部与全局光谱信息提取模块包括三个通道MLP模块和一个分组
‑
滑动
‑
打乱MLP提取模块，输入局部与全局光谱信息提取模块的特征F
i0
，在第一个通道MLP模块进行特征提取后沿着通道维度等分为两路输出，一路输出的特征F
i1
作为第二个通道MLP模块的输入以用于提取通道维度信息、另一路输出的特征F
i2
作为分组
‑
滑动
‑
打乱MLP提取模块的输入以用于局部和全局光谱信息提取，第二个通道MLP模块和分组
‑
滑动
‑
打乱MLP提取模块两者的输出合并后作为第三个通道MLP模块的输入特征F
i3
；所述分组
‑
滑动
‑
打乱MLP提取模块用于针对特征F
i2
分别采用通道MLP模块结合波段分组、波段滑动提取两种不同的局部光谱特征，融合两种局部特征后再利用通道MLP模块结合波段打乱、波段分组提取提取全局光谱特征；第三个通道MLP模块的末尾还包括使用一个dropout函数以缓解超分辨率网络模型的过拟合问题。
[0020]可选地，所述分组
‑
滑动
‑
打乱MLP提取模块包括：输入F
i2
首先经过波段分组、波段滑动加波段分组操作后得到两路并行输出；分组光谱特征聚合模块LSIB，用于对特征F
i2
进行波段分组后的一路输出利用通道MLP模块提取一种局部光谱特征；滑动分组光谱特征聚合模块SSIB，用于对特征F
i2
依次进行波段滑动、波段分组后的一路输出利用通道MLP模块提取第二种局部光谱特征；合并模块，用于将分组光谱特征聚合模块LSIB和滑动分组光谱特征聚合模块SSIB输出的两种局部光谱特征进行合并；通道MLP模块，用于对合并后的局部光谱特征进行融合；全局光谱特征提取模块GSIB，用于对融合后的局部光谱特征依次进行波段打乱、波段分组后利用通道MLP模块提取全局光谱特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道MLP提取空谱特征的高光谱图像超分方法，其特征在于，包括利用超分辨率网络模型根据输入的低分辨率高光谱图像生成高分辨率高光谱图像，所述超分辨率网络模型包括：通道MLP模块，用于对输入的低分辨率高光谱图像提取浅层特征F0；空谱特征提取单元，由n个空谱特征提取模块级联构成，对浅层特征F0进行复杂空谱特征提取，并对所有空谱特征提取模块输出通过残差连接相加得到空谱特征F
m
；所述空谱特征提取模块由通道MLP模块结合波段分组、波段滑动、波段打乱、通道分组操作组成，用于光谱空间特征提取，并降低计算消耗；通道MLP模块，用于对输入的空谱特征F
m
提取特征F；上采样模块，用于对特征F进行上采样得到上采样特征F
up
；重构模块，用于对输入的低分辨率高光谱图像进行插值放大，并将插值放大得到的图像和上采样特征F
up
相加得到高分辨率高光谱图像。2.根据权利要求1所述的基于通道MLP提取空谱特征的高光谱图像超分方法，其特征在于，所述空谱特征提取模块包括：归一化层LN，用于对输入的特征F
i
‑1进行归一化得到归一化特征；局部与全局光谱信息提取模块，用于对归一化特征采用通道MLP模块提取通道特征后，沿着通道维度分为两路输出；一路输出仅采用通道MLP提取通道特征；而另外一路输出利用通道MLP模块结合波段分组、波段滑动操作捕获两种不同的局部光谱信息并融合，对融合后的局部光谱特征利用通道MLP模块结合波段打乱、波段分组操作得到全局光谱特征；最后采用通道MLP模块融合两路输出得到局部与全局光谱模块的输出；归一化层LN，用于对输入特征图F
i
‑1和局部与全局光谱信息模块输出特征图相加后的特征图进行归一化；空间组特征提取模块，用于对归一化后的局部与全局光谱信息特征图采用CycleMLP结合通道分组操作提取空间特征；前馈网络模块，用于对输入的特征F
i
‑1和空间组特征模块输出相加得到的特征图H
n
进行特征提取后，再对特征提取后得到的特征图与H
n
通过残差连接相加得到输出特征F
i
。3.根据权利要求2所述的基于通道MLP提取空谱特征的高光谱图像超分方法，其特征在于，所述局部与全局光谱信息提取模块包括三个通道MLP模块和一个分组
‑
滑动
‑
打乱MLP提取模块，输入局部与全局光谱信息提取模块的特征F
i0
在第一个通道MLP模块进行特征提取后被分为两路输出，一路输出的特征F
i1
作为第二个通道MLP模块的输入以用于提取通道信息、另一路输出的特征F
i2
作为分组
‑
滑动
‑
打乱MLP提取模块的输入以提取局部和全局光谱信息，第二个通道MLP模块和分组
‑
滑动
‑
打乱MLP提取模块两者的输出合并后作为第三个通道MLP模块的输入特征F
i3
；所述分组
‑
滑动
‑
打乱MLP提取模块用于针对特征F
i2
采用通道MLP模块结合波段分组、波段滑动提取两种不同的局部光谱特征后再进行融合，对融合后的特征图利用通道MLP模块结合波段分组、波段打乱操作提取全局光谱特征；第三个通道MLP模块的末尾还包括一个dropout函数以缓解超分辨率网络模型的过拟合问题。4.根据权利要求3所述的基于通道MLP提取空谱特征的高光谱图像超分方法，其特征在于，所述分组
‑
滑动
‑
打乱MLP提取模块包括：输入F
i2
首先经过波段分组、波段滑动加波段分组操作后得到两路并行输出；分组光谱特征聚合模块LSIB，用于对特征F
i2
进行波段分组后
的一路输出利用通道MLP模块提取局部光谱特征；滑动分组光谱特征聚合模块SSIB，用于对特征F
i2
依次进行波段滑动、波段分组后的一路输出利用通道MLP模块提取局部光谱特征；合并模块，用于将分组光谱特征聚合模块LSIB和滑动分组光谱特征聚合模块SSIB输出的局部光谱特征进行合并；通道MLP模块，用于对合并后的局部光谱特征进行融合；全局光谱特征提取模块GSIB...

【专利技术属性】
技术研发人员：胡建文，姚运泽，刘耀庭，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：