【技术实现步骤摘要】
本专利技术涉及光谱超分辨，特别是涉及一种rgb图像光谱超分辨率重建方法、系统、设备及介质。
技术介绍
1、目前，图像光谱超分辨重构技术是将同一传感器的低光谱分辨率图像从光谱维度进行重建，使之光谱特征信息达到精细化的目的，最终使得处理后的图像同时具备高光谱与高空间分辨率的图像数据属性。利用单幅rgb图像直接重建高光谱图像是一个极为经济、便捷的途径，光谱图像中光谱反射率维数远大于rgb图像中rgb值维数，直接利用伪逆方法重建光谱反射率，属于病态问题，容易产生较大重建误差。针对此问题，现存方法分为两类，一类为间接重建，另一类为直接重建。然而，不管是间接重建还是直接重建方法，其重建效果仍依赖于字典学习方法、以及测试样本集与训练样本集的数据特征相似程度。
2、现有的深度学习方法大多专注于数据驱动网络架构，其模型光谱超分重建的过程以及机理难以解释，且现有的光谱重建方法只采用光谱先验信息对图像光谱进行重建忽略了频域特征信息对图像空间细节恢复的重要性。
技术实现思路
1、为了解决现有技术中大程度依赖光谱字典学习方法，且深度学习模型光谱超分重建的过程以及机理难以解释、忽略频域特征信息对图像空间细节恢复的重要性的问题，本专利技术提供了一种rgb图像光谱超分辨率重建方法、系统、设备及介质，所述方法包括：
2、从rgb图像中捕获近似图像信息，并对所述近似图像信息进行校正，得到初始高光谱图像；
3、将所述初始高光谱图像输入构建的深度展开网络模型进行迭代训练；所述深度展开网
4、通过预定次数的迭代训练，获得超分辨率光谱图像。
5、进一步地，所述从rgb图像中捕获近似图像信息，并对所述近似图像信息进行校正，得到初始高光谱图像，包括：
6、通过光谱响应函数从所述rgb图像中捕获所述近似图像信息；
7、通过倒残差结构的3×3卷积块调整所述近似图像信息的空间偏差，得到对应的特征信息；
8、根据所述近似图像信息和所述特征信息，得到所述初始高光谱图像。
9、进一步地，所述将所述初始高光谱图像输入构建的深度展开网络模型进行迭代训练，包括：
10、将所述初始高光谱图像输入所述频域重构网络模块进行频域重构，获得光谱图像的空间细节特征；
11、将所述初始高光谱图像输入所述谱域重构网络模块进行谱重建，获得光谱图像的多属性先验信息；
12、将所述初始高光谱图像输入所述全局注意力网络模块进行全局注意力运算，得到光谱图像的初始重建信息；
13、根据所述空间细节特征、多属性先验信息和初始重建信息，对高光谱图像进行初始重建，得到一次重建高光谱图像；
14、将所述一次高光谱图像输入所述深度展开网络模型进行下一轮迭代训练，且将每一轮迭代输出的重建高光谱图像作为下一轮迭代的输入。
15、进一步地，所述将所述初始高光谱图像输入所述频域重构网络模块进行频域重构，获得光谱图像的空间细节特征，包括：
16、对输入的高光谱图像进行离散余弦变换，得到频率特征；
17、对所述频率特征进行倒残差的尺度融合，得到融合特征；
18、对所述融合特征进行逆离散余弦变换，得到光谱图像的空间细节特征。
19、进一步地，所述将所述初始高光谱图像输入所述谱域重构网络模块进行谱重建，获得光谱图像的多属性先验信息，包括：
20、对输入的高光谱图像进行基于尺度融合倒残差的卷积操作，得到光谱空间信息；
21、将所述光谱空间信息进行线性映射获取位置信息，所述位置信息包括查询特征、关键字特征、关键值特征；
22、将所述位置信息输入光谱自注意力机制，得到初始先验信息；
23、利用所述transformer神经网络对所述初始先验信息进行迭代得到光谱图像的多属性先验信息。
24、进一步地，所述将所述初始高光谱图像输入所述全局注意力网络模块进行全局注意力运算，得到光谱图像的初始重建信息，包括：
25、将所述初始高光谱图像输入多层感知器并通过sigmoid函数获取第一高光谱图像；
26、将所述第一高光谱图像进行卷积操作并通过sigmoid函数获取第二高光谱图像，得到光谱图像的初始重建信息。
27、本专利技术提供一种rgb图像光谱超分辨率重建系统，所述系统包括：
28、初始高光谱图像获取模块，用于从rgb图像中捕获近似图像信息，并对所述近似图像信息进行校正，得到初始高光谱图像；
29、光谱重建模块，用于将所述初始高光谱图像输入构建的深度展开网络模型进行迭代训练；所述深度展开网络模型包括依次叠加堆叠的频域重构网络模块、谱域重构网络模块和全局注意力网络模块，所述频域重构网络模块为基于卷积神经网络的频域子网络，所述谱域重构网络为transformer神经网络和卷积神经网络相结合的网络架构，所述全局注意力网络模块基于全局注意力机制；
30、迭代训练模块，用于通过预定次数的迭代训练，获得超分辨率光谱图像。
31、本专利技术提供一种计算机设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的一种rgb图像光谱超分辨率重建方法。
32、本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的一种rgb图像光谱超分辨率重建方法。
33、本专利技术实施例提供的一种rgb图像光谱超分辨率重建方法，与现有技术相比，其有益效果在于：本专利技术提供了一种机理嵌入学习模型的深度学习网络架构，将三个波段rgb图像的光谱波段数量提升至n维，即获得高光谱图像，能够提供丰富的光谱诊断性信息；光谱重建过程中，设计了频域子网络模型，从图像频域视角捕获高维图像空间细节信息，强调了频域特征信息对图像空间细节恢复的重要性，设计了光谱子网络模型，并提出光谱自主力机制，获取高维光谱波段间的特征依赖性及其深度先验信息；增强了光谱超分辨任务中光谱波段重建的可解释性。
本文档来自技高网...【技术保护点】
1.一种RGB图像光谱超分辨率重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种RGB图像光谱超分辨率重建方法，其特征在于，所述从RGB图像中捕获近似图像信息，并对所述近似图像信息进行校正，得到初始高光谱图像，包括：
3.根据权利要求1所述的一种RGB图像光谱超分辨率重建方法，其特征在于，所述将所述初始高光谱图像输入构建的深度展开网络模型进行迭代训练，包括：
4.根据权利要求3所述的一种RGB图像光谱超分辨率重建方法，其特征在于，所述将所述初始高光谱图像输入所述频域重构网络模块进行频域重构，获得光谱图像的空间细节特征，包括：
5.根据权利要求3所述的一种RGB图像光谱超分辨率重建方法，其特征在于，所述将所述初始高光谱图像输入所述谱域重构网络模块进行谱重建，获得光谱图像的多属性先验信息，包括：
6.根据权利要求3所述的一种RGB图像光谱超分辨率重建方法，其特征在于，所述将所述初始高光谱图像输入所述全局注意力网络模块进行全局注意力运算，得到光谱图像的初始重建信息，包括：
7.一种RGB图像光谱超分
8.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1至6中任一项所述的一种RGB图像光谱超分辨率重建方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至6中任一项所述的一种RGB图像光谱超分辨率重建方法。
...【技术特征摘要】
1.一种rgb图像光谱超分辨率重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种rgb图像光谱超分辨率重建方法，其特征在于，所述从rgb图像中捕获近似图像信息，并对所述近似图像信息进行校正，得到初始高光谱图像，包括：
3.根据权利要求1所述的一种rgb图像光谱超分辨率重建方法，其特征在于，所述将所述初始高光谱图像输入构建的深度展开网络模型进行迭代训练，包括：
4.根据权利要求3所述的一种rgb图像光谱超分辨率重建方法，其特征在于，所述将所述初始高光谱图像输入所述频域重构网络模块进行频域重构，获得光谱图像的空间细节特征，包括：
5.根据权利要求3所述的一种rgb图像光谱超分辨率重建方法，其特征在于，所述将所述初始高光谱图像输入所述谱域重构网络模块进行谱重建，获得光谱图像的多属性...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。