【技术实现步骤摘要】
本专利技术属于多光谱光学，尤其涉及一种重构多光谱图像的方法、系统及存储介质。
技术介绍
1、在本领域中，建立多光谱成像系统从而获得不同波段的光谱信息以达到物体信息的互补能够更利于在计算机视觉、卫星成像、食品工业、农业、医学成像等各种光学场景中有着更广泛的应用。但是在现有的多光谱图像的采集与重构的技术方案中，在单传感器上同时采集多光谱图像的空间和光谱信息可以利用多光谱滤光片阵列 （multispectralfilter array，msfa）进行单次拍摄来有效执行。然而，对于含有稀疏空间采样率及强的频谱互相关性的原始数据图像进行重构成为了一个具有挑战性的问题；例如使用传统的利用加权双线性差值方法以及伪全色图像差分法，进行多光谱去马赛克，如果不结合空间和频谱的相关性，结果通常会导致在频谱上失真，并导致空间域上的边缘模糊。而基于深度学习的方法虽然优于上述传统方法，但深度学习的方法生成的图像能在具有高对比度的明亮区域中呈现假彩色伪影并且在去马赛克结果中观察到光晕效应。即，在多光谱图像重构的方法中，传统方法和深度学习方法都有着各自的缺点。
2、基于此，本领域技术人员亟需提供一种全新的多光谱图像重构方法，以解决上述现有技术中存在的多光谱图像重构过程中存在的技术问题。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种重构多光谱图像的方法的，通过采用msfa单传感器多光谱快照成像系统联合传统的马赛克去除法以及深度学习方法的深度学习网络重构多光谱图像，以解决上述现有技术中存在的技
2、为此本专利技术提供了如下技术方案：
3、一种重构多光谱图像的方法，包括以下步骤：
4、构建空谱联合的注意力残差网络模型；
5、其中，所述注意力残差网络模型包括：多分支空间通道补偿块、残差密集块；所述多分支空间通道补偿块对插值稀疏图像进行初步去马赛克处理，得到c个波段特征信息和初步插值全通图像；将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取底层特征，进行空间和光谱残差补偿，得到最终的去马赛克多光谱图像；所述插值稀疏图像为原始图像i经二进制掩码调制后对各个波段的采样结果；
6、获取用于训练所述注意力残差网络模型的训练集，利用所述训练集对所述注意力残差网络模型进行训练，利用损失函数进行优化直至得到最优的注意力残差网络模型；
7、将所述插值稀疏图像输入最优的所述注意力残差网络模型，输出最终的去马赛克多光谱图像。
8、优选的，所述多分支空间通道补偿块对待重构图像进行初步去马赛克处理，得到所述c个波段特征信息和所述初步插值全通图像，具体包括以下步骤：
9、应用加权双线性wb插值将所述插值稀疏图像生成初步的去马赛克图像，然后通过马赛克通道卷积块mccb对分裂出的各波段稀疏图像的浅层特征进行初步提取，得到各个波段的浅层特征信息；
10、并将c个波段的所述浅层特征信息和全波段的所述浅层特征信息级联输入预构建的空间通道注意力模型scam，在空间和通道上进行自适应的特征匹配学习，得到c波段特征信息。
11、优选的，将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取深层特征，进行空间和光谱残差补偿，并将补偿结果图像进行重构，得到最终的所述去马赛克多光谱图像：
12、将所述c波段特征信息和所述初步插值全通图像使用所述残差密集块进行学习聚合，得到所述补偿结果图像；
13、利用一个输出为c通道的卷积层将所述补偿结果图像进行重构，并添加长跳跃连接使初步插值图像与重构的八波段多光谱残差图像相加，得到最终的去马赛克多光谱图像。
14、优选的，所述去马赛克多光谱图像的表达式为：
15、；
16、其中，表示输出为c通道的arn卷积网络函数；表示重构层。
17、优选的，还包括：获取插值稀疏图像的步骤，具体包括：
18、基于msfa单传感器成像方法获取空间分辨率为w*h像素的原始马赛克图像；其中，稀疏单个波段和高采样率的全通波段b是与msfa中对应像素相关联；
19、原始图像i经过各个波段的二进制掩码进行调制；其中，采集像素处为1，其余全为0；
20、根据像素坐标将最终得到的所述插值稀疏图像看作对各个波段进行采样的结果。
21、优选的，所述注意力残差网络模型的优化方法包括：
22、采用l1损失函数监督所述注意力残差网络模型的网络学习；获取一个由n幅光谱马赛克图像及恢复的多光谱图像对应表示为的所述训练集；所述训练集训练arn的目标是使l1损失函数达到最小：
23、其中，l1损失函数的表达式如下：
24、；
25、其中表示arn的参数集；并利用优化器对损失函数进行优化。
26、一种重构多光谱图像的系统，包括：
27、图像采集单元：利用msfa单传感器多光谱快照成像方法获取空间分辨率为w*h像素的原始马赛克图像；
28、图像处理单元：采用空谱联合的注意力残差网络模型对所述原始马赛克图像进行去马赛克处理，得到去马赛克多光谱图像；
29、图像数据传输单元，为所述系统各个单元间进行数据传输提供帮助；
30、通信单元包括：信号监测装置、信号切换装置、无线通信模块、北斗通信模块，基于所述无线通信模块与北斗通信模块，将信息实时传输至终端设备；
31、电源单元：太阳能电池及电源管理模块，为系统整体提供稳定电源；
32、系统故障监测单元，通过将一定数量的所述原始马赛克图像对应的最终的所述去马赛克多光谱图像作为测试集输入所述注意力残差网络模型中，将输出结果与所述去马赛克多光谱图像进行匹配，若匹配不一致则判定系统出现故障蜂鸣器发出警报，若匹配一致则判定系统未故障系统正常运行。
33、优选的，所述，所述通信单元中信号切换装置根据信号监测装置监测的通信信号大小，进行无线通信和北斗通信模块的通信切换。
34、一种计算机可读存储介质，其上存储计算机可读指令，当所述计算机可读指令由计算机执行时，所述计算机执行任一项所述重构多光谱图像的方法的步骤。
35、与现有技术相比，本专利技术具有如下有益效果：
36、本申请基于一种含有全通波段的8波段4×4msfa；提出了空谱联合的注意力残差网络模型，首先使用多分支模型对各个波段插值后的图像特征进行学习，其次八个波段和全通波段的特征信息联合通过本申请设计的空间通道注意力模型scam，应用多层卷积和卷积注意力模块并使用残差补偿的方式可以有效的弥补各波段的颜色差异和丰富边缘纹理相关特征信息；之后初步插值的全通波段和其余波段特征信息通过无需进行批量归一化的残差密集块对多光谱图像空间和光谱相关性进行特征学习以匹配各个波段的光谱信息。实验结果表明，本申请对于在d65光源下测试图像的峰值信噪比、结构相似度和光谱角相似度分别优本文档来自技高网...
【技术保护点】
1.一种重构多光谱图像的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种重构多光谱图像的方法，其特征在于，所述多分支空间通道补偿块对待重构图像进行初步去马赛克处理，得到所述c个波段特征信息和所述初步插值全通图像，具体包括以下步骤：
3.根据权利要求2所述的一种重构多光谱图像的方法，其特征在于，将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取深层特征，进行空间和光谱残差补偿，并将补偿结果图像进行重构，得到最终的所述去马赛克多光谱图像：
4.根据权利要求3所述的一种重构多光谱图像的方法，其特征在于，所述去马赛克多光谱图像的表达式为：
5.根据权利要求1所述的一种重构多光谱图像的方法，其特征在于，还包括：获取插值稀疏图像的步骤，具体包括：
6.根据权利要求1所述的一种重构多光谱图像的方法，其特征在于，所述注意力残差网络模型的优化方法包括：
7.一种重构多光谱图像的系统，其特征在于，包括：
8.根据权利要求7所述的一种重构多光谱图像的系统，其特征在于，所述通信单元中
9.一种计算机可读存储介质，其特征在于，其上存储计算机可读指令，当所述计算机可读指令由计算机执行时，所述计算机执行如权利要求1-6任一项所述重构多光谱图像的方法的步骤。
...【技术特征摘要】
1.一种重构多光谱图像的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种重构多光谱图像的方法，其特征在于，所述多分支空间通道补偿块对待重构图像进行初步去马赛克处理，得到所述c个波段特征信息和所述初步插值全通图像，具体包括以下步骤：
3.根据权利要求2所述的一种重构多光谱图像的方法，其特征在于，将所述c个波段特征信息和所述初步插值全通图像输入所述残差密集块，进一步提取深层特征，进行空间和光谱残差补偿，并将补偿结果图像进行重构，得到最终的所述去马赛克多光谱图像：
4.根据权利要求3所述的一种重构多光谱图像的方法，其特征在于，所述去马赛克多光谱图像的表达式为：
5.根据...
【专利技术属性】
技术研发人员：宋延嵩，董科研，郝群，张博，朴明旭，闫冈崎，梁宗林，刘天赐，胡文一，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。