一种用于旋转衍射的多光谱图像重建方法技术

本发明专利技术公开了一种用于旋转衍射的多光谱图像重建方法。包括：获取旋转衍射多光谱图像数据集；搭建用于光谱图像重建的卷积神经网络，卷积神经网络包括编码部分、解码部分和光谱上采样残差连接部分；将旋转衍射多光谱图像数据集输入卷积神经网络并对卷积神经网络进行训练，获得训练好的卷积神经网络；将待重建旋转衍射模糊图像输入训练好的卷积神经网络中，训练好的卷积神经网络输出重建高光谱图像。本发明专利技术在重建过程中不需要点扩散函数的辅助，无需迭代求解，具有速度快，计算资源消耗少，重建结果空间分辨率和光谱精度高，输出光谱通道数量灵活等特点。谱通道数量灵活等特点。谱通道数量灵活等特点。

【技术实现步骤摘要】
一种用于旋转衍射的多光谱图像重建方法


[0001]本专利技术属于光谱成像技术、深度学习领域的一种多光谱图像重建方法，具体涉及了一种用于旋转衍射的多光谱图像重建方法。

技术介绍

[0002]光谱成像技术作为一种成像技术和光谱技术相结合的多维信息获取技术，与传统成像技术相比，其优势在于能探测获得被测目标的二维空间信息及一维光谱信息，是物质成分类型、热辐射特性等研究的主要信息获取手段。自上世纪光谱成像技术诞生以来，其在农业、食品、资源勘探、环境保护、生物医学、军事等领域得到了广泛的应用。
[0003]然而传统的高光谱成像系统存在着光学系统复杂、含有精密运动器件、曝光时间长等问题，极大地限制了其在许多动态场景中的应用。近年来，高光谱成像系统向着轻小型化、快照式测量方向发展，尤其是随着计算机资源的发展，出现了众多基于计算重建的轻小型快照式高光谱成像系统，旋转衍射高光谱成像系统便是其中的一种。
[0004]2019年Jeon等提出了基于旋转衍射的快照式高光谱成像系统，这种成像系统仅利用一片衍射元件辅以相应的重建算法就可实现快照式光谱成像。具有轻小型、快照式、结构简单等特点，最后实现了420nm～660nm谱段的10nm间隔，25通道高光谱成像。但是在这个系统提出的重建算法中，需要衍射元件点扩散函数的辅助，最后的输出光谱通道数必须和标定得到的点扩散函数光谱通道数保持一致，且在重建过程中存在更新迭代的步骤，计算成本较高，计算资源消耗大。

技术实现思路

[0005]为了解决
技术介绍
中存在的技术问题，针对现有重建算法中存在的需要点扩散函数辅助，重建结果光谱通道数量必须与点扩散函数光谱通道数量保持一致，重建过程中需要迭代更新，计算资源消耗大等问题。本专利技术提出了一种用于旋转衍射的多光谱图像重建方法，在重建过程中不需要点扩散函数辅助，重建结果光谱通道数量灵活，不需要迭代更新，计算成本较低。
[0006]本专利技术是通过以下技术方案来实现的：
[0007]本专利技术包含以下步骤：
[0008]S1：获取旋转衍射多光谱图像数据集，旋转衍射多光谱图像数据集由旋转衍射模糊图像以及对应的高光谱真实图像组成；
[0009]S2：搭建用于光谱图像重建的卷积神经网络，卷积神经网络包括编码部分、解码部分和光谱上采样残差连接部分；卷积神经网络的输入分别输入到编码部分和光谱上采样残差连接部分中，编码部分的输出输入到解码部分，解码部分的输出与光谱上采样残差连接部分的输出进行按元素相加后的输出作为卷积神经网络的输出；
[0010]S3：将S1中旋转衍射多光谱图像数据集输入S2中的卷积神经网络并对卷积神经网络进行训练，获得训练好的卷积神经网络；
[0011]S4：将待重建旋转衍射模糊图像输入训练好的卷积神经网络中，训练好的卷积神经网络输出重建高光谱图像。
[0012]所述S1中旋转衍射多光谱图像数据集的获取方法包括：
[0013]利用基于位移台的旋转衍射数据集拍摄系统采集多组旋转衍射模糊图像以及对应的高光谱真实图像，从而构成旋转衍射多光谱图像数据集；
[0014]或者利用已知高光谱真实图像数据集和旋转衍射高光谱成像系统的点扩散函数计算生成旋转衍射模糊图像，由已知高光谱真实图像数据集和对应的旋转衍射模糊图像组成旋转衍射多光谱图像数据集。
[0015]所述编码部分包括五个残差卷积块和四个下采样层，编码部分的输入输入到第一残差卷积块，第一残差卷积块依次经第一下采样层、第二残差卷积块、第二下采样层、第三残差卷积块、第三下采样层、第四残差卷积块和第四下采样层后与第二残差卷积块相连，第一残差卷积块的输出作为编码部分的第一输出，第二残差卷积块的输出作为编码部分的第二输出，第三残差卷积块的输出作为编码部分的第三输出，第四残差卷积块的输出作为编码部分的第四输出，第五残差卷积块的输出作为编码部分的第五输出，编码部分的第一
‑
五输出分别依次输入到解码部分的第一
‑
五输入。
[0016]所述解码部分包括四个转置卷积层、四个残差卷积块和第一2D卷积层，
[0017]解码部分的第五输入输入到第一转置卷积层，第一转置卷积层的输出与解码部分的第四输入进行级联后的输出输入到第六残差卷积块，第六残差卷积块的输出与第二转置卷积层相连，第二转置卷积层的输出与解码部分的第三输入进行级联后的输出输入到第七残差卷积块，第七残差卷积块的输出与第三转置卷积层相连，第三转置卷积层的输出与解码部分的第二输入进行级联后的输出输入到第八残差卷积块，第八残差卷积块的输出与第四转置卷积层相连，第四转置卷积层的输出与解码部分的第一输入进行级联后的输出输入到第九残差卷积块，第九残差卷积块的输出与第一2D卷积层相连，第一2D卷积层的输出作为解码部分的输出。
[0018]所述光谱上采样残差连接部分包括光谱上采样残差模块，光谱上采样残差连接部分的输入和输出分别为光谱上采样残差模块的输入和输出。
[0019]所述残差卷积块包括3个2D卷积层、3个批归一化层、2个激活层和SE注意力模块，残差卷积块的输入分别输入到第三2D卷积层和第四2D卷积层中，第三2D卷积层依次经第一激活层、第一批归一化层和第五2D卷积层的输出作为注意力输入特征，注意力输入特征输入到SE注意力模块后的输出再与注意力输入特征进行按通道相乘后的输出作为中间特征，第四2D卷积层经第二批归一化层后输出与中间特征进行按元素相加后的输出输入到第二激活层，第二激活层经第三批归一化层的输出作为残差卷积块的输出。
[0020]所述S3中卷积神经网络训练时采用的总损失函数的公式为：
[0021]L＝αL1+βL
SSIM
+γL
Grad
[0022]L1＝|X
‑
Y|
[0023][0024][0025]其中，L为总损失函数值，L1为内容损失函数值，L
SSIM
为结构相似性损失函数值，L
Grad
为梯度差损失函数值，a、β、γ分别表示内容损失函数、结构相似性损失函数、梯度差损失函数的权重，X为重建的高光谱图像，Y为高光谱真实图像，u
X
、u
Y
分别为重建的高光谱图像X、高光谱真实图像Y的均值，X、高光谱真实图像Y的均值，分别为重建的高光谱图像X、高光谱真实图像Y的方差，σ
XY
为重建的高光谱图像X和高光谱真实图像Y的协方差，C1和C2分别为第一、第二平滑因子，；为重建的高光谱图像的梯度算子；为高光谱真实图像的梯度算子，||表示取绝对值操作。
[0026]所述的旋转衍射模糊图像的生成公式如下：
[0027][0028]其中，J
c
(x,y)表示c颜色通道下的旋转衍射模糊图像，c表示颜色通道，满足c∈{r,g,b}，r,g,b分别为红色、绿色、蓝色通道，m表示高光谱真实图像的光谱通道数量，I(x,y；λ
i
)表示在第i个光谱通道的高光谱真实图像切片，表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于旋转衍射的多光谱图像重建方法，其特征在于，包含以下步骤：S1：获取旋转衍射多光谱图像数据集，旋转衍射多光谱图像数据集由旋转衍射模糊图像以及对应的高光谱真实图像组成；S2：搭建用于光谱图像重建的卷积神经网络，卷积神经网络包括编码部分、解码部分和光谱上采样残差连接部分；卷积神经网络的输入分别输入到编码部分和光谱上采样残差连接部分中，编码部分的输出输入到解码部分，解码部分的输出与光谱上采样残差连接部分的输出进行按元素相加后的输出作为卷积神经网络的输出；S3：将S1中旋转衍射多光谱图像数据集输入S2中的卷积神经网络并对卷积神经网络进行训练，获得训练好的卷积神经网络；S4：将待重建旋转衍射模糊图像输入训练好的卷积神经网络中，训练好的卷积神经网络输出重建高光谱图像。2.根据权利要求1所述的一种用于旋转衍射的多光谱图像重建方法，其特征在于，所述S1中旋转衍射多光谱图像数据集的获取方法包括：利用基于位移台的旋转衍射数据集拍摄系统采集多组旋转衍射模糊图像以及对应的高光谱真实图像，从而构成旋转衍射多光谱图像数据集；或者利用已知高光谱真实图像数据集和旋转衍射高光谱成像系统的点扩散函数计算生成旋转衍射模糊图像，由已知高光谱真实图像数据集和对应的旋转衍射模糊图像组成旋转衍射多光谱图像数据集。3.根据权利要求1所述的一种用于旋转衍射的多光谱图像重建方法，其特征在于，所述编码部分包括五个残差卷积块和四个下采样层，编码部分的输入输入到第一残差卷积块，第一残差卷积块依次经第一下采样层、第二残差卷积块、第二下采样层、第三残差卷积块、第三下采样层、第四残差卷积块和第四下采样层后与第二残差卷积块相连，第一残差卷积块的输出作为编码部分的第一输出，第二残差卷积块的输出作为编码部分的第二输出，第三残差卷积块的输出作为编码部分的第三输出，第四残差卷积块的输出作为编码部分的第四输出，第五残差卷积块的输出作为编码部分的第五输出，编码部分的第一
‑
五输出分别依次输入到解码部分的第一
‑
五输入。4.根据权利要求1所述的一种用于旋转衍射的多光谱图像重建方法，其特征在于，所述解码部分包括四个转置卷积层、四个残差卷积块和第一2D卷积层，解码部分的第五输入输入到第一转置卷积层，第一转置卷积层的输出与解码部分的第四输入进行级联后的输出输入到第六残差卷积块，第六残差卷积块的输出与第二转置卷积层相连，第二转置卷积层的输出与解码部分的第三输入进行级联后的输出输入到第七残差卷积块，第七残差卷积块的输出与第三转置卷积层相连，第三转置卷积层的输出与解码部分的第二输入进行级联后的输出输入到第八残差卷积块，第八残差卷积块的输出与第四转置卷积层相连，第四转置卷积层的输出与解码部分的第一输入进行级联后的输出输入到...

【专利技术属性】
技术研发人员：蒋婷婷，徐豪，杨佳奇，胡海泉，徐之海，李奇，冯华君，陈跃庭，
申请(专利权)人：浙江大学，
类型：发明
国别省市：