【技术实现步骤摘要】
本专利技术涉及一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，属于光学成像。
技术介绍
1、cassi系统利用编码孔径和色散元件对场景进行特定的调制，成像原理是当理想的高光谱数据经过一系列光学元件后被探测器捕获为编码压缩值，将光学调制过程认为是一个已知的数学变换，通过重建算法解出高光谱图像数据。以单色散cassi为例，考虑我们想要采集到场景的b个波段的光谱图像，并且每个光谱帧具有n＝nx×ny个像素，光谱数据立方用表示，
2、每个波段分别经过编码矩阵编码调制后，表示为对nλ＝1,2,…,b,调制过程的数学表示是一个矩阵逐元素相乘的操作，如以下公式所示：
3、x′(:,:,nλ)＝x(:,:,nλ)*a,
4、令x′经过色散调制后的数据立方为每个波段的中心波长经过色散元件后出射角度不同，相对发生了位移，用d来表示在像面上的位移距离，有：
5、
6、令观测值为z中的每个值表示为：
7、
8、其中(x,y)是位置坐标，表示测量噪声。
9、公式中的cassi成像模型以矩阵向量的形式重写。将高光谱数据立方x展开为列向量将编码矩阵a展开为列向量构造为对角矩阵我们定义
10、f＝[f1,f2,…,fn],n＝b
11、
12、用d来表示位移距离，构造出传感矩阵f
13、
14、cassi成像模型就可以表示为
15、z＝fx+n
16、这类似于求
17、因此，需要一种鲁棒性更好的快照高光谱成像方法以解决上述问题。
技术实现思路
1、本专利技术的目的在于提供一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，以解决上述
技术介绍
中提出的问题。
2、一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，包括以下步骤：
3、一、搭建高光谱成像模型，利用编码孔径快照光谱成像方法对目标场景进行色散编码得到测量值z；
4、二、构建快照高光谱重建网络，利用所述快照高光谱重建网络实现高光谱图像重建，所述快照高光谱重建网络由基于优化transformer模块设计的unet架构和辅助学习网络组成，包括以下步骤：
5、21、将步骤一得到的观测值z输入辅助学习网络，进行高光谱成像的辅助学习任务：所述辅助学习网络学习观测值z到全色图像的映射关系wat，利用映射关系wat得到网络生成的初步全色图像xpan；
6、22、步骤一的观测值z使用基于优化transformer模块设计的unet架构重建高光谱图像，在重建过程中使用步骤21得到的初步全色图像xpan在上采样过程中进行多尺度特征融合，得到高鲁棒性重建结果。
7、更进一步的，步骤21中所述辅助学习网络学习观测值到全色图像的映射关系wat，利用映射关系wat得到网络生成的初步全色图像xpan：
8、xpan＝wat(z)
9、式中，z是观测值，xpan是网络生成的初步全色图像，wat为辅助学习网络学习到的观测值z到全色图像的映射关系，所述辅助学习网络为一个基于多层残差和跳跃连接的unet模块。
10、辅助学习任务是令辅助学习网络学习观测值到全色图像的映射，将网络生成的全色图像特征输入高光谱重建端，以获得更鲁棒的高光谱重建效果。
11、更进一步的，步骤22中基于优化transformer模块设计的unet架构包括对称的上采样过程和下采样过程，对输入进行采样时，使用三个相同的特征提取模块，所述特征提取模块包括基于通道编码的残差连接模块resblock和注意力模块atten，整体结构为resblock-atten-resblock。
12、更进一步的，所述上采样过程和下采样过程通过下式表示：
13、ydown+1＝rar(ydowni)↓,i＝0,1,2
14、yup4＝rar(ydown3)
15、yupj+1＝rar(concat(yupj,ydowni+1)↑,j＝4,5,6
16、式中，i，j分别表示下采样和上采样过程中迭代输入和输出的索引，rar(.)表示特征提取模块，ydowni表示经过rar后网络提取的下采样特征，yupj表示经过rar后网络提取的上采样特征。。
17、更进一步的，步骤22中在重建过程中使用步骤二的初步全色图像xpan在上采样过程中进行多尺度特征融合，通过下式表示：
18、将上采样过程的特征yn沿通道方向拆分为对每个yni求均值后组成向量b∈r1×1×c,融合过程通过下式表示：
19、yn′＝yn+b*conv(xpan)
20、式中，yn表示rar模块提取的特征，b∈r1×1×c表示多光谱通道的均值信息，xpan为初步全色图像。
21、更进一步的，所述残差连接模块resblock采用通道位置编码设计：对resblock中初步提取的特征yin∈rc×h×w进行位置标记，首先生成一个与通道长度c相等的递增序列向量，使用sin和cos周期函数交替对其进行计算，则位置标记向量通过下式表示：
22、p＝[sin(1),cos(2),sin(3)…]
23、经过一个线性投影后，将通道位置编码向量linear(p)复制扩充得到p，编码过程通过下式表示：
24、yin′＝yin+p
25、式中，yin′∈rc×h×w为经过位置标记后的输出。
26、本专利技术利用了使用基于优化transformer模块设计的unet架构联合辅助学习任务，关注恢复图像和光谱维度的信息，为了获得优化的特征向量，rar设计了通道编码机制，以便注意力机制更好的关注通道序列信息。在cassi算法中使用全色图像重建任务作为辅助，在输入的观测值受到噪声干扰时，可以更好地保持重建效果，提升了鲁棒性能。
27、更进一步的，所述注意力模块atten为将一组[查询，键，值]映射成一个输出的过程，可以通过下式表示:
28、x′＝atten(x),
29、其中,atten()为注意力函数，输入x、输出x′、查询、键和值都是向量。
30、更进一步的，所述注意力模块atten，包括以下步骤：
31、221、使用单个注意力结构，将atten模块的输入xin∈rc×h×w变形为xin′∈rc×hw，使用三个可学习的权值矩阵w∈rhw×hw对xin′进行线性投影变换，变换过程用l＝xin′⊙w表示，得到查询、键和值，三个矩阵q,本文档来自技高网...
【技术保护点】
1.一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，包括以下步骤：一、搭建高光谱成像模型，利用编码孔径快照光谱成像方法对目标场景进行色散编码得到观测值Z；二、构建快照高光谱重建网络，利用所述快照高光谱重建网络实现高光谱图像重建，所述快照高光谱重建网络由基于优化transformer模块设计的Unet架构和辅助学习网络组成，包括以下步骤：
2.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤21中所述辅助学习网络学习观测值到全色图像的映射关系WAT，利用映射关系WAT得到网络生成的初步全色图像Xpan：
3.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤22中基于优化transformer模块设计的Unet架构包括对称的上采样过程和下采样过程，对输入进行采样时，使用三个相同的特征提取模块，所述特征提取模块包括基于通道编码的残差连接模块Resblock和注意力模块atten，整体结构为Resblock-atten-Resb
4.如权利要求3所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，所述上采样过程和下采样过程通过下式表示：
5.如权利要求3所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤22中在重建过程中使用步骤二的初步全色图像Xpan在上采样过程中进行多尺度特征融合，通过下式表示：
6.如权利要求3所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，所述残差连接模块Resblock采用通道位置编码设计：对Resblock中初步提取的特征yin∈RC×H×W进行位置标记，首先生成一个与通道长度C相等的递增序列向量，使用sin和cos周期函数交替对其进行计算，位置标记向量通过下式表示：
7.如权利要求3所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，所述注意力模块atten为将一组[查询，键，值]映射成一个输出的过程，可以通过下式表示:
8.如权利要求7所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，所述注意力模块atten，包括以下步骤：
9.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，基于优化transformer模块设计的Unet架构的损失函数通过下式表示：
10.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤二中所述快照高光谱重建网络的训练过程通过下式表示：
...【技术特征摘要】
1.一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，包括以下步骤：一、搭建高光谱成像模型，利用编码孔径快照光谱成像方法对目标场景进行色散编码得到观测值z；二、构建快照高光谱重建网络，利用所述快照高光谱重建网络实现高光谱图像重建，所述快照高光谱重建网络由基于优化transformer模块设计的unet架构和辅助学习网络组成，包括以下步骤：
2.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤21中所述辅助学习网络学习观测值到全色图像的映射关系wat，利用映射关系wat得到网络生成的初步全色图像xpan：
3.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤22中基于优化transformer模块设计的unet架构包括对称的上采样过程和下采样过程，对输入进行采样时，使用三个相同的特征提取模块，所述特征提取模块包括基于通道编码的残差连接模块resblock和注意力模块atten，整体结构为resblock-atten-resblock。
4.如权利要求3所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，所述上采样过程和下采样过程通过下式表示：
5.如权利要求3所述的联合transformer...
【专利技术属性】
技术研发人员：韩静，欧阳若冰，赵壮，谢辉，巩帅峰，张岩，雷嘎，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。