联合transformer和辅助学习任务的快照高光谱鲁棒成像方法技术

本发明专利技术公开了一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，包括以下步骤：一、搭建高光谱成像模型，利用编码孔径快照光谱成像方法对目标场景进行色散编码得到测量值；二、构建快照高光谱重建网络，利用所述快照高光谱重建网络实现高光谱图像重建，所述快照高光谱重建网络由基于优化transformer模块设计的Unet架构和辅助学习网络组成。本发明专利技术的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法提出了一种鲁棒性较强的快照高光谱重建网络。基于辅助学习任务的优势，将快照压缩测量映射为全色图像输入高光谱图像重建端。使用基于优化transformer的Unet机构以及全色生成策略的信息补充，增强了快照高光谱重建网络的正则化能力，对鲁棒效果具有较大提升。

【技术实现步骤摘要】

本专利技术涉及一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，属于光学成像。

技术介绍

1、cassi系统利用编码孔径和色散元件对场景进行特定的调制，成像原理是当理想的高光谱数据经过一系列光学元件后被探测器捕获为编码压缩值，将光学调制过程认为是一个已知的数学变换，通过重建算法解出高光谱图像数据。以单色散cassi为例，考虑我们想要采集到场景的b个波段的光谱图像，并且每个光谱帧具有n＝nx×ny个像素，光谱数据立方用表示，

2、每个波段分别经过编码矩阵编码调制后，表示为对nλ＝1,2,…,b,调制过程的数学表示是一个矩阵逐元素相乘的操作，如以下公式所示：

3、x′(:,:,nλ)＝x(:,:,nλ)*a,

4、令x′经过色散调制后的数据立方为每个波段的中心波长经过色散元件后出射角度不同，相对发生了位移，用d来表示在像面上的位移距离，有：

5、

6、令观测值为z中的每个值表示为：

7、

8、其中(x,y)是位置坐标，表示测量噪声。>

9、公式中的本文档来自技高网...

【技术保护点】

1.一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，包括以下步骤：一、搭建高光谱成像模型，利用编码孔径快照光谱成像方法对目标场景进行色散编码得到观测值Z；二、构建快照高光谱重建网络，利用所述快照高光谱重建网络实现高光谱图像重建，所述快照高光谱重建网络由基于优化transformer模块设计的Unet架构和辅助学习网络组成，包括以下步骤：

2.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤21中所述辅助学习网络学习观测值到全色图像的映射关系WAT，利用映射关系WAT得到网络生成的初步全色图像...

【技术特征摘要】

1.一种联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，包括以下步骤：一、搭建高光谱成像模型，利用编码孔径快照光谱成像方法对目标场景进行色散编码得到观测值z；二、构建快照高光谱重建网络，利用所述快照高光谱重建网络实现高光谱图像重建，所述快照高光谱重建网络由基于优化transformer模块设计的unet架构和辅助学习网络组成，包括以下步骤：

2.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤21中所述辅助学习网络学习观测值到全色图像的映射关系wat，利用映射关系wat得到网络生成的初步全色图像xpan：

3.如权利要求1所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，步骤22中基于优化transformer模块设计的unet架构包括对称的上采样过程和下采样过程，对输入进行采样时，使用三个相同的特征提取模块，所述特征提取模块包括基于通道编码的残差连接模块resblock和注意力模块atten，整体结构为resblock-atten-resblock。

4.如权利要求3所述的联合transformer和辅助学习任务的快照高光谱鲁棒成像方法，其特征在于，所述上采样过程和下采样过程通过下式表示：

5.如权利要求3所述的联合transformer...

【专利技术属性】
技术研发人员：韩静，欧阳若冰，赵壮，谢辉，巩帅峰，张岩，雷嘎，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：