基于优化启发的神经网络的光谱成像系统的重构方法技术方案

本发明专利技术公开的基于优化启发的神经网络的光谱成像系统的重构方法，属于计算摄像学领域。本发明专利技术实现方法如下：建立光谱成像系统的前向传播模型；构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的高光谱图像重构网络；制作训练集；配置高光谱图像重构网络训练所需参数；训练高光谱图像重构网络；使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。本发明专利技术能够综合利用系统观测模型的结构洞察力和神经网络的建模能力，在保证重建结果具备高空间分辨率和高光谱保真度的同时，提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明专利技术适用于遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等多个领域。

【技术实现步骤摘要】
基于优化启发的神经网络的光谱成像系统的重构方法
本专利技术涉及用于光谱成像系统的高光谱图像重构方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
技术介绍
不同于传统的RGB成像或全色成像，光谱成像将场景捕获为三维张量，其在光谱维对场景每个像素位置处的光谱信息进行更精细的采样。光谱成像获得的高光谱图像中富含丰富的光谱信息，这一特点使其在遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等领域相比于传统成像技术更具有优势，因此正在被越来越广泛地投入应用。由于高光谱图像是三维张量，而目前使用的成像传感器是二维的，因此必须逐点或逐行扫描光谱信息。但是这种高光谱成像过程是非常耗时的并且仅限于静态场景。为了捕获动态场景，已经提出各种快照高光谱成像系统设计和算法。在这些系统中，由AshwinWagadarikar等人提出的基于压缩感测理论的编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager,CASSI)作为一种有前景的解决方案脱颖而出。CASSI将入射光编码到快照成像传感器上，得到三维高光谱数据的二维压缩图像。再使用优化算法将二本文档来自技高网...

【技术保护点】
1.基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：包括如下步骤，步骤101：建立光谱成像系统的前向传播模型；步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射；步骤103：制作训练集；步骤104：配置网络训练所需参数；设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；步骤105：训练高光谱图像重构网络；步骤106：使用步骤105训练得到的高光谱图像重构网络逐块重构目标高光谱图像。

【技术特征摘要】
1.基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：包括如下步骤，步骤101：建立光谱成像系统的前向传播模型；步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射；步骤103：制作训练集；步骤104：配置网络训练所需参数；设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；步骤105：训练高光谱图像重构网络；步骤106：使用步骤105训练得到的高光谱图像重构网络逐块重构目标高光谱图像。2.如权利要求1所述的基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：步骤101实现方法为，步骤101中所述的光谱成像系统为编码孔径快照光谱成像仪CASSI；CASSI系统主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；入射光进入CASSI系统会先到达编码孔径进行0-1编码；然后，经编码后的光到达色散棱镜，不同频谱的光沿着一个空间维度发生偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；F(m，n，λ)表示入射光的强度，其中m(1≤m≤M)和n(1≤n≤N)表示空间维数，λ(1≤λ≤A)表示光谱维数；编码孔径通过其透射函数C(m，n)进行空间调制，色散棱镜根据波长相关的色散函数ψ(λ)沿一个空间维度产生光谱偏移；根据CASSI系统的前向传播模型，二维压缩图像G(m，n)表示为在所有波长λ上的积分：公式(1)中的偏移沿垂直方向，同样也适用于水平偏移；将公式(1)写成矩阵形式：g＝Φf(2)其中g∈R(M-A+1)N和f∈RMNA分别是压缩图像和高光谱图像的向量化表示，Φ表示CASSI系统的观测矩阵；将前向传播模型从基于整张二维压缩图像g的建模分解为基于块的建模，以减轻计算复杂度，促进网络训练；对于二维压缩图像g中p×p的图像块，在CASSI系统中反向追踪该图像块的能量传递，该图像块对应的源高光谱图像不再是标准立方体，而是具有A个偏移光谱带的平行六面体；通过二维压缩图像块到高光谱图像平行六面体，基于块的映射避免不同映射之间的串扰；所述二维压缩图像块gi到高光谱图像平行六面体fi，基于块的映射用表示为：gi＝Φifi(3)其中下标i表明所选块的编号，φi是由高光谱图像平行六面体块fi到二维压缩图像块gi的观测矩阵；公式(3)是公式(2)基于块的前向传播模型；为了简化公式，去掉公式(3)中的下标；即完成建立光谱成像系统的前向传播模型。3.如权利要求2所述的基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：步骤102实现方法为，采用图像先验作为正则化项约束解空间，解决高光谱图像重建严重欠定的问题；从贝叶斯的角度，通过求解最小化问题来获得潜在的高光谱图像：其中τ是平衡参数；数据项||g-Φf||2保证求得的解服从步骤101中建立的前向传播模型，正则化项R(f)根据图像先验约束解空间；引入辅助变量，采用变量拆分技术解耦公式(4)中的数据项和正则化项；引入辅助变量h，公式(4)重写为：然后，采用半二次分裂HQS法，将公式(5)所述的约束优化问题转换为非约束优化问题：其中η是惩罚参数；将公式(6)中的观测矩阵Φ与图像先验R(h)解耦，拆分为公式(7)、(8)所述的两个子问题的迭代求解：公式(7)是能够直...

【专利技术属性】
技术研发人员：王立志，孙晨，付莹，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11