一种基于外部和内部训练的高质量光谱重构方法技术

本发明专利技术公开的一种基于外部和内部训练的高质量光谱重构方法，属于计算摄像学领域。本发明专利技术应用于基于编码孔径快照光谱成像系统和基于全色相机的双相机光谱成像系统，在高光谱图像的重构过程中充分利用外部高光谱数据库的信息和内部输入图像及成像模型的信息；使用外部训练和内部训练更新网络参数；并使用GPU完成对整个网络的优化求解。本发明专利技术能够高质量地完成CASSI和DCCHI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明专利技术可用于地质勘探、农业生产和生物医学等多个领域。

A high quality spectral reconstruction method based on external and internal training

【技术实现步骤摘要】
一种基于外部和内部训练的高质量光谱重构方法
本专利技术专利涉及一种用于光谱成像的高光谱图像高质量重构方法，尤其涉及能够获取高质量高光谱图像的方法，属于计算摄像学领域。
技术介绍
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。该技术采集得到的数据立方体即为高光谱图像，包含目标场景的二维空间信息和一维光谱信息，丰富的光谱细节能够反映场景的光照和材料信息。该技术已经被应用于地质勘探、农业生产和生物医学等多个领域。由于目前存在的二维成像传感器的限制，不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。目前，基于多种光学设计和精细重构算法的计算光谱成像技术已经成为该领域的研究热点并有广泛应用。基于压缩感知理论，AshwinWagadarikar等人提出的编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager,CASSI)利用二值化的编码孔本文档来自技高网...

【技术保护点】
1.一种基于外部和内部训练的高质量光谱重构方法，其特征在于：包括以下步骤，/n步骤101：输入光谱成像系统标定后的前向响应矩阵Φ、高光谱图像数据集，根据前向响应矩阵生成由二维压缩图像和三维高光谱图像对构成的外部训练数据集；/n步骤102：考虑空间光谱相关性和CASSI与DCCHI系统的相关性，分别构建适用于CASSI系统、DCCHI系统的重构网络；/n步骤103：对步骤102构建的重构网络针对步骤101构建外部训练数据集设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的外部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立D...

【技术特征摘要】
1.一种基于外部和内部训练的高质量光谱重构方法，其特征在于：包括以下步骤，
步骤101：输入光谱成像系统标定后的前向响应矩阵Φ、高光谱图像数据集，根据前向响应矩阵生成由二维压缩图像和三维高光谱图像对构成的外部训练数据集；
步骤102：考虑空间光谱相关性和CASSI与DCCHI系统的相关性，分别构建适用于CASSI系统、DCCHI系统的重构网络；
步骤103：对步骤102构建的重构网络针对步骤101构建外部训练数据集设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的外部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的外部训练目标函数，最终使用外部训练数据集训练CASSI和DCCHI重构网络得到压缩图像与高光谱图像间的映射关系；
步骤104：输入需要测试的压缩图像Yin、前向响应矩阵Φ、学习率、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的内部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的内部训练目标函数，对外部训练得到的网络参数Θex进行内部训练和针对性优化，得到优化后的压缩图像与高光谱图像间的映射关系，并重构得到最终的高光谱图像X。


2.如权利要求1所述的一种基于外部和内部训练的高质量光谱重构方法，其特征在于：步骤101中所述光谱成像系统为编码孔径快照成像系统和基于全色相机的双相机光谱成像系统；编码孔径快照成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；目标场景的高光谱图像X大小为M×NXΛ，高光谱图像X上任意一点的像素值为x(m，n，λ)，1≤m≤M，1≤n≤N，1≤λ≤Λ；其中，M×N表示高光谱图像的空间分辨率，Λ表示高光谱图像的频谱数；入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码；经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像仪CASSI的模型为：



公式(1)中yc(m，n)表示CASSI系统的二维压缩光谱采样图像，表示编码孔径的传递函数，ψ(λ)表示色散棱镜的波段偏移函数，x(m，n，λ)表示目标场景的三维高光谱图像，ω(λ)表示探测器的响应函数；
将公式(1)写成矩阵形式为：
Yc＝ΦcX(2)
公式(2)中Yc表示CASSI系统的二维压缩光谱采样图像，Φc表示CASSI系统的观测矩阵，X表示目标场景的三维高光谱图像；
基于全色相机的双相机光谱成像系统主要由CASSI系统和分光镜、全色相机等部件构成；入射光首先到达分光镜被一分为二，一半进入CASSI系统，一半进入全色相机分支；进入CASSI系统的模型如公式(2)所示，进入全色相机分支的入射光会直接到达灰度相机得到目标场景的二维灰度图像，模型为：



公式(3)表示为矩阵形式：
Yp＝ΦpX(4)
其中Yp表示全色图像，Φp表示全色相机的映射矩阵；
最终DCCHI系统表示为：
Yd＝ΦdX(5)
其中Yrd＝[Yc；Yp]，Φd＝[Φc；Φp]；
根据公式(2)和公式(5)将高光谱图像数据集映射成对应的二维压缩图像，从而构建由二维压缩图像和对应三维高光谱图像对构成的外部训练数据集。


3.如权利要求2所述的一种基于外部和内部训练的高质量光谱重构方法，其特征在于：步骤102所述重构网络分别针对CASSI系统和DCCHI系统；为了更好地挖掘高光谱图像的空间光谱相关性，使用多个含有密集连接和通道注意力机制的非线性变换层构建卷积神经网络；对于CASSI系统，使用含有L个密集连接块(DenseBlock)的两...

【专利技术属性】
技术研发人员：王立志，张涛，付莹，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11