一种基于卷积神经网络的光谱成像系统的高质量成像方法技术方案

本发明专利技术公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，属于计算摄像学领域。本发明专利技术将高光谱图像成像过程与重建过程一起考虑，重建过程中分别考虑图像间的空间相关性和光谱相关性，使用残差学习加速网络的训练速度和收敛速度，优化重建网络的同时优化编码网络，使用GPU完成对整个网络的优化求解：使用cuDNN库加速网络运行速度；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明专利技术能够高质量完成CASSI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明专利技术可用于载人航天、地质勘测、农业生产和生物医学等多个领域。

【技术实现步骤摘要】
一种基于卷积神经网络的光谱成像系统的高质量成像方法
本专利技术专利涉及一种用于光谱成像的高光谱图像高质量成像方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
技术介绍
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。采集得到的高光谱图像被称为数据立方体，包含场景的大量光照和材料信息。该技术已经被应用于遥感、计算机视觉、医疗诊断等多个领域。目前存在的二维成像传感器不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。近年来，随着计算成像技术的飞速发展，基于多种光学设计和精细重建算法的计算光谱成像技术得到广泛应用。与传统光谱成像系统相比，计算光谱成像能够获得更高时间分辨率、空间分辨率和光谱分辨率的高光谱图像。基于压缩感知理论，AshwinWagadarikar等人提出的编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager,CASSI)利用二值化的编码孔径和色散本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：包括以下步骤，步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络；步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重建网络；步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分；将所有图像块汇总成训练所需的数据集，即实现制作训练集；步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处...

【技术特征摘要】
1.一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：包括以下步骤，步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络；步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重建网络；步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分；将所有图像块汇总成训练所需的数据集，即实现制作训练集；步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板；步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。2.如权利要求1所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager，CASSI)；编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K；其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数；入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码；经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像仪CASSI的数学模型为：公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板；将公式(1)写成矩阵形式为：Y＝ΦS(2)公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的高光谱图像；将使用基于块计算代替基于整张图计算；将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块；采用P×P的压缩图像块，反推能够得K个偏移光谱的平行六面体；将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：在B1中的每个bp＝0or1(p＝1，…，P2)，且B1矩阵中的值会在网络中被学习；其余的Bk为B1的循环偏移，表示为：针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像；根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分；即实现构建编码网络。3.如权利要求2所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：步骤10...

【专利技术属性】
技术研发人员：王立志，张涛，付莹，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11