一种基于卷积神经网络的光谱成像系统的高质量重构方法技术方案

本发明专利技术公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，属于计算摄像学领域。本发明专利技术应用于基于编码孔径快照光谱成像系统，在高光谱图像的重构过程中分别考虑图像间的空间相关性和光谱相关性，使用残差学习加速网络的训练速度和收敛速率，并使用GPU完成对整个网络的优化求解；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明专利技术能够高质量地完成CASSI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明专利技术可用于地质勘探、农业生产和生物医学等多个领域。

【技术实现步骤摘要】
一种基于卷积神经网络的光谱成像系统的高质量重构方法
本专利技术专利涉及一种用于光谱成像的高光谱图像高质量重构方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
技术介绍
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。该技术采集得到的数据立方体即为高光谱图像，包含目标场景的二维空间信息和一维光谱信息。该技术已经被应用于地质勘探、农业生产和生物医学等多个领域。由于目前存在的二维成像传感器的限制，不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。目前，基于多种光学设计和精细重构算法的计算光谱成像技术已经成为该领域的研究热点并有广泛应用。基于压缩感知理论，AshwinWagadarikar等人提出的编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager,CASSI)利用二值化的编码孔径和色散介质对三维高光谱图像进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重构潜在的三维高光谱图像。计算重建算法在压缩高光谱成像系统中占有重要地位。后续的重构问题是如何从二维压缩测量中得到底层的三维高光谱图像。这种推导是病态的，图像先验对重建起着至关重要的作用。在CASSI的早期开发中，采用了稀疏重建(GPSR)算法的梯度投影，将整个三维高光谱图像的稀疏性约束强加于正交基之上。随后，采用两步迭代收缩/阈值(TwIST)算法，结合总变差分(TV)先验，提供更高的重构保真度。TV先验在保持边界和恢复平滑区域方面已经被证明是有效的，但是由于局部平滑的假设，它往往会抹掉图像细节。最近，Tan通过对近似消息传递(approximatemessagepassing,AMP)框架的集成，提出在每次迭代中使用自适应维纳滤波器作为图像去噪器。与TwIST和GPSR相比，AMP具有更好的性能，同时具有无需参数整定的优点。提出了盲压缩感知(BCS)和在线字典学习来解决CASSI系统的高光谱图像重构问题。BCS努力从压缩测量中共同推断出目标图像，并学习图像的模型(如字典或稀疏基)。第一次尝试将BCS应用到多帧CASSI中，使用贝叶斯实现，强制每个小的三维高光谱立方体是字典原子的稀疏组合。在此基础上，提出了一种新的基于全局局部收缩的BCS模型。进一步利用非局部相似性，提出了具有改进性能的三维非局部稀疏表示模型。在改进重构算法的同时，研究人员也在努力利用并行性降低重构的复杂度，加快重构的速度。利用系统成像机制的性质，将基于图像的重构分解为基于块的重构是目前比较突出的策略。基于卷积神经网络的方法可以有效地学习复杂特征并已经广泛应用于高光谱图像处理。Xiong首先将RGB图像通过简单的插值或者CASSI图像通过重构算法得到初始的高光谱图像，然后采用基于卷积神经网络的方法对初始化的结果进行增强，得到高质量的高光谱图像。Choi通过构建卷积自编码器而不是字典学习来表示非线性光谱表示，并与空间域中梯度稀疏性共同正则化，从而从压缩图像重构高光谱图像。这两种方法都可以用于从CASSI系统重构高光谱图像，但都借用传统的压缩感知重构算法。
技术实现思路
针对现有算法存在的没有考虑成像过程、重构图像质量低等问题。本专利技术公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法要解决的技术问题是：快速完成编码孔径快照成像系统的重构，具有重构速度快，成像质量高等优点。为达到以上目的，本专利技术采用以下技术方案。本专利技术公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，应用于基于编码孔径快照光谱成像系统，在高光谱图像的重构过程中分别考虑图像间的空间相关性和光谱相关性，使用残差学习加速网络的训练速度和收敛速率，并使用GPU完成对整个网络的优化求解；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本专利技术能够高质量地完成CASSI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本专利技术可用于地质勘探、农业生产和生物医学等多个领域。本专利技术公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，包括以下步骤：步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager,CASSI)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K。其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的数学模型为：公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板。将公式(1)写成矩阵形式为：Y＝ΦS(2)公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的三维高光谱图像。将使用基于块计算代替基于整张图计算。将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。将压缩图像分为若干个P×P大小的图像块，反推可得K个偏移光谱的平行六面体。将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元可表示为：在B1中的每个bp＝0or1(p＝1，…，P2)。其余的Bk为B1的循环偏移，表示为：针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：通过编码公式(5)构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络。步骤102所述空间网络为了同时考虑垂直和水平方向的空间相关性，对同一行中的所有像素使用相同的滤波器，对每一层每个滤波器与同一列中的所有像素进行卷积。第一层的输入是压缩图像yi，表示输入压缩图像yi第p行中的所有像素。因此，第p行的输出为：公式(6)中W1，p和c1，p分别表示卷积和偏置。W1，p表示K个大小为1×P×3的卷积，每个卷积在P×3大小的空间区域上计算，因此输出包含K个特征图，与光谱通本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：包括以下步骤，步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像；步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络；步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分；将所有图像块汇总成训练所需的数据集，即实现制作训练集；步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；步骤105：使用步骤103制作完成的训练集联合训练步骤104设置后的重建网络；步骤106：利用编码模板，调制高光谱数据生成压缩二维图像，使用重构网络逐块重构目标高光谱图像。

【技术特征摘要】
1.一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：包括以下步骤，步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像；步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络；步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分；将所有图像块汇总成训练所需的数据集，即实现制作训练集；步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；步骤105：使用步骤103制作完成的训练集联合训练步骤104设置后的重建网络；步骤106：利用编码模板，调制高光谱数据生成压缩二维图像，使用重构网络逐块重构目标高光谱图像。2.如权利要求1所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager，CASSI)；编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K；其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数；入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码；经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像仪CASSI的数学模型为：公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板；将公式(1)写成矩阵形式为：Y＝ΦS(2)公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的三维高光谱图像；将使用基于块计算代替基于整张图计算；将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块；将压缩图像分为若干个P×P大小的图像块，反推可得K个偏移光谱的平行六面体；将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：在B1中的每个bp＝0or1(p＝1，…，P2)；其余的Bk为B1的循环偏移，表示为：针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：通过编码公式(5)构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。3.如权利要求2所述的一种基于卷积神经网络的光谱成像系统的高质量重...

【专利技术属性】
技术研发人员：王立志，张涛，付莹，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11