一种多光谱单像素成像的深度学习图像重构方法技术

本发明专利技术提供一种多光谱单像素成像的深度学习图像重构方法，包括：测量过程和重构过程，测量过程是利用编码图案对目标场景进行编码，而后利用多光谱探测器记录不同波长对应的光强。在物理方式实现多光谱单像素探测后，基于深度神经网络的图像重建方法，实现从所有的探测信号Yc中重构出原始信号X的过程。该深度神经网络由线性映射网络和卷积神经网络组成，将C个测量向量按列拼接在一起形成一个新的矩阵Y′，线性映射网络以Y′为输入数据初步对数据进行线性处理，而后将线性处理结果经过卷积神经网络进行通道间的信息融合处理，最终重建得到待观测图像X。本发明专利技术的技术方案解决了现有技术中的算法复杂度高、重建时间较长，且对采样率要求较高的问题。

A Depth Learning Image Reconstruction Method for Multispectral Single Pixel Imaging

【技术实现步骤摘要】
一种多光谱单像素成像的深度学习图像重构方法
本专利技术涉及单像素成像技术和深度学习
，具体而言，尤其涉及一种多光谱单像素成像的深度学习图像重构方法。
技术介绍
多光谱成像技术是新一代光电探测技术，兴起于20世纪80年代，90年代后形成研发热潮，至今仍在迅速发展之中。多光谱成像技术不同于传统的单一宽波段成像技术，而是将成像技术和光谱测量技术相结合，获取的信息不仅包括二维空间信息，还包含随波长分布的光谱辐射信息。丰富的目标光谱信息结合目标空间影像极大提高了目标探测的准确性、扩展了传统探测技术的功能。该技术已广泛应用于陆地海洋地理遥感，大气、土壤和水体的污染物遥感监测，医疗光谱成像诊断，军事目标侦查探测等多个军事和民用领域。单像素成像技术是一种新兴的成像技术，其利用二维空间编码图样对探测目标进行调制，然后利用单像素检测器来测量平均光强，最后根据探测光强和编码图样重建所探测目标。单像素成像为多光谱成像提供了一种新的技术途径，利用多个单像素探测器分别探测不同波段的光波，可以获取多光谱图像。单像素成像的重建算法主要是基于压缩感知的重建算法；压缩感知重建算法利用信号的稀疏性对图像重构问题进行约束，常用的方法主要有以OMP算法、StOMP算法、RegularizedOMP算法以及CoSaMP算法为代表的贪婪算法和以内点法、梯度投影算法、迭代阈值法、Bregman迭代法和交替方向法为代表的基于l1范数的凸优化算法。尽管目前对压缩感知重建算法进行了大量的研究，但基于压缩感知的图像重建的主要问题是算法复杂度高，需要大量的迭代运算，重建时间较长，且对采样率要求较高。针对多光谱单像素成像，本项目组于2016年在OpticalEngineering期刊中发表的“Colorsingle-pixelimagingbasedonmultiplemeasurementvectorsmodel”中提出了联合多维观测向量的重构算法，利用多光谱图像多波段结构特性来提髙成像质量，但本质上还是基于压缩感知的图像重构算法，重建质量仍有待提升。
技术实现思路
根据上述提出基于压缩感知的图像重建的算法复杂度高，需要大量的迭代运算，重建时间较长，且对采样率要求较高的技术问题，而提供一种多光谱单像素成像的深度学习图像重构方法。本专利技术主要利用压缩测量目标场景获得采样信号，使用深度神经网络对采样信号进行处理，重建图像。该方法采样率低，重建时间短，重建质量好。本专利技术采用的技术手段如下：一种多光谱单像素成像的深度学习图像重构方法，包括测量过程和重构过程，所述测量过程步骤如下：步骤S1：利用编码图案对目标场景进行编码；假设多光谱图像X大小为N×N，颜色通道个数为C，采样率为p，则采样次数为M＝p*N2，根据压缩感知理论，得到C个大小为M×1的测量向量Yc，多光谱单像素成像的正向模型表示为：Yc＝ΦXc(c＝1，…，C)(1)式中，表示不同波段通过压缩测量获得的测量值，表示单个颜色通道图像，c表示第c个通道，是测量矩阵；步骤S2：利用多光谱探测器记录不同波长对应的光强；单像素成像可采用两种方式：主动式成像或被动式成像；主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体，而后利用探测器记录相应光强；被动式成像通过成像镜头将物体成像在空间光调制器，而后通过探测器记录相应光强；上述过程中，所述空间光调制器通过加载预定的编码图案实现对景物的编码；步骤S3：在物理方式实现多光谱单像素探测后，再从所有的探测信号Yc中重构出信号X实现图像重构的过程；所述实现图像重构的过程如下：步骤1：建立样本数据；步骤2：训练深度神经网络，深度神经网络由线性映射网络和卷积神经网络组成；步骤3：将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′，大小为CM×1，线性映射网络以Y′为输入数据初步对数据进行线性处理；步骤4：将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理，重建得到待观测图像X。进一步地，所述步骤1建立样本数据的具体过程如下：步骤101：选用数据集中的部分多光谱图像，对其进行缩放处理保证图像具有相同分辨率；步骤102：将上述进行缩放处理后的图像按照一定的比例建立训练图像数据集和验证图像数据集I1和I2分别是训练集和验证集中样本数量；步骤103：将上述训练图像数据集和验证图像数据集依照公式(1)进行模拟多光谱单像素压缩测量，即根据上述模拟结果分别形成训练样本数据集和验证样本数据集进一步地，所述步骤2中的训练深度神经网络的过程如下：步骤201：设定误差损失函数为:式中，表示训练图像数据集中第i个多光谱数据中的c通道图像，Yc(i)，train表示第i个多光谱数据中的c通道图像对应的压缩测量值，Γ(·；θ)为所建立的深度神经网络，θ为待训练网络参数；步骤202：将所述损失函数根据链式求导法则，由后向前逐层求导，然后采用随机梯度下降方法更新深度神经网络参数θ；步骤203：通过反复对深度神经网络参数进行迭代优化，观察训练样本和验证样本的误差损失函数结果，直到能够满足系统的精度为止，保存深度神经网络模型，并对模型进行测试。进一步地，所述深度神经网络的连接顺序依次为卷积层加批量归一化层、Sub-pixel卷积层、Reshape层，第一扩张卷积层(扩张因子为1)加激活层、第二扩张卷积层(扩张因子为2)加批量归一化层加激活层、第三扩张卷积层(扩张因子为3)加批量归一化层加激活层、第四扩张卷积层(扩张因子为4)加批量归一化层加激活层、第五扩张卷积层(扩张因子为3)加批量归一化层加激活层、第六扩张卷积层(扩张因子为2)加批量归一化层加激活层、第七扩张卷积层(扩张因子为1)。进一步地，所述的多光谱探测器可采用两种方式实现对每个波长仅采用一个单像素探测器：方式1：在单像素光电探测器前端增加滤光片，实现对不同波长的探测；方式2：通过光栅等分光元件进行光谱分光，将不同波长光波投影到CCD探测器上。进一步地，所述测量矩阵包括随机高斯矩阵、随机伯努利矩阵、部分哈达玛矩阵、部分傅里叶矩阵以及稀疏随机测量矩阵。较现有技术相比，本专利技术具有以下优点：1、本专利技术提供的多光谱单像素成像的深度学习图像重构方法，首先压缩测量目标场景获得采样信号，通过使用深度神经网络对采样信号进行处理，重建图像。该方法采样率低，重建时间短，重建质量好等优点。2、为了验证模型对实际多光谱单像素采集数据的处理结果，组建了实验系统，所用的数字光投影仪为TI公司LightCrafter4500，其内部可加载编码图案进行投影，实验中加载编码图案为深度神经网络训练中所采用的编码图案；所用的单像素探测器为滨松公司的光电倍增管，为实现多光谱测量，在光电倍增管前段放置不同波长的滤光片。基于上述理由本专利技术可在单像素成像技术和深度学习等领域广泛推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术深度神经网络结构图。图2为本专利技术实施例中随机高斯测量矩阵。图3为本专利技术实施例训练网络损失函数曲线。图4为本专利技术本文档来自技高网...

【技术保护点】
1.一种多光谱单像素成像的深度学习图像重构方法，包括测量过程和重构过程，所述测量过程步骤如下：步骤S1：利用编码图案对目标场景进行编码；假设多光谱图像X大小为N×N，颜色通道个数为C，采样率为p，则采样次数为M＝p*N

【技术特征摘要】
1.一种多光谱单像素成像的深度学习图像重构方法，包括测量过程和重构过程，所述测量过程步骤如下：步骤S1：利用编码图案对目标场景进行编码；假设多光谱图像X大小为N×N，颜色通道个数为C，采样率为p，则采样次数为M＝p*N2，根据压缩感知理论，得到C个大小为M×1的测量向量Yc，多光谱单像素成像的正向模型表示为：Yc＝ΦXc(c＝1，...，C)(1)式中，表示不同波段通过压缩测量获得的测量值，表示单个颜色通道图像，c表示第c个通道，是测量矩阵；步骤S2：利用多光谱探测器记录不同波长对应的光强；单像素成像可采用两种方式：主动式成像或被动式成像；主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体，而后利用探测器记录相应光强；被动式成像通过成像镜头将物体成像在空间光调制器，而后通过探测器记录相应光强；上述过程中，所述空间光调制器通过加载预定的编码图案实现对景物的编码；步骤S3：在物理方式实现多光谱单像素探测后，再从所有的探测信号Yc中重构出信号X实现图像重构的过程；其特征在于，所述实现图像重构的过程如下：步骤1：建立样本数据；步骤2：训练深度神经网络，深度神经网络由线性映射网络和卷积神经网络组成；步骤3：将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′，大小为CM×1，线性映射网络以Y′为输入数据初步对数据进行线性处理；步骤4：将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理，重建得到待观测图像X。2.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法，其特征在于，所述步骤1建立样本数据的具体过程如下：步骤101：选用数据集中的部分多光谱图像(通道数为C)，对其进行缩放处理保证图像具有相同分辨率；步骤102：将上述进行缩放处理后的图像按照一定的...

【专利技术属性】
技术研发人员：赵明，霍凤月，田芷铭，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁,21