一种动态散射介质散射成像恢复方法及散斑数据采集装置制造方法及图纸

本发明专利技术涉及计算光学成像领域和散射介质成像领域，提供了一种动态散射介质散射成像恢复方法及散斑数据采集装置，主旨在于能够对未知散射场景下的目标进行高保真的准确恢复，模型具有高泛化性和鲁棒性。主要方案包括采集在多个不同散射介质、不同散射介质位置及动态变化的散射介质情况下产生的散斑数据，且每个目标图像对应的散斑采集3张，以更好地学习到动态散射场景下的统计不变量；生成对抗网络搭建，包括生成器和判别器结构的设计；根据生成器和判别器功能的不同，设计合适的损失函数来约束和优化网络；生成对抗网络训练，并使用训练好的生成器预测生成未知散射场景下产生的散斑对应的目标图像，用于对目标的成像恢复。用于对目标的成像恢复。用于对目标的成像恢复。

【技术实现步骤摘要】
一种动态散射介质散射成像恢复方法及散斑数据采集装置


[0001]本专利技术涉及计算光学成像领域和散射介质成像领域，具体涉及一种动态散射介质散射成像恢复方法及散斑数据采集装置。

技术介绍

[0002]透过散射介质对目标进行成像是一个经典的具有挑战性的逆问题，克服光束的散射问题，就能够对被隐藏在散射介质内部深处亦或是介质后方的物体进行成像、能够实现透过云雾的高空观测以及遥感测绘、使生物显微镜拥有透过浅层生物组织对深层组织的观测能力，提高传统光学系统在水下、雾天的观测能力等等，这具有重要的实际应用。在现实场景中，目标不同位置分布情况、散射介质随机动态变化以及环境变量对光路系统的干扰等因素制约着散射场景下的成像应用。
[0003]传统的光学成像方法和图像处理技术对光场随机分布的散斑图像进行成像恢复是困难且代价巨大的，因此基于计算成像的方法被广泛用于处理散射场景下的目标图像恢复问题。现常用的散射成像方法主要有基于传统光学理论的波前整形、反卷积成像、相关成像和近年来发展迅猛的深度学习等技术。但波前整形、反卷积成像和相关成像等技术对光路要求严格，计算量较大，通常只能应用于静态散射介质的测量和散斑恢复，实现真实动态环境下的散射成像仍是一个巨大的挑战。深度学习是一种基于神经网络的强大技术，能够刻画数据丰富的内在信息，在基于提取图像结构和特征的输入与标签的关系方面具有明显的优势。通过学习散斑图像的内在信息，提取散斑图案中隐含的细节和特征，可有效从目标图像光强随机分布的散斑中构建类似的“传输矩阵”，从而实现散斑图像重建。但基于数据驱动的深度学习技术方法学习到的是基于训练数据的特征信息，使用的散射场景单一，从而泛化能力较差，对未知散射场景下的散射目标进行成像恢复效果较差。
[0004]基于此，本专利技术针对未知散射场景和散射目标及散射介质动态变化的复杂情况，提出了一种基于生成对抗网络的动态散射介质散射成像恢复方法，可以实现在未知散射场景和散射目标及动态变化的散射介质情况下实现对目标的成像恢复，同时具有更高的泛化性和鲁棒性。

技术实现思路

[0005]专利技术目的：针对现有技术的不足之处，提供一种基于生成对抗网络的动态散射介质散射成像恢复方法，在多个不同散射介质、不同散射介质位置及动态变化的散射介质情况下产生的散斑数据进行模型训练，实现对散斑图中隐藏的目标图进行准确恢复，同时能够对未知散射场景下的目标进行高保真的准确恢复，模型具有高泛化性和鲁棒性。
[0006]为实现上述目的本专利技术采用以下技术手段：
[0007]一种散斑数据采集装置，包括依次设置的激光器、扩束系统、起偏器、空间光调制器、检偏器、透镜、散射介质和CCD，透过散射介质的散射光场被CCD相机采集，其特征在于，散射介质置于转盘上，通过转盘使得散射介质处于旋转状态，且散射介质是多样的，同时转
盘可改变位置。
[0008]本专利技术还提供一种基于生成对抗网络的动态散射介质散射成像恢复方法，包括以下步骤：
[0009]步骤1、数据生成：
[0010]步骤1.1、CelebA人脸数据集和Mnist手写数据集作为目标图像，并将其加载到空间光调制器；
[0011]步骤1.2、采集带有目标信息的光场通过光路后产生的散斑；
[0012]步骤1.3、调整光路中放置不同散射介质、改变散射介质位置且散射介质是动态变化的，重复步骤1.2，且所有目标图对应的散斑每次采集3张，得到多种散射场景下的散斑数据。
[0013]步骤2、数据预处理：将采集到的散斑数据归处理成0
‑
255的灰度图，并归一化至[
‑
1，1]的区间。
[0014]步骤3、生成对抗网络搭建：
[0015]步骤3.1、生成对抗网络由生成器G
θ
和判别器D
φ
构成；
[0016]步骤3.2、所述生成器G
θ
采用U
‑
net网络结构，其中的上采样和下采样操作采用卷积的方法实现，生成器的输入为所述同一目标图在动态散射介质情况下产生的3张散斑图x1、x2和x3，生成器的输出为重建图像G
θ
(x1，x2，x3)；
[0017]步骤3.3、所述判别器D
φ
采用卷积神经网络，输入为生成器G
θ
重建的图像G
θ
(x1，x2，x3)和真实目标图像，对于生成器G
θ
重建的图像G
θ
(x1，x2，x3)，期望判别器D
φ
判别为假，输出全为“0”的矩阵，对于真实目标图像，期望判别器D
φ
判别为真，输出全为“1”的矩阵；
[0018]步骤4、损失函数设计
[0019]生成对抗网络的损失函数Loss为
[0020][0021]式(1)中，表示生成器损失，loss
Dφ
表示判别器损失，根据生成器和判别器的功能和输出的结果，设计生成器损失和判别器损失为
[0022][0023][0024]式(2)中，前两项表示计算恢复图像与真实目标图像的负皮尔逊相关系数，描述两者之间的相似程度，最后一项表示计算恢复图像与真实目标图像的平均绝对误差；式(3)中，第一项表示计算生成器产生的恢复图通过判别器后的输出与标签值的平均绝对误差，第二项表示真实目标图像通过判别器后的输出与标签值的平均绝对误差。
[0025]步骤5、训练生成对抗网络，进行目标图像恢复：
[0026]将所述散斑图像x1、x2和x3，输入生成对抗网络中进行模型训练，通过多轮迭代优化后实现散斑图的恢复重建，且能够对未知散射场景下的散斑进行恢复重建。
[0027]有益效果：
[0028]本专利技术提供的一种基于生成对抗网络的动态散射介质散射成像恢复方法，相对于现有技术，具有以下优点：
[0029]1.动态散射场景下采集同一目标的3张散斑图作为训练数据，能够有效提取到散射场景的统计不变量，实现动态复杂散射场景下的高质量散斑恢复；
[0030]2.基于多个类型的散射介质和散射介质位置的不同情况，生成对抗网络模型的训练完成后可以实现在未知类型的散射介质和未知散射介质位置的场景下实现散斑恢复，提高模型的泛化性能和鲁棒性能；
[0031]3.在损失函数中引入负皮尔逊相关系数，使得恢复图像与真实目标图像在像素级特征上实现匹配，并加快模型的收敛，使得模型生成的恢复图像更加准确。
附图说明
[0032]图1为本专利技术方法的流程图；
[0033]图2为本专利技术采集散斑数据的光路结构；
[0034]图3为本专利技术的生成对抗网络生成器结构；
[0035]图4为本专利技术的生成对抗网络判别器结构。
具体实施方式
[0036]下面结合附图和实施例，对本专利技术的具体实施方式做进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0037]本专利技术提供一种基于生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种散斑数据采集装置，包括依次设置的激光器、扩束系统、起偏器、空间光调制器、检偏器、透镜、散射介质和CCD，透过散射介质的散射光场被CCD相机采集，其特征在于，散射介质置于转盘上，通过转盘使得散射介质处于旋转状态。2.一种基于生成对抗网络的动态散射介质散射成像恢复方法，其特征在于，包括：步骤1、CelebA人脸数据集和Mnist手写数据集作为目标图像，并将其加载到空间光调制器，目标图通过光场调制后投射到散射介质；步骤2、采集旋转的散射介质在动态变化的散射情况下产生的散斑数据，并将采集到的散斑数据和对应的目标图像分别作为生成对抗网络的训练数据和真实标签；步骤3、生成对抗网络结构搭建：步骤3.1、生成对抗网络由生成器G
θ
和判别器D
φ
构成；步骤3.2、生成器以U
‑
net网络为基础，构建多输入单输出网络模型；其输入为同一目标图在动态散射介质情况下产生的3张散斑图x1、x2和x3，输出为生成器重建图像G
θ
(x1，x2，x3)；步骤3.3、判别器由卷积神经网络构成，其输入具有两个通道，一个通道输入生成器重建的图像G
θ
(x1，x2，x3)，另一个通过输入对应的真实目标图像；判别器的输出也为两个通道，分别表示对图像G
θ
(x1，x2，x3)和真实目标图像的判别结果，是一个特征判别矩阵；对于真实目标图像，期望判别器的特征矩阵判别为“1”，对于生成器重建的图像G
θ
(x1，x2，x3)，期望判别器的特征矩阵判别为“0”；步骤4、利用步骤2获得的训练数据和真实标签对对抗网络进行训练，得到训练好的生成器，并利用训练好的生成器对未知散射场景下产生的散斑进行散斑恢复。3.根据权利要求2所述的一种基于生成对抗网络的动...

【专利技术属性】
技术研发人员：张希仁，李勇奇，程会，曾宏亮，杨立峰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：