基于传输矩阵理论的透过散射介质泛化成像方法技术

本发明专利技术涉及一种基于传输矩阵理论的透过散射介质泛化成像方法，包括如下步骤：采集散斑图案，使用包括数字字符目标、字母和汉字目标的实验数据。采用因子化卷积方法，损失函数为均方误差和负皮尔逊相关系数的结合。测量阶段使用字符目标制作的标定图像进行TM的测量，成像阶段将DL数据挖掘能力与测量的TM相结合，通过基于TM原理的物理自闭环约束的骨干网络进行训练而重建成像。成像阶段借助相位检索算法恢复的TM进行成像，相位检索算法结合进行测量阶段恢复的TM进行成像。网络结构大大减少了TM测量阶段所需的数据量，成像阶段的自闭环约束也使成像网络减少了对训练集完整性的过分依赖。依赖。依赖。

【技术实现步骤摘要】
基于传输矩阵理论的透过散射介质泛化成像方法


[0001]本专利技术涉及一种基于传输矩阵理论的透过散射介质泛化成像方法，属于精度图像处理


技术介绍

[0002]当光束在散射介质中传播时，散射介质对入射光的振幅和相位进行了随机调制，使得探测器上捕捉到一团近似杂乱无章的散斑。散射现象的存在，给我们的实际生活和工作带来了很多困扰，用看不见目标信息的散斑图案进行成像是一个具有挑战性的问题。目前抗散射成像技术得到了快速的发展，例如，基于光学记忆效应（OME）的散斑相关成像方法、波前整形方法、时间选通方法、以及基于反馈控制调节的方法。然而，这些成像技术存在光学视场角（FOV）受限、迭代次数多等局限。传输矩阵（TM）描述了散射介质的入射光场和出射光场之间的变换关系，如果测量得到TM，散射介质可以等同于传统成像系统中的透镜，进而可以还原出隐藏目标的二维空间结构。
[0003]目前TM的测量方法包括：全息干涉法，时间调制相位法，以及双相位检索法。全息干涉法首先测量校准信号的输出场，然后利用矩阵反转来计算TM，并进一步根据测量的TM进行成像。然而，全息干涉测量法需要额外的参考臂，这需要光学系统有足够高的稳定性。时间调制相位法在时间上延迟了空间光调制器（SLM）的一半像素相位，然后由SLM产生的两束信号光在成像面上进行干涉。这种方法在没有参考臂的情况下完成了TM测量，而参考现有技术只是通过透过散射介质聚焦来验证其测量的TM的准确性，并没有进行成像。全息干涉测量法和时间调制相位法都需要对入射波前的相位信息进行调制并测量输出光场，受到SLM的调制速度和光学系统稳定性的限制。使用相位检索算法来估计TM中的复数元素，有效降低了光学系统的复杂性和物理稳定性要求。双相位检索方法进行了两次相位检索：一次用于TM测量，一次用于成像。当对一个像素数为N的目标进行成像时，TM恢复至少需要4N次校准信号测量，比较耗时。传统的相位检索算法对噪声敏感，导致重建图像的背景中普遍存在噪声干扰。虽然上述方法可以完成TM测量，但需要控制相位信息以及测量输出光场。此外，重建的结果有背景噪声，需要进一步加强。
[0004]深度学习（DL）通过学习样本数据的内在规律和表示层次，具有解决复杂成像难题的能力，在去噪、超分辨率成像、图像重建等复杂问题上，都表现出比传统方法更好的求解能力。现有的DL方法一般采用端到端的网络结构来恢复散射介质后的隐藏目标，这在很大程度上依赖于数据拟合过程，没有充分结合散射介质的散射特性。网络的训练过程倾向于收敛到局部最优解，不能对不同特征的目标进行泛化成像。这也使得现有的DL方法大多依赖于训练集的数据完备性，需要足够大的数据量，同时尽可能地覆盖所有要重建的目标类别。因此将物理原理和网络结构结合起来，可以在一定程度上提高图像重建的鲁棒性。TM理论的引入有望使网络摆脱对训练集完备性的过度依赖，提高网络对目标类型和成像场景的泛化能力。
[0005]在借助DL方法解决TM相关问题方面，在《Optics Communications》2021年第16期
作者为Zhang W等人的《Single image detecting enhancement through scattering media based on transmission matrix with a deep learning network》中提出了一个深度卷积神经网络（D
‑
CNN）来实现基于TM重建的图像去噪和超分辨率。但该网络与TM理论没有直接联系，其中所使用的TM是由传统的四步相移干涉法得到的。在《Opt Express》2020年9月28日刊登的作者为Chen H等人的《Binary amplitude
‑
only image reconstruction through a MMF based on an AE
‑
SNN combined deep learning model》中采用深度学习的方法，通过用目标
‑
散斑图案数据对训练网络模型，将训练后的网络的权重和偏置参数等同于矩阵反演计算，在没有实际测量TM的情况下，实现目标恢复。且在2020年发表的《Deep learning enabled design of complex transmission matrices for universal optical components》一文中，Dinsdale N J等人提出了一种DL方法，利用多模干扰设备内的弱散射扰动模式设计任意的TM，其中TM只有三个输出通道。然而，对于256
×
256像素的散斑图案，相应的TM包含65536个输出通道，所以这种方法只适用于多模干扰设备的应用场景，不能迁移到透过散射介质成像的任务。目前与TM相关的DL方法没有充分利用物理方法的泛化能力和网络的优化能力，也没有将TM的物理原理与网络设计相结合。将DL应用于TM测量和用测量的TM成像仍然是一个具有挑战性的问题。

技术实现思路

[0006]专利技术目的：针对上述现有存在的问题和不足，本专利技术的目的是提供一种基于传输矩阵理论的透过散射介质泛化成像方法，适当的网络结构大大减少了TM测量阶段所需的数据量，成像阶段的自闭环约束也使成像网络减少了对训练集完整性的过分依赖，仅用10对训练数据就实现了SSIM为0.84的图像重建。此外，测量阶段和成像阶段互不依赖，都可以作为独立的方法与传统的相位检索方法一起完成TM测量和基于TM的成像过程。本专利技术提出的方法可以推动基于TM的成像技术发展，为光学成像场景中的实际应用提供启发性的参考。
[0007]技术方案：为实现上述专利技术目的，本专利技术采用以下技术方案：一种基于传输矩阵理论的透过散射介质泛化成像方法，包括如下步骤：步骤1：采用工业相机来采集散斑图案，激光器发出的入射光被准直透镜扩束，DMD用于显示振幅图像信息，全内反射棱镜转动光路进行数据采集，使用的实验数据包括数字字符目标、字母和汉字目标；步骤2：将具有编码器
‑
解码器结构的Erf
‑
net作为骨干网络，采用1*n和n*1的因子化卷积方法，损失函数为均方误差和负皮尔逊相关系数的结合；步骤3：测量阶段使用字符目标制作的标定图像进行TM的恢复；步骤4：成像阶段将DL数据挖掘能力与测量的TM相结合，通过基于TM原理的物理自闭环约束的骨干网络进行训练而重建成像，平均SSIM在0.84以上，平均PSNR能够达到22dB以上，对数据集组合的泛化重建结果进行定量评价分析，分别计算三种类型数据的总体评价指标和单一评价指标；步骤5：成像阶段借助相位检索算法恢复的TM进行成像，相位检索算法结合进行测量阶段恢复的TM进行成像。
[0008]进一步的，步骤1中所述数字字符目标是从MINIST数据库中随机选取的，制作成任意位置的字符目标，将TM测量的数字字符数据集命名为Part A，将用于图像重建的数字字
符数据集命名为Part B，将字母和汉字组成的自制数据集被命名为Part C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于传输矩阵理论的透过散射介质泛化成像方法，其特征在于：包括如下步骤：步骤1：采用工业相机来采集散斑图案，激光器发出的入射光被准直透镜扩束，DMD用于显示振幅图像信息，全内反射棱镜转动光路进行数据采集，使用的实验数据包括数字字符目标、字母和汉字目标；步骤2：将具有编码器
‑
解码器结构的Erf
‑
net作为骨干网络，采用1*n和n*1的因子化卷积方法，损失函数为均方误差和负皮尔逊相关系数的结合；步骤3：测量阶段使用字符目标制作的标定图像进行TM的恢复；步骤4：成像阶段将DL数据挖掘能力与测量的TM相结合，通过基于TM原理的物理自闭环约束的骨干网络进行训练而重建成像，平均SSIM在0.84以上，平均PSNR能够达到22dB以上，对数据集组合的泛化重建结果进行定量评价分析，分别计算三种类型数据的总体评价指标和单一评价指标；步骤5：成像阶段借助相位检索算法恢复的TM进行成像，相位检索算法结合进行测量阶段恢复的TM进行成像。2.根据权利要求1所述的基于传输矩阵理论的透过散射介质泛化成像方法，其特征在于：步骤1中所述数字字符目标是从MINIST数据库中随机选取的，制作成任意位置的字符目标，将TM测量的数字字符数据集命名为Part A，将用于图像重建的数字字符数据集命名为Part B，将字母和汉字组成的...

【专利技术属性】
技术研发人员：韩静，柏凯旋，郭恩来，柏连发，张毅，赵壮，朱硕，师瑛杰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：