基于物理驱动深度学习的光纤无透镜泛化成像方法技术

本发明专利技术公开了一种基于物理驱动深度学习的光纤无透镜泛化成像方法，包括如下步骤：采集散斑图案，将采集到的散斑数据进行图像去噪，利用散斑的冗余性选择散斑的中心区域和其周围上、下、左、右偏移量为若干个像素，共5个子区域散斑图进行作为训练数据集，将训练数据集中的散斑进行自相关运算，并将自相关图像输入神经网络中进行重建，本发明专利技术的有益效果：有效解决了实际内窥镜场景中，各种目标的泛化重建问题，为多芯光纤内窥镜的实际应用提供了一个有效的帮助。有效的帮助。有效的帮助。

【技术实现步骤摘要】
基于物理驱动深度学习的光纤无透镜泛化成像方法


[0001]本专利技术涉及光学成像
，具体是一种基于物理驱动深度学习的光纤无透镜泛化成像方法。

技术介绍

[0002]在生物医学研究和临床研究中，柔性光学内窥镜是重要的诊断工具。纤细的光学光纤可以被充分利用作为内窥镜的成像介质。为了获取有效的图像信息，单模光纤（SMF）需要在末端安装扫描镜头或者光谱色散器，这就限制内窥镜的小型化、成像帧率和系统视野区域。而对于多模光纤 (MMF) 而言，当传输过程中的复杂的相位随机化和模式混合被测量或被补偿，多模光纤可以利用其传输多个不同模式的特性提供二维图像信息。虽然可以通过波前整形的方法对相位损失进行补偿，但是不幸的是，极端波前校正对光纤的任何移动或弯曲的敏感性需要直接进入远端进行重新校准，或精确了解弯曲形状，光纤任何的移动和弯曲之后都需要重新矫正。显然地，多芯光纤每个核心可以作为单个像素，多芯光纤的一端的焦平面与目标紧贴或者在光纤末端安装镜头，可以直观的成像。虽然成像方便，但在实际使用中传统的基于光纤的内窥镜光纤内部芯的分布以及包层会影响成像的画质分辨率并且像面表现出典型的像素化伪影。虽然利用光纤末端安装镜头可以有效解决固定距离的问题，有限的视场角的限制，光学设计的难度以及镜头带来的像差影响给光纤内窥镜的广泛使用带来许多的障碍。
[0003]随着成像硬件、制造技术和新算法的进步，紧凑性、轻量性和能够更高维量成像的无透镜成像系统不断涌现，无透镜的成像系统的优势显现地越来越明显。在过去的几十年里，一些无镜头成像器设计的出现证明了无透镜成像的广泛应用。在实际使用中，无透镜的、没有固定工作距离的、能够动态弯曲和移动的以及能够实现实时衍射受限成像的内窥镜是方便使用的和适合医用的。多芯光纤（MCF）独特的散射特性为我们提供了解决问题的可能。当光纤进行无透镜成像时，光纤的一端与目标之间有一定的距离u时，每个内芯在光强耦合时会增加一个随机传输相位，所以在距离光纤输出端v处将会产生散斑。利用散斑重建图像被证明是解决镜头带来的问题以及提高多芯光纤成像分辨率的有效方法。近些年，为了解决这种散射现象，一系列的抗光纤散射的算法被提出，与多模光纤类似，利用空间光调制器可以进行波前整形来对多芯光纤成像过程中的相位丢失进行补偿，例如荧光成像,光子内窥镜,自适应相位补偿内窥镜等。同样地，这种波前调制技术面对光纤状态的变化需要重新标定，这就影响了这种方法对于动态光纤成像的实用性 。或者，借鉴多模光纤的方法，通过测量系统的传输矩阵，具体地描述系统的传输特性，从而进行抗散射成像。遗憾的是，上述的方法无法进行对于光纤变化状态的抗散射成像，VICTOR TSVIRKUN团队设计出一种新型多芯光纤，它的光纤状态不会发生变化，直接解决了多芯光纤的状态敏感的问题，但是定制光纤成本较高并且对于现有内窥镜更换较为麻烦。更为简便地，AMIR PORAT等人针对光纤姿态变化的问题提出新的方案。结合多芯光纤的记忆效应，利用传统相位恢复算法对目标进行单帧衍射受限成像，解决了目标通过多芯光纤的不同光纤状态的成像问题。但
是传统相位恢复算法优化能力有限，对于复杂目标或者含噪散斑重建质量有待优化。
[0004]近年来，随着深度学习的快速发展，数据挖掘能力不断提升，深度学习的方法被广泛地应用到了计算抗散射成像领域并且取得了不俗的效果，例如大视场下复杂目标的恢复工作、宽谱下目标重建以及大景深下的定位工作等。但是，单纯依靠数据驱动的深度学习方法在计算处理过程中能否学习到图片的关键特征，以及能否进行不同场景下的泛化等方面被人质疑。在实际生活中，内窥镜由于抖动和弯曲带来的动态变化带来复杂多样的光纤状态，针对此类随机状态的问题，如何对不同的光纤状态场景进行学习，充分挖掘和利用数据，对于使用深度学习方法进行光纤状态泛化至关重要。此外不可否认的是，深度学习是一种需要大量数据驱动的方法，如何获取不同状态足够数量的训练数据，也是限制深度学习在光纤抗散射泛化成像上应用的一个障碍。Shachar Resisi团队针对准动态弯曲的多模光纤的状态泛化问题，提出了一种基于深度学习的方法，成功地实现了未知状态下的目标恢复。但是训练所需要数据量十分庞大，至少需要60000张数据作为训练集，而且对于未知光纤状态的重建结果的Jaccard相似系数约为0.5, 泛化效果有待提升。仅使用数据驱动的深度学习方法对于未知状态光纤的泛化能力的不足并且数据量对于泛化重建效果影响很大。所以，针对光纤内窥镜复杂多变的工作环境和深度学习方法的固有困局，如何充分有效地挖掘散斑信息并且将物理先验嵌入到深度学习中，利用散射物理先验辅助深度学习网络优化模型，降低泛化变化光纤系统状态的难度，对于降低方法对于数据的依赖和提高不同场景的泛化能力很重要。

技术实现思路

[0005]本专利技术的目的在于提供一种基于物理驱动深度学习的光纤无透镜泛化成像方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：基于物理驱动深度学习的光纤无透镜泛化成像方法，包括以下步骤:步骤一：搭建多芯光纤散射模型用于采集散斑，所述多芯光纤散射模型包括激光器、DMD、全内反射棱镜和工业相机，所述激光器发出的入射光被准直透镜扩束，所述DMD用于显示振幅图像信息，所述全内反射棱镜转动光路并透过多芯光纤形成散斑，所述工业相机用于数据的采集； 步骤二：将采集到的散斑数据进行图像去噪，利用散斑的冗余性选择散斑的中心区域和其周围上、下、左、右偏移量为若干个像素，共5个子区域散斑图进行作为训练数据集； 步骤三：将训练数据集中的散斑进行自相关运算，自相关图像可以通过计算散斑图像能谱的二维傅里叶逆变换得出，从而可以得到相应的散斑自相关图像； 步骤四：选择U
‑
Net型卷积神经网络作为骨干网络，并且在U
‑
Net型卷积神经网络中构建损失函数，然后将散斑自相关图像输入到U
‑
Net型卷积神经网络中进行训练，从而实现对散斑的重建成像。
[0007]进一步的，在步骤一中，采集的图像数据，按照结构复杂程度分三组，重建难度依次增加，每组数据都挑选出1100张散斑图像，每组图像数据选择以训练场景为散射介质的前1000张作为训练数据，其余散射场景的前1000张作为未见过的散射场景中见过的散斑图像，其余散射场景的后100张作为未见过的散射场景中未见过的散斑图像进行目标恢复。
[0008]进一步的，在步骤一中，为了获取不同的光纤状态，随机改变了多芯光纤的弯曲程
度，每种类型的数据采集四种不同状态的数据，采集完成后，将第一个状态的数据作为散斑数据进行步骤二，其余三个状态作为未知状态下的数据进行测试，可以更好的验证其有效性。
[0009]进一步的，在步骤三中，所述散斑图像能谱的二维傅里叶逆变换，公式如下：其中，
★
代表自相关运算， I表示散斑光强，R表示散斑自相关图像，x，y分别代表图片里每个点的坐标，FFT表示快速傅里叶变换。
[0010]进一步的，在步骤五中，将自相关物理约本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于物理驱动深度学习的光纤无透镜泛化成像方法，其特征在于，包括以下步骤： 步骤一：搭建多芯光纤散射模型用于采集散斑，所述多芯光纤散射模型包括激光器、DMD、全内反射棱镜和工业相机，所述激光器发出的入射光被准直透镜扩束，所述DMD用于显示振幅图像信息，所述全内反射棱镜转动光路并透过多芯光纤形成散斑，所述工业相机用于数据的采集； 步骤二：将采集到的散斑数据进行图像去噪，利用散斑的冗余性选择散斑的中心区域和其周围上、下、左、右偏移量为若干个像素，共5个子区域散斑图进行作为训练数据集； 步骤三：将训练数据集中的散斑进行自相关运算，自相关图像可以通过计算散斑图像能谱的二维傅里叶逆变换得出，从而可以得到相应的散斑自相关图像； 步骤四：选择U
‑
Net型卷积神经网络作为骨干网络，并且在U
‑
Net型卷积神经网络中构建损失函数，然后将散斑自相关图像输入到U
‑
Net型卷积神经网络中进行训练，从而实现对散斑的重建成像。2.根据权利要求1所述的基于物理驱动深度学习的光纤无透镜泛化成像方法，其特征在于：在步骤一中，采集的图像数据，按照结构复杂程度分三组，重建难度依次增加，每组散斑数据都挑选出1100张散斑图像，每组图像数据选择以训练场景的前1000张作为训练数据，其余散射场景的前1000张作为未见过的散射场景中见过的散斑图像，其余散射介质的后100张作为未见过的散射...

【专利技术属性】
技术研发人员：郭恩来，周晨寅，韩静，柏连发，张毅，赵壮，朱硕，师瑛杰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：