基于深度学习算法的光场显微三维重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习算法的光场显微三维重建方法及装置，其中，方法包括：搭建光场显微成像系统；通过对光场显微成像系统进行仿真得到成像系统的点扩散函数；生成仿真样本体分布数据集；通过点扩散函数与对应的样本数据生成仿真光场数据集，并对可能产生的噪声及背景模型进行校正；搭建深度卷积神经网络，以仿真光场数据作为网络的输入，并以仿真样本体分布数据作为网络的输出，根据显微样本设计损失函数对网络进行训练；在完成模型的训练后，将待重建的光场显微数据输入模型进行测试，获取对应样本体分布数据的预测值。该方法可以在保持光场快速采集三维信息优势的同时，实现快速的、高分辨的、少伪影的光场数据三维重建。

3D reconstruction method and device of optical field based on deep learning algorithm

The invention discloses a 3D reconstruction method and device of optical field micro based on depth learning algorithm, wherein the method includes: building optical field micro imaging system; obtaining point diffusion function of imaging system through simulation of optical field micro imaging system; generating simulation sample body distribution data set; generating simulation optical field data set through point diffusion function and corresponding sample data, The noise and background model that may be generated are corrected; a deep convolution neural network is built, in which the simulated optical field data is taken as the input of the network, and the distribution data of the simulated sample body is taken as the output of the network, and the network is trained according to the loss function of the microsample design; after the training of the model, the optical field microsample data to be reconstructed is input to the model for testing and obtaining The predicted value of the corresponding sample body distribution data. This method can not only keep the advantage of fast acquisition of 3D information, but also realize fast, high-resolution and less artifacts 3D reconstruction of optical field data.

【技术实现步骤摘要】
基于深度学习算法的光场显微三维重建方法及装置
本专利技术涉及计算光学、计算摄像学、计算机视觉和计算机图形学等
，特别涉及一种基于深度学习算法的光场显微三维重建方法及装置。
技术介绍
生命科学和医学技术的发展对三维快速体成像技术提出了更高的要求。在这种情况下，光场显微技术以其同时获得样本空间信息和角度信息的特点成为了一种备受关注的方法。由于光场可以快速获取样本的三维信息，其成为了快速成像问题的一种通用解决方法。在被引入到光学显微中之后，光场显微技术在例如钙信号成像等三维成像问题的生物光学成像问题中扮演着越来越重要的角色。尽管光场显微技术具有快速获取样本三维信息的能力，但是其常用的重建算法——三维解卷积算法存在一些固有的问题，从而严重地限制了光场显微应用范围的扩展。第一，为了达到精确的效果，拟合方法需要对点扩散函数有着较为准确的估计，但是这在实验中是难以测量的。第二，基于极大似然估计的三维解卷积算法往往需要大量的迭代步骤以达到较好的收敛效果，这就对重建的速度造成了限制。第三，由于焦面处的分辨率存在物理限制，而传统方法是无法有效解决这一问题的。此外，由于问题的病态性，三维解卷积算法常常造成无法预计的噪声。综上所述，可以发现，尽管与其他三维成像方法相比，光场显微技术在一些方面有着显著的优势，但是其重建算法仍有待提高。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习算法的光场显微三维重建方法，该方法可以在保持光场快速采集三维信息优势的同时，实现了快速的、高分辨的、少伪影的光场数据三维重建。本专利技术的另一个目的在于提出一种基于深度学习算法的光场显微三维重建装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习算法的光场显微三维重建方法，包括以下步骤：搭建光场显微成像系统，以采集空间与角度四维光场数据；根据光场传播原理对所述光场显微成像系统进行仿真，以得到成像系统的点扩散函数；获取三维样本体分布数据集的参数及分布特性，生成仿真样本体分布数据集；通过所述点扩散函数与对应的样本数据生成仿真光场数据集，并对实际成像过程中可能产生的噪声及背景模型进行校正；搭建以生成对抗网络为基础的深度卷积神经网络，以所述仿真光场数据作为网络的输入，并以所述仿真样本体分布数据作为所述网络的输出，根据显微样本设计损失函数对所述网络进行训练；在完成所述模型的训练后，将待重建的光场显微数据输入所述模型进行测试，获取对应样本体分布数据的预测值。本专利技术实施例的基于深度学习算法的光场显微三维重建方法，通过单次拍摄实现对样本空间与角度四维信息的采集，并可以通过基于深度学习算法的卷积神经网络学习，实现从单张二维光场图像到对应三维样本体分布数据的重建映射，从而在保持光场快速采集三维信息优势的同时，实现了快速的、高分辨的、少伪影的光场数据三维重建。另外，根据本专利技术上述实施例的基于深度学习算法的光场显微三维重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述通过所述点扩散函数与对应的样本数据生成仿真光场数据集，包括：利用基本成像原理中对成像过程的卷积近似，并通过将仿真生成的所述点扩散函数与仿真生成的三维样本体分布数据进行卷积加和，生成仿真光场图像。进一步地，在本专利技术的一个实施例中，所述损失函数为：lossG＝lossmse+ω1·lossD_G+ω2·losstv，其中，ω1和ω2分别代表损失函数各项之间的权重。进一步地，在本专利技术的一个实施例中，其中，其中，pred为网络对三维样本体分布的预测，gt为其真实值，N为参与损失函数计算的样本数量，D(pred)为鉴别网络对预测结果的分类值。进一步地，在本专利技术的一个实施例中，所述将待重建的光场显微数据输入所述模型进行测试，获取对应样本体分布数据的预测值，包括：对所述待重建的光场显微数据进行预处理，以使所述待重建的光场显微数据的强度范围与训练数据的强度范围相匹配，进一步得到对三维样本体分布数据的预测值。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度学习算法的光场显微三维重建装置，包括：成像系统模块，用于搭建光场显微成像系统，以采集空间与角度四维光场数据；系统仿真模块，用于根据光场传播原理对所述光场显微成像系统进行仿真，以得到成像系统的点扩散函数；样本生成模块，用于获取三维样本体分布数据集的参数及分布特性，生成仿真样本体分布数据集；仿真成像模块，用于通过所述点扩散函数与对应的样本数据生成仿真光场数据集，并对实际成像过程中可能产生的噪声及背景模型进行校正；网络训练模块，用于搭建以生成对抗网络为基础的深度卷积神经网络，以所述仿真光场数据作为网络的输入，并以所述仿真样本体分布数据作为所述网络的输出，根据显微样本设计损失函数对所述网络进行训练；实验测试模块，用于在完成所述模型的训练后，将待重建的光场显微数据输入所述模型进行测试，获取对应样本体分布数据的预测值。本专利技术实施例的基于深度学习算法的光场显微三维重建装置，通过单次拍摄实现对样本空间与角度四维信息的采集，并可以通过基于深度学习算法的卷积神经网络学习，实现从单张二维光场图像到对应三维样本体分布数据的重建映射，从而在保持光场快速采集三维信息优势的同时，实现了快速的、高分辨的、少伪影的光场数据三维重建。另外，根据本专利技术上述实施例的基于深度学习算法的光场显微三维重建装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述仿真成像模块进一步用于利用基本成像原理中对成像过程的卷积近似，并通过将仿真生成的所述点扩散函数与仿真生成的三维样本体分布数据进行卷积加和，生成仿真光场图像。进一步地，在本专利技术的一个实施例中，所述损失函数为：lossG＝lossmse+ω1·lossD_G+ω2·losstv，其中，ω1和ω2分别代表损失函数各项之间的权重。进一步地，在本专利技术的一个实施例中，其中，其中，pred为网络对三维样本体分布的预测，gt为其真实值，N为参与损失函数计算的样本数量，D(pred)为鉴别网络对预测结果的分类值。进一步地，在本专利技术的一个实施例中，所述实验测试模块进一步用于对所述待重建的光场显微数据进行预处理，以使所述待重建的光场显微数据的强度范围与训练数据的强度范围相匹配，进一步得到对三维样本体分布数据的预测值。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于深度学习算法的光场显微三维重建方法的流程图；图2为根据本专利技术实施例的基于深度学习算法的光场显微三维重建系统的结构图；图3为根据本专利技术实施例的深度卷积神经网络的整体结构图；图4为根据本专利技术实施例的深度卷积神经网络中生成网络的结构图；图5为根据本专利技术实施例的深度卷积神经网络中鉴别网络的结构图；图6为根据本专利技术实施例的基于深度学习算法的光场显微三维重建装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参本文档来自技高网...

【技术保护点】
1.一种基于深度学习算法的光场显微三维重建方法，其特征在于，包括以下步骤：搭建光场显微成像系统，以采集空间与角度四维光场数据；根据光场传播原理对所述光场显微成像系统进行仿真，以得到成像系统的点扩散函数；获取三维样本体分布数据集的参数及分布特性，生成仿真样本体分布数据集；通过所述点扩散函数与对应的样本数据生成仿真光场数据集，并对实际成像过程中可能产生的噪声及背景模型进行校正；搭建以生成对抗网络为基础的深度卷积神经网络，以所述仿真光场数据作为网络的输入，并以所述仿真样本体分布数据作为所述网络的输出，根据显微样本设计损失函数对所述网络进行训练；以及在完成所述模型的训练后，将待重建的光场显微数据输入所述模型进行测试，获取对应样本体分布数据的预测值。

【技术特征摘要】
1.一种基于深度学习算法的光场显微三维重建方法，其特征在于，包括以下步骤：搭建光场显微成像系统，以采集空间与角度四维光场数据；根据光场传播原理对所述光场显微成像系统进行仿真，以得到成像系统的点扩散函数；获取三维样本体分布数据集的参数及分布特性，生成仿真样本体分布数据集；通过所述点扩散函数与对应的样本数据生成仿真光场数据集，并对实际成像过程中可能产生的噪声及背景模型进行校正；搭建以生成对抗网络为基础的深度卷积神经网络，以所述仿真光场数据作为网络的输入，并以所述仿真样本体分布数据作为所述网络的输出，根据显微样本设计损失函数对所述网络进行训练；以及在完成所述模型的训练后，将待重建的光场显微数据输入所述模型进行测试，获取对应样本体分布数据的预测值。2.根据权利要求1所述的方法，其特征在于，所述通过所述点扩散函数与对应的样本数据生成仿真光场数据集，包括：利用基本成像原理中对成像过程的卷积近似，并通过将仿真生成的所述点扩散函数与仿真生成的三维样本体分布数据进行卷积加和，生成仿真光场图像。3.根据权利要求1所述的方法，其特征在于，所述损失函数为：lossG＝lossmse+ω1·lossD_G+ω2·losstv，其中，ω1和ω2分别代表损失函数各项之间的权重。4.根据权利要求3所述的方法，其特征在于，其中，其中，pred为网络对三维样本体分布的预测，gt为其真实值，N为参与损失函数计算的样本数量，D(pred)为鉴别网络对预测结果的分类值。5.根据权利要求1所述的方法，其特征在于，所述将待重建的光场显微数据输入所述模型进行测试，获取对应样本体分布数据的预测值，包括：对所述待重建的光场显微数据进行预处理，以使所述待重建的光场显微数据的强度范围与训练数据的强度范围相匹配，进一步得到对三维样本体分布数据的预测值。6...

【专利技术属性】
技术研发人员：戴琼海，乔晖，李晓煦，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11