基于卷积神经网络的光场高分辨解卷积方法及系统技术方案

本发明专利技术公开了一种基于卷积神经网络的光场高分辨解卷积方法及系统，其中，该方法包括：通过光场显微成像系统采集光场显微数据；根据预设的三维样本体分布数据集的分布特性与参数，生成仿真样本体分布数据集；根据光场成像原理对上述数据集进行实验光场系统的仿真成像，并引入实验因素得到仿真光场图像；以理查德‑露西解卷积算法为基础实现光场三维解卷积算法，并以仿真点扩散函数为先验信息，对仿真光场图像进行解卷积得到初步重建体分布数据；生成深度卷积神经网络；将初步重建的结果输入到深度卷积神经网络中，得到对应样本体分布数据的预测值。该方法克服传统光场三维重建算法中存在的一些固有问题，实现高分辨的、少伪影的光场数据三维重建。

High resolution deconvolution method and system of optical field based on convolution neural network

The invention discloses a high-resolution deconvolution method and system of optical field based on convolution neural network, wherein the method comprises: collecting optical field micro data through optical field micro imaging system; generating simulation sample body distribution data set according to distribution characteristics and parameters of preset three-dimensional sample body distribution data set; carrying out experimental optical field for the above data set according to optical field imaging principle The simulation imaging of the system, and the experimental factors are introduced to obtain the simulation light field image; the 3D light field deconvolution algorithm is realized based on the Richard Lucy deconvolution algorithm, and the simulation point spread function is used as the prior information to deconvolute the simulation light field image to obtain the preliminary reconstruction volume distribution data; the depth convolution neural network is generated; the preliminary reconstruction results are input to the depth convolution In the neural network, the prediction value of the corresponding sample body distribution data is obtained. This method overcomes some inherent problems in the traditional 3D reconstruction algorithm of light field, and realizes the 3D reconstruction of light field data with high resolution and few artifacts.

【技术实现步骤摘要】
基于卷积神经网络的光场高分辨解卷积方法及系统
本专利技术涉及计算光学、计算摄像学、计算机视觉和计算机图形学
，特别涉及一种基于卷积神经网络的光场高分辨解卷积方法及系统。
技术介绍
活体细胞和组织的三维快速动态成像是现代生命科学和医学技术研究所关注的重要问题，相关研究对高分辨快速三维成像技术有着急切的需求。光场显微成像技术凭借其对空间信息和角度信息同时采集的能力，对快速成像的需求提供了一种可行的解决方法。在被引入到光学显微这一领域后，光场显微成像技术已经在钙信号成像等诸多生物成像问题中扮演着重要的角色。尽管光场显微成像技术已经取得了一系列优秀的成果，但是仍存在一些难以解决的问题限制了其应用范围的进一步扩展。为了追求成像速度的提升，光场显微成像技术通过牺牲空间分辨率换取了角度分辨率，尽管解卷积算法能够一定程度上对牺牲的空间分辨率进行补偿，但是仍远远低于光学系统的衍射极限，而使用到的解卷积重建算法在提升空间分辨率的同时又会引入新的问题。第一，解卷积算法需要对实现系统的点扩散函数进行较为准确的估计，而这在实验中是难以直接测量的；第二，三维解卷积算法需要大量的迭代步骤以达到较好的收敛效果，造成了极大的计算代价；第三，由于焦面处的采样率限制，焦面附近的分辨率无法通过解卷积算法得到有效提升；第四，由于问题的病态性，解卷积算法往往会引入无法预计的噪声，对重建结果造成较大的影响。综上所述，尽管光场显微成像技术在快速成像方面独具优势，仍有着较大的提高空间，特别是其重建算法。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于卷积神经网络的光场高分辨解卷积方法，该方法在保证光场快速采集三维信息优势的同时，实现了快速的、高分辨的、少伪影的光场数据三维重建。本专利技术的另一个目的在于提出一种基于卷积神经网络的光场高分辨解卷积系统，通过单次拍摄实现对样本空间与角度四维信息的采集。为达到上述目的，本专利技术一方面实施例提出了一种基于卷积神经网络的光场高分辨解卷积方法，包括：通过光场显微成像系统采集光场显微数据；根据预设的三维样本体分布数据集的分布特性与参数，生成仿真样本体分布数据集；根据光场成像原理对所述仿真样本体分布数据集进行实验光场系统的仿真成像，并引入预设的实验因素，得到仿真光场图像；以理查德-露西解卷积算法为基础实现光场三维解卷积算法，并以仿真点扩散函数为先验信息，对所述仿真光场图像进行解卷积，得到初步重建体分布数据；生成深度卷积神经网络，其中，以所述初步重建体分布数据作为网络模型的输入，以所述仿真样本体分布数据作为网络模型的目标值，获取显微样本的损失函数，并选取满足第一预设条件的参数对网络模型进行训练；对所述光场显微数据进行三维解卷积，将初步重建的结果输入到所述深度卷积神经网络中，得到对应样本体分布数据的预测值。本专利技术实施例的基于卷积神经网络的光场高分辨解卷积方法，可以通过三维解卷积算法作为一种数据预处理的方法，利用基于卷积神经网络的卷积神经网络学习从将低分辨率的、伪影严重的三维样本体分布到高分辨率的、伪影较少的三维样本体分布的重建映射，在保持光场快速采集三维信息优势的同时，克服了传统光场三维重建算法中存在的一些固有问题，实现了高分辨的、少伪影的光场数据三维重建。另外，根据本专利技术上述实施例的基于卷积神经网络的光场高分辨解卷积方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述通过光场显微成像系统采集光场显微数据，包括：通过微透镜阵列同时采集角度信息与空间信息，以在单次采集获得样本的三维信息，得到满足第二预设条件的光场显微数据。进一步地，在本专利技术的一个实施例中，所述根据光场成像原理对所述仿真样本体分布数据集进行实验光场系统的仿真成像，包括：利用所述光场成像原理中对成像过程的卷积近似，通过将仿真生成的点扩散函数与仿真生成的三维样本体分布数据进行卷积加和，生成所述仿真光场图像。进一步地，在本专利技术的一个实施例中，所述对所述仿真光场图像进行解卷积，包括：利用基于极大似然估计的所述理查德-露西迭代法进行三维解卷积问题的求解，计算公式如下：g(k+1)＝diag(HT1)-1diag(HTdiag(Hg(k)+b)-1f)g(k)，式中，g(k)表示第k次迭代时求取的三维解卷积结果，H为光场显微成像系统的传输矩阵，b为对背景的估计，diag(·)为对角矩阵的构成函数。其中，所述深度卷积神经网络的损失函数由数据拟合项以及全微分约束项组成，以分别用于约束模型的收敛方向以及对重建结果进行校正，表示公式为：其中，pred为网络对三维样本体分布的预测，gt为真实值，N为参与损失函数计算的样本数量，ω为损失函数不同项之间的权重系数。为达到上述目的，本专利技术另一方面实施例提出了一种基于卷积神经网络的光场高分辨解卷积系统，包括：采集模块，用于通过光场显微成像系统采集光场显微数据；生成模块，用于根据预设的三维样本体分布数据集的分布特性与参数，生成仿真样本体分布数据集；仿真成像模块，用于根据光场成像原理对所述仿真样本体分布数据集进行实验光场系统的仿真成像，并引入预设的实验因素，得到仿真光场图像；第一解卷积模块，用于以理查德-露西解卷积算法为基础实现光场三维解卷积算法，并以仿真点扩散函数为先验信息，对所述仿真光场图像进行解卷积，得到初步重建体分布数据；训练模块，用于生成深度卷积神经网络，其中，以所述初步重建体分布数据作为网络模型的输入，以所述仿真样本体分布数据作为网络模型的目标值，获取显微样本的损失函数，并选取满足第一预设条件的参数对网络模型进行训练；第二解卷积模块，用于对所述光场显微数据进行三维解卷积，将初步重建的结果输入到所述深度卷积神经网络中，得到对应样本体分布数据的预测值。本专利技术实施例的基于卷积神经网络的光场高分辨解卷积系统，可以通过三维解卷积算法作为一种数据预处理的方法，利用基于卷积神经网络的卷积神经网络学习从将低分辨率的、伪影严重的三维样本体分布到高分辨率的、伪影较少的三维样本体分布的重建映射，在保持光场快速采集三维信息优势的同时，克服了传统光场三维重建算法中存在的一些固有问题，实现了高分辨的、少伪影的光场数据三维重建。另外，根据本专利技术上述实施例的基于卷积神经网络的光场高分辨解卷积系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述采集模块包括：通过微透镜阵列同时采集角度信息与空间信息，以在单次采集获得样本的三维信息，得到满足第二预设条件的光场显微数据。进一步地，在本专利技术的一个实施例中，所述仿真成像模块中，根据光场成像原理对所述仿真样本体分布数据集进行实验光场系统的仿真成像，包括：利用所述光场成像原理中对成像过程的卷积近似，通过将仿真生成的点扩散函数与仿真生成的三维样本体分布数据进行卷积加和，生成所述仿真光场图像。进一步地，在本专利技术的一个实施例中，所述解卷积模块中，对所述仿真光场图像进行解卷积，包括：利用基于极大似然估计的所述理查德-露西迭代法进行三维解卷积问题的求解，计算公式如下：g(k+1)＝diag(HT1)-1diag(HTdiag(Hg(k)+b)-1f)g(k)，式中，g(k)表示第k次迭代时求取的三维解卷积结果，H为光场显微成像系统本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的光场高分辨解卷积方法，其特征在于，包括以下步骤：通过光场显微成像系统采集光场显微数据；根据预设的三维样本体分布数据集的分布特性与参数，生成仿真样本体分布数据集；根据光场成像原理对所述仿真样本体分布数据集进行实验光场系统的仿真成像，并引入预设的实验因素，得到仿真光场图像；以理查德‑露西解卷积算法为基础实现光场三维解卷积算法，并以仿真点扩散函数为先验信息，对所述仿真光场图像进行解卷积，得到初步重建体分布数据；生成深度卷积神经网络，其中，以所述初步重建体分布数据作为网络模型的输入，以所述仿真样本体分布数据作为网络模型的目标值，获取显微样本的损失函数，并选取满足第一预设条件的参数对网络模型进行训练；以及对所述光场显微数据进行三维解卷积，将初步重建的结果输入到所述深度卷积神经网络中，得到对应样本体分布数据的预测值。

【技术特征摘要】
1.一种基于卷积神经网络的光场高分辨解卷积方法，其特征在于，包括以下步骤：通过光场显微成像系统采集光场显微数据；根据预设的三维样本体分布数据集的分布特性与参数，生成仿真样本体分布数据集；根据光场成像原理对所述仿真样本体分布数据集进行实验光场系统的仿真成像，并引入预设的实验因素，得到仿真光场图像；以理查德-露西解卷积算法为基础实现光场三维解卷积算法，并以仿真点扩散函数为先验信息，对所述仿真光场图像进行解卷积，得到初步重建体分布数据；生成深度卷积神经网络，其中，以所述初步重建体分布数据作为网络模型的输入，以所述仿真样本体分布数据作为网络模型的目标值，获取显微样本的损失函数，并选取满足第一预设条件的参数对网络模型进行训练；以及对所述光场显微数据进行三维解卷积，将初步重建的结果输入到所述深度卷积神经网络中，得到对应样本体分布数据的预测值。2.根据权利要求1所述的方法，其特征在于，所述通过光场显微成像系统采集光场显微数据，包括：通过微透镜阵列同时采集角度信息与空间信息，以在单次采集获得样本的三维信息，得到满足第二预设条件的光场显微数据。3.根据权利要求1所述的方法，其特征在于，所述根据光场成像原理对所述仿真样本体分布数据集进行实验光场系统的仿真成像，包括：利用所述光场成像原理中对成像过程的卷积近似，通过将仿真生成的点扩散函数与仿真生成的三维样本体分布数据进行卷积加和，生成所述仿真光场图像。4.根据权利要求1所述的方法，其特征在于，所述对所述仿真光场图像进行解卷积，包括：利用基于极大似然估计的所述理查德-露西迭代法进行三维解卷积问题的求解，计算公式如下：g(k+1)＝diag(HT1)-1diag(HTdiag(Hg(k)+b)-1f)g(k)，其中，g(k)表示第k次迭代时求取的三维解卷积结果，H为光场显微成像系统的传输矩阵，b为对背景的估计，diag(·)为对角矩阵的构成函数。5.根据权利要求1所述的方法，其特征在于，所述深度卷积神经网络的损失函数由数据拟合项以及全微分约束项组成，以分别用于约束模型的收敛方向以及对重建结果进行校正，表示公式为：其中，pred为网络对三维样本体分布的预测，gt为真实值，N为参与损失函数计算的样本数量，ω为损失函数不同项之间的权重系数。6.一种基于卷积神经网络的光场高分辨解卷积系统...

【专利技术属性】
技术研发人员：戴琼海，李晓煦，乔晖，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11