基于深度学习生成网络的变角度光照层析方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习生成网络的变角度光照层析方法及装置，其中，方法包括：根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络；将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。该方法实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。

Variable angle illumination tomography method and device based on deep learning to generate network

The invention discloses a variable angle light tomography method and device based on the depth learning generation network. The method includes: Based on the Helmholtz equation of the wave and the Fu Liye propagation model of light, the distribution model of the diffraction field and the ejection field is derived from the propagation of light in a nonuniform transparent medium by layer by layer; the physical process is modeled. The neural network is generated by the depth learning in the plural form in the time domain and frequency domain; the output light complex field of the sampled data is propagated back as the data of the input light complex field, and the complex number field through the reconstructed sample is used as the output light complex field data; and the reconstruction is based on the reconstruction. The network parameters are studied by the resolution condition adjustment depth to train the network, and the three dimensional refractive index distribution of the sample is obtained through the weights obtained by the training, and the tomography reconstruction of the samples is realized. The method achieves low volume and high resolution tomographic reconstruction ability, and effectively improves resolution accuracy of tomographic reconstruction.

【技术实现步骤摘要】
基于深度学习生成网络的变角度光照层析方法及装置
本专利技术涉及计算光学、计算机视觉和计算摄像学
，特别涉及一种基于深度学习生成网络的变角度光照层析方法及装置。
技术介绍
目前，对显微样本、特别是活体生物样本进行高分辨率的层析重建是当前计算光学成像、计算机视觉、计算摄像学等学科领域的热点研究问题。相关的层析技术中，由于大多数活体生物细胞具有强度上弱差异而相位上高差异的特点，因此广泛使用相位成像技术进行研究。但是，现有的相位层析技术大多需要采集大量的数据，包括不同角度照射的图像或者聚焦在不同深度拍摄的图像，而采集的速度限制了相位层析的发展应用。活体生物样本层析重建中另一个普遍存在的问题在于，现有重建技术在光轴方向经常会发生较为严重的拉长现象，引起较大的误差，从而限制了光轴方向的层析分辨率，影响层析重建的效果，难以实现纳米级的层析。同时，在之前提出的层析方法中，使用的光场传播模型大多是忽略多重散射的线性传播模型。这样做可以使算法变得更简单便捷，但是会影响层析效果。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习生成网络的变角度光照层析方法，该方法实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。本专利技术的另一个目的在于提出一种基于深度学习生成网络的变角度光照层析装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习生成网络的变角度光照层析方法，包括以下步骤：根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。本专利技术实施例的基于深度学习生成网络的变角度光照层析方法，可以通过利用基于光束传播方法的分层传播模型，综合考虑了光在多层透明样本中传播的散射和折射过程，将其与深度学习这一目前效果最为突出的优化方法结合起来，配合以数字全息采集方法，实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。另外，根据本专利技术上述实施例的基于深度学习生成网络的变角度光照层析方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述衍射场和折射场的分布模型表示为：其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。进一步地，在本专利技术的一个实施例中，所述根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，进一步包括：以光的分布场的包络复振幅a(r)为所述神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，分别为傅里叶变换运算符与傅里叶逆变换运算符，为傅里叶域坐标，为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。进一步地，在本专利技术的一个实施例中，搭建所述神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，所述衍射层和所述折射层分别对应上述的衍射过程运算和折射过程运算，所述低通滤波层对应于采集的频域特性。进一步地，在本专利技术的一个实施例中，其特征在于，在网络中，损失函数的表达式如下：loss＝∑|ypredict-ytrue|+S，其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度学习生成网络的变角度光照层析装置，包括：推导模块，用于根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；搭建模块，用于根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；采集模块，用于在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；训练模块，用于根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；重建模块，用于通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。本专利技术实施例的基于深度学习生成网络的变角度光照层析装置，可以通过利用基于光束传播方法的分层传播模型，综合考虑了光在多层透明样本中传播的散射和折射过程，将其与深度学习这一目前效果最为突出的优化方法结合起来，配合以数字全息采集方法，实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。另外，根据本专利技术上述实施例的基于深度学习生成网络的变角度光照层析装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述衍射场和折射场的分布模型表示为：其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。进一步地，在本专利技术的一个实施例中，所述搭建模块还用于以光的分布场的包络复振幅a(r)为所述神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。进一步地，在本专利技术的一个实施例中，搭建所述神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，所述衍射层和所述折射层分别对应上述的衍射过程运算和折射过程运算，所述低通滤波层对应于采集的频域特性。进一步地，在本专利技术的一个实施例中，在网络中，损失函数的表达式如下：loss＝∑|ypredict-ytrue|+S，其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。本专利技术附加的方面和优点将在下本文档来自技高网...

【技术保护点】
一种基于深度学习生成网络的变角度光照层析方法，其特征在于，包括以下步骤：根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；以及通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。

【技术特征摘要】
1.一种基于深度学习生成网络的变角度光照层析方法，其特征在于，包括以下步骤：根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；以及通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。2.根据权利要求1所述的基于深度学习生成网络的变角度光照层析方法，其特征在于，所述衍射场和折射场的分布模型表示为：其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy，为傅里叶域坐标，为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。3.根据权利要求1所述的基于深度学习生成网络的变角度光照层析方法，其特征在于，所述根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，进一步包括：以光的分布场的包络复振幅a(r)为所述神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：其中，其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。4.根据权利要求3所述的基于深度学习生成网络的变角度光照层析方法，其特征在于，搭建所述神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，所述衍射层和所述折射层分别对应上述的衍射过程运算和折射过程运算，所述低通滤波层对应于采集的频域特性。5.根据权利要求1-4任一项所述的基于深度学习生成网络的变角度光照层析方法，其特征在于，在网络中，损失函数的表达式如下：loss＝∑|ypredct-ytrue|+S，其中，ypredict表示网络生成的数据，ytrue表示真实采集的数...

【专利技术属性】
技术研发人员：戴琼海，乔晖，李晓煦，索津莉，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11