基于光场显微系统的三维显微成像方法及系统技术方案

本发明专利技术公开了一种基于光场显微系统的三维显微成像方法及系统，其中，该方法包括：S1，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从物面到次相机传感器平面的第二点扩散函数，根据第一点扩散函数和第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；S2，获取三维样本在光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；S3，通过预设算法对光场强度图像和第一前向投影矩阵、高分辨率强度图像和第二前向投影矩阵进行三维重建，生成三维样本的三维重建结果。该方法通过增加一路采集光路，实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。

【技术实现步骤摘要】
基于光场显微系统的三维显微成像方法及系统
本专利技术涉及计算摄像学
，特别涉及一种基于光场显微系统的三维显微成像方法及系统。
技术介绍
通常，需要观察的显微样本往往是三维的。在传统的显微技术中，只能对样本的一个深度进行二维成像，观察样本切片，不能观察到样本的立体结构，无法满足一些生物领域的需求。若需要采集三维样本的数据，需要通过纵轴扫描等方法，采集多张不同深度的图像，再进行轴向的拼接，这样的方法速度较慢，在高动态的情况下，纵轴的扫描速度低于生物结构的动态变化速度，难以有效地成像。光场成像的特点是快速、宽视场、三维成像，但是其横向分辨率与轴向分辨率相互制衡，会导致成像质量的损失。随着计算机技术的发展，我们可以采用计算机对光场图像进行后处理，通过解卷积等方式，重建出三维物体。目前的三维成像技术，主要利用了RL迭代算法进行重建，只利用了光场的信息，受到分辨率相互制约的影响，导致重建效果不够理想，实用性不强。也有研究者试图提升光场重建分辨率，但根据波动光学的理论，焦面处的采样空间分布是稀疏的，所以焦面处的分辨率难以提升。由于光场显微快速捕获多维信息的特性，迅速引起了学术界的关注。目前，光场显微技术的最大局限在于，采集光场图像时将不同角度的信息集成到同一张图像下，大大牺牲了图像的横向分辨率，且不同角度的图像容易相互串扰，导致重建结果不够理想。有研究者试图提升光场重建分辨率，他们利用波动光学理论，将微透镜阵列对于光学信号的采样率置于奈奎斯特采样率以下，故意造成信息混叠，并利用混叠和微透镜阵列不均一的采样，解出更清晰的图像细节。但是，这一方法受限于成像焦面处的空间分布稀疏，难以提升焦面处的重建分辨率。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于光场显微系统的三维显微成像方法，该方法实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。本专利技术的另一个目的在于提出一种基于光场显微系统的三维显微成像系统。为达到上述目的，本专利技术一方面实施例提出了一种基于光场显微系统的三维显微成像方法，包括：S1，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；S2，获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；S3，通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。本专利技术实施例的基于光场显微系统的三维显微成像方法，通过分光镜，将样本发出的光分成两路，一路直接用相机传感器采集其焦面处图像，另一路经过微透镜阵列，用相机传感器采集其光场图像，多采集了焦面处的高分辨率信息，将两者结合，进行重建，实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。另外，根据本专利技术上述实施例的基于光场显微系统的三维显微成像方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：搭建所述光学系统；所述搭建所述光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、所述分光镜、所述微透镜阵列和所述主相机位于同一条直线上，所述微透镜阵列在所述显微镜像面上，所述主相机在所述微透镜阵列的焦面处，在所述分光镜的同侧布设所述次相机，所述次相机聚焦到所述显微镜像面，所述主相机和所述次相机通过数据线与计算机连接。进一步地，在本专利技术的一个实施例中，所述S1进一步包括：在所述光学系统中求解所述三维样本从物面到所述微透镜阵列所在平面的第二点扩散函数，将所述第二点扩散函数与所述微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成所述光学系统的所述第一点扩散函数，对所述第一点扩散函数与所述第二点扩散函数取模平方，并离散化形成所述第一前向投影矩阵和所述第二前向投影矩阵。进一步地，在本专利技术的一个实施例中，所述S2进一步包括：S21，将所述三维样本放在所述光学系统中的显微镜的平移台上，使所述显微镜聚焦在所述三维样本的中间平面；S22，所述分光镜置于所述管镜之后，将光路分为两路，其中，一路光束被所述次相机采集；S23，所述次相机置于所述管镜的后焦面光程处，记录所述高分辨率强度图像；S24，将所述微透镜阵列置于所述分光镜的另一侧，使所述微透镜阵列置于所述管镜的后焦面光程处；S25，所述主相机传感器位于所述微透镜阵列的焦点位置上，所述主相机传感器记录所述三维样本的三维场景在各个视角方向上的基本图像，所述微透镜阵列成像得到所述光场强度图像。进一步地，在本专利技术的一个实施例中，所述预设算法为迭代算法，包括：a，所述三维样本为g，初始为灰度均匀分布的三维矩阵；b，在第k次迭代中；c，对g进行光场重建：d，对b中得到的结果进行高分辨率宽场重建：e，重复步骤b至d到预设次数。为达到上述目的，本专利技术另一方面实施例提出了一种基于光场显微系统的三维显微成像系统，包括：第一获取模块，用于在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；第二获取模块，用于获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；成像模块，用于通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。本专利技术实施例的基于光场显微系统的三维显微成像系统，通过分光镜，将样本发出的光分成两路，一路直接用相机传感器采集其焦面处图像，另一路经过微透镜阵列，用相机传感器采集其光场图像。多采集了焦面处的高分辨率信息，将两者结合，进行重建，实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。另外，根据本专利技术上述实施例的基于光场显微系统的三维显微成像系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：搭建模块，所述搭建模块用于搭建所述光学系统；所述搭建所述光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、所述分光镜、所述微透镜阵列和所述主相机位于同一条直线上，所述微透镜阵列在所述显微镜像面上，所述主相机在所述微透镜阵列的焦面处，在所述分光镜的同侧布设所述次相机，所述次相机聚焦到所述显微镜像面，所述主相机和所述次相机通过数据线与计算机连接。进一步地，在本专利技术的一个实施例中，所述第一获取模块，具体用于：在所述光学系统中求解所述三维样本从物面到所述微透镜阵列所在平面的第二点扩散函数，将所述第二点扩散函数与所述微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成所述光学系统的所述第一点扩散函数，对所述第一点扩散函数与所述第二点扩散函数取模平方，并离散化形成所述第一前向投影矩阵和所述第二前向投影矩阵。进一步地，在本专利技术的一个实施例中，所述第二获取模本文档来自技高网...

【技术保护点】
1.一种基于光场显微系统的三维显微成像方法，其特征在于，包括以下步骤：S1，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；S2，获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；S3，通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。

【技术特征摘要】
1.一种基于光场显微系统的三维显微成像方法，其特征在于，包括以下步骤：S1，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；S2，获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；S3，通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。2.根据权利要求1所述的基于光场显微系统的三维显微成像方法，其特征在于，还包括：搭建所述光学系统；所述搭建所述光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、所述分光镜、所述微透镜阵列和所述主相机位于同一条直线上，所述微透镜阵列在所述显微镜像面上，所述主相机在所述微透镜阵列的焦面处，在所述分光镜的同侧布设所述次相机，所述次相机聚焦到所述显微镜像面，所述主相机和所述次相机通过数据线与计算机连接。3.根据权利要求2所述的基于光场显微系统的三维显微成像方法，其特征在于，所述S1进一步包括：在所述光学系统中求解所述三维样本从物面到所述微透镜阵列所在平面的第二点扩散函数，将所述第二点扩散函数与所述微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成所述光学系统的所述第一点扩散函数，对所述第一点扩散函数与所述第二点扩散函数取模平方，并离散化形成所述第一前向投影矩阵和所述第二前向投影矩阵。4.根据权利要求2所述的基于光场显微系统的三维显微成像方法，其特征在于，所述S2进一步包括：S21，将所述三维样本放在所述光学系统中的显微镜的平移台上，使所述显微镜聚焦在所述三维样本的中间平面；S22，所述分光镜置于所述管镜之后，将光路分为两路，其中，一路光束被所述次相机采集；S23，所述次相机置于所述管镜的后焦面光程处，记录所述高分辨率强度图像；S24，将所述微透镜阵列置于所述分光镜的另一侧，使所述微透镜阵列置于所述管镜的后焦面光程处；S25，所述主相机传感器位于所述微透镜阵列的焦点位置上，所述主相机传感器记录所述三维样本的三维场景在各个视角方向上的基本图像，所述微透镜阵列成像得到所述光场强度图像。5.根据权利要求1所述的基于光场显微系统的三维显微成像方法，其特征在于，所述预设算法为迭代算法，包括：a，所述三维样本为g，初始为灰度均匀分布的三维矩阵；b，在第k次迭代中；c，对g进行光场重建：d，对b中得到的结果进行高分辨率宽场重建：e，重复步骤b至d到预设次数。6.一种基于光...

【专利技术属性】
技术研发人员：戴琼海，卢志，吴嘉敏，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11