一种虚拟多平面成像系统及方法技术方案

本发明专利技术提出一种虚拟多平面成像系统及方法，系统包括神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将N张图像对应的轴向K个平面图像作为输出图像；训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，将参照样本的不同轴向的K个平面图像作为参照输出图像，拆分后形成图像训练对，输入神经网络结构中训练，以获得训练完成的神经网络；重建清晰图像模块：将待成像样本获得的一帧下的N张图像作为输入图像，输入神经网络中学习，输出待成像样本的轴向K个平面图像。其目的在于解决目前非扫描3D荧光显微成像方法存在的系统复杂、成像质量差或耗时的技术问题。

【技术实现步骤摘要】
一种虚拟多平面成像系统及方法
本专利技术涉及图像处理技术，尤其是涉及一种虚拟多平面成像系统及方法。
技术介绍
目前，为了对三维组织块进行成像，需要一层一层重复扫描样本，这需要花费大量的时间。为了解决传统显微镜只能单平面成像的问题，已经专利技术了许多三维成像技术，包括斜光片显微镜，光场显微镜。斜光片显微镜使用数值孔径较高的物镜来产生腰部较窄的光片，并使用另一个正交物镜来收集荧光，进行显微成像，为了降低深层样本对光的散射作用，一般只对样本薄层进行成像，大约为30微米到50微米；光场显微镜是使用微透镜阵列对三维样本进行多角度采集，使用后续的迭代算法可以重建出三维物体。斜光片成像系统从硬件层面改善了成像系统，使用多平面扫描的方式加快了成像速度。但这种方法系统复杂，且成像质量较差。而光场显微镜需要相对耗时的迭代算法来解决重建新图像的逆问题。因此这些非扫描3D荧光显微成像方法，虽然可以解决三维成像的问题，但都存在各自的弊端。所以提出一种新方法进行多平面3D成像非常有必要。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种虚拟多平面成像系统及方法，其目的在于解决目前非扫描3D荧光显微成像方法存在的系统复杂、成像质量差或耗时的技术问题。为达到上述技术目的，本专利技术提出了一种虚拟多平面成像系统，包括：神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；重建清晰图像模块：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。优选地，所述不同轴向的K个平面图像的相邻图像的轴向间隔相同，且为z0。优选地，所述输入图像的尺寸为N*A*B，所述输出图像的尺寸为K*A*B，所述输入图像与输出图像的A*B个像素一一对齐，其中，A、B均为正整数。优选地，还包括图像采集模块，包括显微镜及探测器，所述探测器为N线阵列探测器，用于对样本成像时获取一帧下的N张图像。优选地，所述轴向间隔z0具体为：z0＝2λ/NA2其中，λ是样本发射的波长，NA为显微镜的物镜的数值孔径。优选地，所述不同轴向的K个平面图像数量满足：K≤9。优选地，所述A与B的范围为：A≤256，B≤256。优选地，所述显微镜为线共聚焦扫描显微镜。为达到上述技术目的，本专利技术还提出了一种虚拟多平面成像方法，包括：设置神经网络结构：搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；训练学习：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；重建清晰图像：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。优选地，还包括获取图像，采用显微镜与多阵列探测器，通过显微镜对样本获取成像范围后通过所述多阵列探测器对所述样本进行成像以获得一帧下的多张图像，轴向移动样本或显微镜并通过所述多阵列探测器的最中心的一列探测器对所述样本在轴向上形成多个平面图像。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术提出了一种虚拟多平面成像系统，通过训练好的神经网络结构，可以从单平面的扫描获取不同轴向K个平面的清晰图像。并且，该系统无须借助复杂的光学器件及机械结构，便可加快成像速率。(2)本专利技术提出了一种虚拟多平面成像方法，使用N线阵列探测器在一个平面扫描样本采集N张图像，输入到训练好的神经网络便可从单平面图像中恢复出不同轴向的多个平面图像。在此过程中，只需要训练一次神经网络，便可以恢复K个不同轴向位置对应的图像。与现有技术相比，可以大大减少样本的扫描时间。附图说明图1为本专利技术提供的虚拟多平面成像的原理示意图；图2为thy1-YFP脑组织样本采用神经网络重建多平面图像的结果与真实图像的对比图；其中图2(a)、2(d)、2(g)、2(j)为Z＝-3um、-1um、1um和3um时thy1-YFP脑组织样本不同轴向平面的真实图像；图2(b)、2(e)、2(h)、2(k)为采用N＝6线阵列探测器获取的图像作为输入图像时重建获得的Z＝-3um、-1um、1um和3um4个轴向位置的输出图像；图2(c)、2(f)、2(i)、2(l)为采用N＝1线探测器获取的图像作为输入图像时重建获得的Z＝-3um、-1um、1um和3um4个轴向位置的输出图像。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提出了一种虚拟多平面成像系统，包括：神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将参照样本的不同轴向的K个平面图像作为参照输出图像，用于将参照输入图像及参照输出图像按照设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将图像训练对输入神经网络结构中进行训练，以获得训练完成的神经网络；重建清晰图像模块：将待成像样本获得的一帧下的N张图像作为输入图像，依据设置的输入图像尺寸进行拆分后，输入训练完成的神经网络中进行学习，依据设置的输出图像的尺寸输出待成像样本的轴向K个平面图像。如图1所示，用N线阵列探测器获取图像时，不管是中心位置的探测器还是边缘位置的探测器，均获取了样本的在焦面图像及离焦面图像，但位于中心的线探测器对在焦信号有较强的响应，因此获取了较多样本的在焦面图像，位于边缘本文档来自技高网...

【技术保护点】
1.一种虚拟多平面成像系统，包括：/n神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；/n训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；/n重建清晰图像模块：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。/n

【技术特征摘要】
1.一种虚拟多平面成像系统，包括：
神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本获得的一帧下的N张图像作为输入图像，将所述N张图像对应的轴向K个平面图像作为输出图像，设置输入图像及输出图像的尺寸，其中，K、N均为正整数，且N≥2，K≥2；
训练学习模块：将对参照样本成像获得的一帧下的N张图像作为参照输入图像，并将所述参照样本的不同轴向的K个平面图像作为参照输出图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；
重建清晰图像模块：将所述待成像样本获得的一帧下的N张图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的轴向K个平面图像。


2.根据权利要求1所述的虚拟多平面成像系统，其特征在于，所述不同轴向的K个平面图像的相邻图像的轴向间隔相同，且为z0。


3.根据权利要求2所述的虚拟多平面成像系统，其特征在于，所述输入图像的尺寸为N*A*B，所述输出图像的尺寸为K*A*B，所述输入图像与输出图像的A*B个像素一一对齐，其中，A、B均为正整数。


4.根据权利要求3所述的虚拟多平面成像系统，其特征在于，还包括图像采集模块，包括显微镜及探测器，所述探测器为N线阵列探测器，用于对样本成像时获取一帧下的N张图像。


5.根据权利要求4所述的虚拟多平面成像系统，其特征在于，所述轴向间隔z0具体为：
z0＝2λ/NA2
其中，λ是样本发射的波长，NA为显微镜的...

【专利技术属性】
技术研发人员：袁菁，张德洁，龚辉，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42