一种适用于光透明样本的快速三维成像方法技术

本发明专利技术提供了一种适用于光透明样本的快速三维成像方法，本发明专利技术方法包括：S1训练卷积神经网络；S2样本处理：对待成像样本进行光透明处理后固定；S3获取浅层的光学层析图像：获取浅层的宽场图像，输入至训练完成的卷积神经网络，获得与宽场图像同等数量同等尺寸的光学层析图像；S4获取整个光透明样本的光学层析图像。本发明专利技术方法利用高通量的宽场成像和快速的轴向扫描来获取样本的三维图像，最后由卷积神经网络恢复出清晰完整的三维图像，这种方法显著加快了图像拍摄速度，并且降低了光漂白效应。

A Fast Three-Dimensional Imaging Method for Light Transparent Samples

【技术实现步骤摘要】
一种适用于光透明样本的快速三维成像方法
本专利技术涉及图像处理技术和显微成像技术，尤其是涉及一种适用于光透明样本的快速三维成像方法。
技术介绍
在利用光学显微镜对厚组织样本进行探测时，深层组织会对入射光产生严重的吸收和散射，导致成像深度有限。利用光透明方法可以使组织表现为较好的光透明特性，光入射进组织不会发生较大的吸收或散射。目前适用于光透明样本的成像方法主要是光片显微镜，然而该方法依赖两个互相正交的光路对样本进行激发和探测，光路十分复杂并且不好调节。并且光片显微镜使用的物镜多为长工作距离的空气镜，其数值孔径NA值较低，分辨率不理想。。
技术实现思路
本专利技术的目的在于克服上述技术不足，提出了一种适用于光透明样本的快速三维成像方法。该方法对厚组织样本进行光透明处理，并利用高通量的宽场成像和快速的轴向扫描来获取样本的三维图像，最后由卷积神经网络恢复出清晰完整的三维图像，这种方法实现简单，不涉及复杂的光路，成像速度快，并且对于组织深处也能实现清晰成像，分辨率能够达到轴突分辨的级别。为达到上述技术目的，本专利技术提供的一种适用于光透明样本的快速三维成像方法，包括如下步骤：S1训练卷积神经网络：搭建基于编码解码的U型卷积神经网络，利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像，以获得轴向的多张宽场图像及光学层析图像，所述光学层析显微镜成像的轴向间隔为xμm，所述宽场照明显微镜成像的轴向间隔为n×xμm(n≥2)，其中x、n均为正整数，将所述宽场图像和光学层析图像进行拆分，取p张轴向间隔为nxμm的宽场图像和(p-1)n+1张轴向间隔为xμm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐，其中p为正整数，然后用拆分后一一对应的图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；S2样本处理：对待成像样本进行光透明处理以获得光透明样本，并对其进行固定；S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述光透明样本的浅层进行成像以获得所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出同等数量的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；S4获取整个光透明样本的光学层析图像：判断是否获得整个光透明样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全部获得则结束。进一步的，所述步骤S1中U型卷积神经网络分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸。进一步的，所述样本的厚度大于1mm。进一步的，所述步骤S2具体为：将经过光透明处理后的样本包埋于琼脂糖中，然后固定在充满光透明试剂的水槽中。进一步的，所述进行成像的浅层的厚度为50-100um。进一步的，所述步骤S1中利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像的具体方法为：通过压电扫描器控制宽场照明显微镜和光学层析显微镜的物镜使得所述宽场照明显微镜和光学层析显微镜按相应的轴向间隔对样本成像。进一步的，所述步骤S1中的样本与所述S2-S4中的光透明样本相同或不同。附图说明图1为一种适用于光透明样本的快速三维成像方法的流程图。图2为使用本方法对脑片样本进行成像的输入图像和输出图像。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。附图中给出了本专利技术的较佳实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容的理解更加透彻全面。本实施例以鼠脑样本作为研究对象来解释本专利技术的具体实施过程，鼠脑样本的厚度为1.5mm，直接用光学显微镜进行三维探测时，成像深度受到光散射的影响而受限在10μm左右。为提高光学显微镜的成像深度，需对鼠脑样本进行光透明处理，经过光透明处理后的鼠脑样本包埋于琼脂糖中，并固定于水槽中。水槽中充满了光透明试剂。如图1所示，本专利技术提供的一种适用于光透明样本的快速三维成像方法具体包括：S1训练卷积神经网络：搭建基于编码解码的U型卷积神经网络，分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸。输入图像和输出图像的尺寸均为256x256像素。利用压电扫描器控制宽场照明显微镜和结构光显微镜的物镜，以使所述宽场照明显微镜和结构光显微镜分别对经光透明处理的鼠脑样本的浅层进行轴向扫描三维成像，以获得轴向的多张宽场图像及多张光学层析图像，所述浅层的厚度为80μm，所述结构光显微镜是一种具有光学层析能力的显微镜，轴向间隔为x＝2μm，所述宽场照明显微镜拍摄的轴向间隔为n×x＝8μm，此处n＝8/2＝4。将所述多张宽场图像及多张光学层析图像配准到同一水平面上，像素一一对齐，按照256x256像素的尺寸进行拆分。本实施例中设置p＝3，则(p-1)n+1＝9，将拆分后的图像按顺序取3张轴向间隔为8μm的宽场图像和9张轴向间隔为2μm的光学层析图像组成训练图像对。设置卷积神经网络的损失函数为平均绝对值误差函数，将所述训练图像对输入至卷积神经网络中进行训练，当网络输出的误差不再下降时，终止训练，获得训练完成的卷积神经网络。S2样本处理：对待成像样本进行光透明处理以获得光透明样本，并对其进行固定，本实施例直接对上述已进行光透明处理的鼠脑组织进行成像，故此处不再重复处理样本。若此处要成像的样本与上一步骤中成像的样本不同时，需要对新的样本进行光透明处理。S3获取浅层的光学层析图像：采用所述步骤S1中的压电扫描器控制所述步骤1中的宽场照明显微镜的物镜，对所述鼠脑样本的浅层以8μm的步进进行轴向成像，本实施例中获取到的当前视场的宽场图像大小为1024x1024像素，取3张所述宽场图像按照256x256像素的大小进行拆分，每份可以获得(1024/256)×(1024/256)＝16张256x256像素的宽场图像。将这3份数量各为16张的宽场图像作为输入图像，输入至所述步骤S1中训练好的卷积神经网络中，输出9份数量各为16张的256x256像素的光学层析图像。如图2所示，其中a为输入的宽场图像，间隔nx＝8μm，b为输出的光学层析图像，间隔x＝2μm。将输出图像按顺序拼接，得到9张间隔为2μm、大小为1024x1024像素的当前视场的光学层析图像。对于80μm的浅层，需要依次重复80/16＝5次获取光学层析图像的过程，才能获得清晰完整的三维图像。当前视场的成像结束后，将鼠脑样本移动到下一视场，重复上述步骤依次进行成像，直至整个浅层所有视场的三维图像获取完成。S本文档来自技高网...

【技术保护点】
1.一种适用于光透明样本的快速三维成像方法，其特征在于，包括如下步骤：S1训练卷积神经网络：搭建基于编码解码的U型卷积神经网络，利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像，以获得轴向的多张宽场图像及光学层析图像，所述光学层析显微镜成像的轴向间隔为xμm，所述宽场照明显微镜成像的轴向间隔为n×xμm(n≥2)，其中x、n均为正整数，将所述宽场图像和光学层析图像进行拆分，取p张轴向间隔为nxμm的宽场图像和(p‑1)n+1张轴向间隔为xμm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐，其中p为正整数，然后用拆分后一一对应的图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；S2样本处理：对待成像样本进行光透明处理以获得光透明样本，并对其进行固定；S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述光透明样本的浅层进行成像以获得所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出同等数量的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；S4获取整个光透明样本的光学层析图像：判断是否获得整个光透明样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全部获得则结束。...

【技术特征摘要】
1.一种适用于光透明样本的快速三维成像方法，其特征在于，包括如下步骤：S1训练卷积神经网络：搭建基于编码解码的U型卷积神经网络，利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像，以获得轴向的多张宽场图像及光学层析图像，所述光学层析显微镜成像的轴向间隔为xμm，所述宽场照明显微镜成像的轴向间隔为n×xμm(n≥2)，其中x、n均为正整数，将所述宽场图像和光学层析图像进行拆分，取p张轴向间隔为nxμm的宽场图像和(p-1)n+1张轴向间隔为xμm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐，其中p为正整数，然后用拆分后一一对应的图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；S2样本处理：对待成像样本进行光透明处理以获得光透明样本，并对其进行固定；S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述光透明样本的浅层进行成像以获得所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出同等数量的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；S4获取整个光透明样本的光学层析图像：判断是否获得整个光透明样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全...

【专利技术属性】
技术研发人员：龚辉，袁菁，宁可夫，张小宇，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42