本发明专利技术提供了一种基于卷积神经网络的生物组织三维成像方法，通过使用普通的宽场显微镜配合物理切削，获取生物组织的浅层宽场图像，然后利用卷积神经网络将宽场图像转化为清晰的光学层析图像，通过逐层获取生物组织浅层的光学层析图像，最终获得清晰的生物组织三维成像。这种方法不涉及精密的硬件设备和复杂的光路，更加实用和稳定。同时由于宽场拍摄模式具有高通量的特性，因此成像速度更快。
Three-dimensional imaging of biological tissue based on convolution neural network
【技术实现步骤摘要】
基于卷积神经网络的生物组织三维成像方法
本专利技术涉及三维显微成像方法，尤其是涉及一种基于卷积神经网络的生物组织三维成像方法。
技术介绍
获取生物组织的三维精细结构对于理解生物体的解剖结构和生理功能有着重要意义。对于几个厘米大小甚至更大尺寸的生物样本，目前主流的成像方式是利用具有光学层析能力的显微镜并配合物理切削(HuiGong,etal.NatureCommunications,2016,7:12142)。然而具有光学层析能力的显微镜大都需要精心设计的光路和昂贵的硬件设备来实现，不仅调试困难并且耗费大量人力物力。因此设计一种实用并且可靠的生物样本三维成像方法很有必要。
技术实现思路
本专利技术为了克服上述技术不足，提出了一种基于卷积神经网络的生物组织三维成像方法，通过使用普通的宽场照明显微镜配合物理切削，获取生物组织浅层的宽场图像，然后利用卷积神经网络将宽场图像转化为清晰的光学层析图像，通过逐层获取生物组织浅层的光学层析图像，最终获得清晰的生物组织三维成像。这种方法不涉及精密的硬件设备和复杂的光路，更加实用和稳定。同时由于宽场拍摄模式具有高通量的特性，因此成像速度更快。本专利技术提供的一种基于卷积神经网络的生物组织三维成像方法，具体包括如下步骤：S1训练卷积神经网络：搭建端到端的卷积神经网络，利用宽场照明显微镜和具有光学层析能力的显微镜对同一样本进行成像，对该样本获得像素一一对齐的宽场图像和光学层析图像，将所述宽场图像和光学层析图像进行拆分，以形成多个宽场图像与光学层析图像的像素一一对应的图像对，然后用拆分后一一对应的图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；S2样本处理：将待进行成像的生物组织经过包埋处理后形成生物样本进行固定；S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述生物样本的浅层进行成像以获得所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出同等数量的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；S4获取整个生物样本的光学层析图像：判断是否获得整个生物样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全部获得则结束。进一步的，所述浅层的厚度为1-10um；进一步的，所述步骤S1中的卷积神经网络的结构为U型网络：网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸。进一步的，所述步骤S1中的卷积神经网络的结构为全卷积网络：网络由10层不补零的卷积层直接堆叠而成，卷积核为3x3。进一步的，所述步骤S1中的卷积神经网络的结构为残差网络：网络由8个残差块组成，残差块中包含2个补零的卷积层，卷积核为3x3，残差块的输入和输出之间有残差连接。进一步的，对所述生物样本的浅层进行成像采用的是马赛克拼接成像方式。进一步的，所述马赛克拼接成像方式具体为：当一个视场成像完成后，顺序移动到相邻视场完成下一个视场的成像，直至完成整个浅层的成像，相邻的两个视场之间留有冗余。进一步的，所述步骤S1中的样本与所述步骤S2-S4中的样本为相同或不同的样本。附图说明图1是一种基于卷积神经网络的生物组织三维成像方法的流程图。图2是生物样本浅层的宽场成像模式图。图3为使用本专利技术方法获取的鼠脑样本最大冠状面的成像结果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例1本实施例以树脂包埋的转基因标记Thy1-GFPM-line小鼠鼠脑样本作为研究对象来对本专利技术提供的一种基于卷积神经网络的生物组织三维成像方法进行验证，如图1所示，具体包括：S1训练卷积神经网络：首先搭建端到端的U型卷积神经网络，分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸。所述U型卷积神经网络的输入图像尺寸为256x256像素，输出图像尺寸为256x256像素。采用宽场照明显微镜对转基因标记Thy1-GFPM-line小鼠鼠脑样本的浅层进行宽场成像，成像方式为马赛克式，浅层厚度为2um。如图2所示，当一个视场的宽场成像结束后，顺序移动至相邻视场进行下一个视场的宽场成像，以获得该样本浅层的全部宽场图像。为了保证数据的完整性，两个视场之间留有一定的冗余。采用结构光显微镜对上述宽场照明显微镜成像的浅层进行光学层析成像，以获得上述浅层的全部光学层析图像。所述结构光显微镜是一种具有光学层析能力的显微镜，也可采用共聚焦显微镜、双光子显微镜等具有光学层析能力的显微镜。将宽场照明显微镜和结构光显微镜拍摄到的图像配准到同一平面，像素一一对齐，将所述宽场图像和光学层析图像拆分为256x256像素，形成多个像素一一对应的宽场图像与光学层析图像的训练图像对，将所有训练图像对顺序打乱，整合成训练数据集。利用所述训练数据集对U型卷积神经网络进行训练，直至卷积神经网络收敛，获得训练完成的卷积神经网络。S2样本处理：将待进行成像的生物组织经过包埋处理后形成生物样本进行固定；本实施例直接对上述已进行树脂包埋的转基因标记Thy1-GFPM-line小鼠鼠脑样本进行成像，故此处不再重复处理样本。若此处要成像的样本与上一步骤中成像的样本不同时，需要对新的样本进行光透明处理。S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述鼠脑样本的浅层进行成像以获得所述浅层的宽场图像，所述宽场图像的大小为2048x2048像素，将其拆分为256x256像素，可获得64张图像，将这64张256x256像素的图像作为输入图像，输入至所述步骤S1中训练完成的卷积神经网络中，可获得64张256x256像素的输出图像，将输出图像按顺序拼接即获得所述浅层的2048x2048像素的光学层析图像，获取整个浅层的光学层析图像的过程耗时0.28s。S4获取整个生物样本的光学层析图像：判断是否获得整个鼠脑样本的光学层析图像，若不是，采用刀具切除已获取光学层析图像的浅层，切片厚度为2um，重复步骤S3，获取新浅层的光学层析图像；若已全部获得，则结束。所述刀具可为金刚石或碳化钨等合金刀具。将所有浅层的光学层析图像顺序拼接，获得整个鼠脑样本的三维成像。对上述基于卷积神经网络的生物三维成像方法进行验证，结果如图3所示。其中，展示的是鼠脑最大冠状面的浅层成像结果，上面一列为标记的神经元信息，下面一列为细胞构筑信息，其中WF表示宽场图像，SIM表示结构光显微镜拍摄的光学层析图像，CNN表示通过卷积神经网络输出的图像。可以看到样本浅层的宽场图像非常模糊，因为它携带了大量背景荧光的干扰信息，而利用卷积神经网络输出的光学层析本文档来自技高网...
【技术保护点】
1.一种基于卷积神经网络的生物组织三维成像方法，其特征在于，包括如下步骤：S1训练卷积神经网络：搭建端到端的卷积神经网络，利用宽场照明显微镜和具有光学层析能力的显微镜对同一样本进行成像，对该样本获得像素一一对齐的宽场图像和光学层析图像，将所述宽场图像和光学层析图像进行拆分，以形成多个宽场图像与光学层析图像的像素一一对应的图像对，然后用拆分后一一对应的图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；S2样本处理：将待进行成像的生物组织经过包埋处理后形成生物样本进行固定；S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述生物样本的浅层进行成像以获得所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出同等数量的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；S4获取整个生物样本的光学层析图像：判断是否获得整个生物样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全部获得则结束。
【技术特征摘要】
1.一种基于卷积神经网络的生物组织三维成像方法，其特征在于，包括如下步骤：S1训练卷积神经网络：搭建端到端的卷积神经网络，利用宽场照明显微镜和具有光学层析能力的显微镜对同一样本进行成像，对该样本获得像素一一对齐的宽场图像和光学层析图像，将所述宽场图像和光学层析图像进行拆分，以形成多个宽场图像与光学层析图像的像素一一对应的图像对，然后用拆分后一一对应的图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；S2样本处理：将待进行成像的生物组织经过包埋处理后形成生物样本进行固定；S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述生物样本的浅层进行成像以获得所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出同等数量的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；S4获取整个生物样本的光学层析图像：判断是否获得整个生物样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全部获得则结束。2.根据权利要求1所述的基于卷积神经网络的生物组织三维成像方法，其特征在于，所述浅层的厚度为1-10um。3.根据权利要求1所述的基于卷积神经网络的生物组织三维成像方法，其特征在于，所述步骤S1中的卷积神...
【专利技术属性】
技术研发人员：袁菁，骆清铭，张小宇，宁可夫，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。