一种基于卷积神经网络的共聚焦显微镜图像生成方法技术

本发明专利技术提出了一种基于卷积神经网络的共聚焦显微镜图像生成方法，包括：针对训练用生物样本，在宽场成像模式下采集焦平面处的宽场图像，在共聚焦成像模式下采集所述焦平面处的共聚焦图像；基于采集到的多个焦平面处的所述宽场图像及对应的共聚焦图像，对图像生成模型进行双方向训练，得到最终的图像生成模型参数权重；针对实际生物样本，将在宽场成像模式下采集到的所述多个焦平面处的宽场图像输入所述最终的图像生成模型进行预测，得到中心焦平面处的共聚焦图像。在充分考虑宽场与共聚焦显微镜的成像机理基础上，使用低分辨率宽场图像为输入，通过计算的方式直接预测对应的高分辨率共聚焦图像，在得到高分辨率图像的同时，有效地降低了成像成本。效地降低了成像成本。效地降低了成像成本。

【技术实现步骤摘要】
一种基于卷积神经网络的共聚焦显微镜图像生成方法


[0001]本专利技术涉及显微镜成像
，尤其涉及一种基于卷积神经网络的共聚焦显微镜图像生成方法及装置。

技术介绍

[0002]荧光显微镜是一种在生物医学领域广泛使用的成像设备，该设备可以对荧光标记的生物样本实现高通量高内涵成像，其中，常用的两种荧光显微镜模态为宽场与共聚焦。由于光路限制，宽场显微镜成像时存在一定的景深，位于显微镜焦平面附近一定厚度的样本会对焦平面上的成像产生影响，从而使得到的图像产生一定模糊效应，影响图像质量与观察的精度。而共聚焦显微镜成像是通过扫描聚焦平面上的点，相对而言，可以得到远远超过宽场显微镜的分辨率与图像质量。然而，共聚焦显微镜的设备成本往往是宽场显微镜的9
‑
10倍。

技术实现思路

[0003]本专利技术要解决的技术问题是，提供一种基于卷积神经网络的共聚焦显微镜图像生成方法，根据采集到的宽场图像准确预测共聚焦显微镜图像。
[0004]本专利技术采用的技术方案是，所述基于卷积神经网络的共聚焦显微镜图像生成方法，包括：数据采集步骤：针对训练用生物样本，在宽场成像模式下采集焦平面处的宽场图像，在共聚焦成像模式下采集所述焦平面处的共聚焦图像；模型训练步骤：基于采集到的多个焦平面处的所述宽场图像及对应的共聚焦图像，对图像生成模型进行双方向训练，得到最终的图像生成模型；所述多个焦平面的数量为奇数，所述中心焦平面位于多个不同焦平面的正中间；模型部署步骤：针对实际生物样本，将在宽场成像模式下采集到的所述多个焦平面处的宽场图像输入所述最终的图像生成模型进行预测，得到中心焦平面处的共聚焦图像。
[0005]可选的，所述采集步骤，包括：将所述训练用生物样本置于一焦平面，在宽场成像模式下采集在该焦平面处的宽场图像，将宽场成像模式切换成共聚焦成像模式，采集在该焦平面处的共聚焦图像；移动焦平面，每一移动一次焦平面的位置，均按照上一段的方式依次采集一幅宽场图像及对应的一幅共聚焦图像，直至采集到多个不同焦平面下的多幅宽场图像及对应的多幅共聚焦图像。
[0006]可选的，设多个不同焦平面的数量为，显微镜的景深为，与焦平面垂直的坐标轴方向的扫描分辨率为，取，其中，表示整除。
[0007]可选的，所述训练步骤，包括：通过将多幅宽场图像输入到图像生成模型得到中心焦平面处的共聚焦图像、以及将多幅共聚焦图像输入到所述图像生成模型得到中心焦平面处的宽场图像的对称生成机制，对所述图像生成模型进行训练。
[0008]可选的，区分输入到图像生成模型中的图像是宽场图像还是共聚焦图像的方式包括：采用条件生成网络技术，在输入的图像中拼接条件通道，该条件通道是与输入图像大小相同的一个固定值的矩阵，宽场图像与共聚焦图像分别使用不同固定值的矩阵，即可区分这两种类型的图像。
[0009]可选的，所述训练步骤，还至少包括以下之一：利用所述图像生成模型输出的图像与相应的真实图像在特征空间的差值计算感知损失，并反馈给所述图像生成模型，以驱动所述图像生成模型生成更加逼真的图像；通过判别器对所述图像生成模型输出的图像与相应的真实图像进行的判决得到真假判决值，利用所述真假判决值计算对抗损失，并反馈给所述图像生成模型，以驱动所述图像生成模型学习真实的宽场图像与真实的共聚焦图像的数据分布，以生成近似真实的图像；利用所述图像生成模型输出的图像与相应的真实图像在像素空间的差值计算均方误差损失，并反馈给所述图像生成模型，以驱动所述图像生成模型生成的图像与其对应的真实图像在对应位置上的像素值尽量接近。
[0010]可选的，所述判别器采用AlexNet模型实现。
[0011]可选的，所述图像生成模型采用带有跳跃连接的UNet模型实现。
[0012]可选的，所述图像生成模型的训练采用反向传播算法实现。
[0013]本专利技术还提供一种计算机存储介质，该介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于卷积神经网络的共聚焦显微镜图像生成方法的步骤。
[0014]采用上述技术方案，本专利技术至少具有下列优点：本专利技术所述基于卷积神经网络的共聚焦显微镜图像生成方法，充分考虑宽场与共聚焦显微镜的成像机理，尤其是宽场图像产生模糊的内在机制的情况下，通过设计基于卷积神经网络的图像生成模型，提高了该图像生成模型的成像精度和鲁棒性。使用宽场图像为输入，通过该图像生成模型预测对应的高分辨率共聚焦图像，从而在得到高分辨率图像的同时，有效地降低了成像成本。
附图说明
[0015]图1 为本专利技术第一实施例的基于卷积神经网络的共聚焦显微镜图像生成方法流程图；图2 为本专利技术第一实施例的基于卷积神经网络的共聚焦显微镜图像生成方法的具体流程图；图3 为本专利技术第一实施例双向训练过程中的对称生成机制原理示意图。
具体实施方式
[0016]为更进一步阐述本专利技术为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本专利技术进行详细说明如后。
[0017]本专利技术第一实施例，一种基于卷积神经网络的共聚焦显微镜图像生成方法，如图1所示，包括以下具体步骤：步骤S101，针对训练用生物样本，在宽场成像模式下采集焦平面处的宽场图像，在共聚焦成像模式下采集所述焦平面处的共聚焦图像；可选的，所述步骤S101，包括：将所述训练用生物样本置于一焦平面，在宽场成像模式下采集在该焦平面处的宽场图像，将宽场成像模式切换成共聚焦成像模式，采集在该焦平面处的共聚焦图像；移动焦平面，每一移动一次焦平面的位置，均按照上一段的方式依次采集一幅宽场图像及对应的一幅共聚焦图像，直至采集到多个不同焦平面下的多幅宽场图像及对应的多幅共聚焦图像。
[0018]步骤S102，基于采集到的多个焦平面处的所述宽场图像及对应的共聚焦图像，对图像生成模型进行双方向训练，得到最终的图像生成模型；所述多个焦平面的数量为奇数，所述中心焦平面位于多个不同焦平面的正中间。
[0019]可选的，设多个不同焦平面的数量为，取决于显微镜的光路参数，显微镜的景深为，与焦平面垂直的坐标轴方向的扫描分辨率为，取，其中，表示整除。
[0020]具体的，所述步骤S102，包括：通过将多幅宽场图像输入到图像生成模型得到中心焦平面处的共聚焦图像、以及将多幅共聚焦图像输入到所述图像生成模型得到中心焦平面处的宽场图像的对称生成机制，对所述图像生成模型进行训练。所述图像生成模型可以采用带有跳跃连接的UNet模型实现。
[0021]可选的，区分输入到图像生成模型中的图像是宽场图像还是共聚焦图像的方式包括：采用条件生成网络技术，在输入的图像中拼接条件通道，该条件通道是与输入图像大小相同的一个固定值的矩阵，宽场图像与共聚焦图像分别使用不同固定值的矩阵，即可区分这两种类型的图像；若设多个不同焦平面的数量为，则所述图像生成模型的输入为维度，对应输入的幅图像与1个条件通道。
[0022]进一步的，所述步骤S102中，所述图像生成模型的训练采用反向传播算法实现。该训练过程，还至少包括以下之一：利用所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的共聚焦显微镜图像生成方法，其特征在于，包括：数据采集步骤：针对训练用生物样本，在宽场成像模式下采集焦平面处的宽场图像，在共聚焦成像模式下采集所述焦平面处的共聚焦图像；模型训练步骤：基于采集到的多个焦平面处的所述宽场图像及对应的共聚焦图像，对图像生成模型进行双方向训练，得到最终的图像生成模型；所述多个焦平面的数量为奇数，所述中心焦平面位于多个不同焦平面的正中间；模型部署步骤：针对实际生物样本，将在宽场成像模式下采集到的所述多个焦平面处的宽场图像输入所述最终的图像生成模型进行预测，得到中心焦平面处的共聚焦图像。2.根据权利要求1所述的基于卷积神经网络的共聚焦显微镜图像生成方法，其特征在于，所述采集步骤，包括：将所述训练用生物样本置于一焦平面，在宽场成像模式下采集在该焦平面处的宽场图像，将宽场成像模式切换成共聚焦成像模式，采集在该焦平面处的共聚焦图像；移动焦平面，每一移动一次焦平面的位置，均按照上一段的方式依次采集一幅宽场图像及对应的一幅共聚焦图像，直至采集到多个不同焦平面下的多幅宽场图像及对应的多幅共聚焦图像。3.根据权利要求1所述的基于卷积神经网络的共聚焦显微镜图像生成方法，其特征在于，设多个不同焦平面的数量为，显微镜的景深为，与焦平面垂直的坐标轴方向的扫描分辨率为，取，其中，表示整除。4.根据权利要求1所述的基于卷积神经网络的共聚焦显微镜图像生成方法，其特征在于，所述训练步骤，包括：通过将多幅宽场图像输入到图像生成模型得到中心焦平面处的共聚焦图像、以及将多幅共聚焦图像输入到所述图像生成模型得到中心焦平面处的宽场图像的对称生成机制，对所述图像生成模型进行训练。5.根据权利要求4所述的基于卷积神经网络的低成本高分辨率共聚焦显微镜图像生成方法，其特征...

【专利技术属性】
技术研发人员：周东，张朝栋，王育雄，刘琳琳，
申请(专利权)人：北京中科与点科技中心有限合伙，
类型：发明
国别省市：