荧光图像处理模型训练方法及荧光图像处理方法技术

本发明专利技术提供了荧光图像处理模型训练方法及荧光图像处理方法，包括：搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块；获取样本的三维荧光图像，制作训练数据集；设置训练参数，以最小化损失函数为目标训练无监督神经网络模型，获得荧光图像处理模型。本发明专利技术公开的基于无监督深度学习的荧光图像轴向分辨率提升方法无需金标准训练数据，也不需要对成像过程进行复杂的物理建模，极大的提升了模型性能和适用性，可以有效的恢复各类荧光成像的三维数据。有效的恢复各类荧光成像的三维数据。有效的恢复各类荧光成像的三维数据。

【技术实现步骤摘要】
荧光图像处理模型训练方法及荧光图像处理方法


[0001]本专利技术涉及图像处理的
，尤其是涉及荧光图像处理模型训练方法及荧光图像处理方法。

技术介绍

[0002]绝大部分的光学显微镜具有各向异性的三维分辨率，其轴向分辨率一般是比横向分辨率差2
‑
3倍。各向异性的光学分辨率会导致物体三维重建时在轴向上出现模糊的伪影，影响其三维结构的精准分析和测量。为了提升三维成像的轴向分辨率，早期的很多方法是从硬件上进行改良，如多视角光片显微镜，共聚焦4Pi显微镜等，但这些方法依赖精心校准的光路以及复杂昂贵的器件，导致其适用性不高。
[0003]随着计算机视觉以及深度学习的发展，有一些方法尝试使用神经网络来实现轴向分辨率的提升。由于三维图像的横向数据和轴向数据是天然不对应的，这给监督型网络的训练带来了困难。因此他们采用合成数据的方法，通过对成像过程进行物理建模，将横向数据降质到和轴向数据相接近，然后利用合成的配对数据训练神经网络，最后将该网络应用于真实的轴向数据上。这种方法的缺陷在于模型的性能十分依赖于建模的性能，并且建模过程也只是对真实场景的一种模拟，其不可避免的会和真实的情况产生偏差，因此会导致训练出来的模型在真实场景中的应用性能受限。

技术实现思路

[0004]本专利技术为了克服上述技术不足，提出了荧光图像处理模型训练方法及荧光图像处理方法，该方法无需金标准训练数据，也不需要对成像过程进行复杂的物理建模，极大的提升了模型性能和适用性，可以有效的恢复各类荧光成像的三维数据。
[0005]为实现上述目的，本专利技术公开了一种荧光图像处理模型训练方法，具体包括如下步骤：
[0006]搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块，所述图像转换模块用于非配对地学习图像的真实降质过程，所述图像恢复模块用于学习图像的分辨率提升过程；
[0007]获取样本的三维荧光图像，制作非配对的训练数据集；
[0008]设置训练参数，以最小化损失函数为目标训练无监督神经网络模型，获得荧光图像处理模型。
[0009]上述技术方案中，由于三维荧光图像的横向数据和轴向数据是天然不对应的，采用无监督网络模型对非配对的训练数据集进行训练，其中，图像转换模块可以非配对地学习横向数据到轴向数据的真实降质过程，然后利用图像恢复模块学习图像的分辨率提升过程，因此，该无监督神经网络模型可以直接学习到真实数据的分布特征，而无需对成像过程进行建模估计，避免了因建模误差而导致的模型性能下降问题，获得的荧光图像处理模型可以适用于无法形成配对训练集的荧光图像的处理。
[0010]本专利技术还公开了一种荧光图像处理方法，包括：
[0011]获取待处理的三维荧光图像；
[0012]将所述待处理的三维荧光图像进行切片，然后利用前述的荧光图像处理模型进行处理，获得轴向分辨率提升的三维荧光图像。
[0013]本方法基于前述的荧光图像处理模型实现，可以从算法层面上实现了荧光图像三维数据的轴向分辨率提升，克服了硬件条件的制约，其性能和适用性都要优于已有的神经网络方法。
附图说明
[0014]图1是一种荧光图像处理模型训练方法的流程图。
[0015]图2是无监督神经网络模型的训练流程图。
[0016]图3是一种荧光图像处理方法的流程图
[0017]图4是应用本申请处理方法提升三维荧光图像轴向分辨率的效果对比图。
具体实施方式
[0018]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0019]本专利技术的基于无监督深度学习的荧光图像轴向分辨率提升方法无需配对的训练数据，也不需要对成像过程进行复杂的物理建模，极大的提升了模型性能和适用性，可以有效的恢复各类荧光成像的三维数据。
[0020]如图1所示，本专利技术提出一种荧光图像处理模型训练方法，包括以下步骤：
[0021]S101，搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块，所述图像转换模块用于非配对地学习图像的真实降质过程，所述图像恢复模块用于学习图像的分辨率提升过程；
[0022]S102，获取样本的三维荧光图像，制作非配对的训练数据集；
[0023]S103，设置训练参数，使用非配对的训练数据集，以最小化损失函数为目标训练无监督神经网络模型，获得荧光图像处理模型。
[0024]具体地，S101中图像转换模块为基于生成对抗网络的图像转换模块，包含两个结构相同的生成网络G
A
、G
B
和两个结构相同的判别网络D
A
、D
B
。生成网络G
A
、G
B
的结构可以是带有残差连接的残差神经网络或含有降采样路径和升采样路径的U型网络；判别网络D
A
、D
B
均为由多个卷积层串联组成的卷积神经网络。
[0025]S101中图像恢复模块为基于卷积神经网络的图像恢复模块H，其结构可以是带有残差连接的残差神经网络或是含有降采样路径和升采样路径的U型网络。
[0026]具体地，S102制作训练数据集具体包括：
[0027]将获取的三维荧光图像分别沿横向和轴向进行切片，获得其横向切面和轴向切面，横向切面即横向高分辨数据X；
[0028]将横向高分辨数据X沿着图像的列方向先降采样，再升采样，获得横向低分辨数据Y，将所述轴向切面沿着图像的列方向进行升采样，获得轴向低分辨数据Z；
[0029]将横向高分辨数据X、横向低分辨数据Y和轴向低分辨数据Z进行拆分，形成一系列尺寸相同的非配对图像块。
[0030]其中横向高分辨数据X和横向低分辨数据Y中的图像块像素一一对应，横向高分辨数据X和轴向低分辨数据Z中的图像块像素不对应，横向低分辨数据Y和轴向低分辨数据Z中的图像块像素不对应。
[0031]S102获取的三维荧光图像利用荧光显微镜获得。由于这类显微光学成像下，物镜的收光孔径角无法达到90度，这是天然存在的物理限制，因此，这一限制会导致物镜轴向接收的空间频率要远小于横向的空间频率，因此轴向的图像分辨率要比横向差。在三维采集过程中，同一物体轴向上的图像内容和横向上的图像内容是完全不对应的，这意味着S102中制作的训练数据集虽然能同时获得高低分辨率的图像，但它们是非配对的，因此无法应用常规的监督型神经网络进行训练，而需采用本申请的方法对无监督神经网络模型进行训练。
[0032]具体地，横向切面和轴向切面直接从采集的三维荧光图像中获得。而由于横向和轴向的采样率一般不相等，因此需要对所有的轴向切面沿着列方向插值升采样，使其像素分辨率和横向高分辨数据X一致，从而获得轴向低分辨数据Z，而横向低分辨数据Y则由横向高分辨数据X按一定的倍率沿着图像的列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种荧光图像处理模型训练方法，其特征在于，包括如下步骤：搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块，所述图像转换模块用于非配对地学习图像的真实降质过程，所述图像恢复模块用于学习图像的分辨率提升过程；获取样本的三维荧光图像，制作非配对的训练数据集；设置训练参数，使用非配对的训练数据集，以最小化损失函数为目标训练所述无监督神经网络模型，获得荧光图像处理模型。2.根据权利要求1所述的训练方法，其特征在于，所述图像转换模块为基于生成对抗网络的图像转换模块，包含两个结构相同的生成网络G
A
、G
B
和两个结构相同的判别网络D
A
、D
B
；生成网络的结构是带有残差连接的残差神经网络或含有降采样路径和升采样路径的U型网络；判别网络的结构是由多个卷积层串联组成的卷积神经网络。3.根据权利要求2所述的训练方法，其特征在于，所述图像恢复模块为基于卷积神经网络的图像恢复模块H，结构是带有残差连接的残差神经网络或含有降采样路径和升采样路径的U型网络。4.根据权利要求1所述的训练方法，其特征在于，制作所述非配对的训练数据集具体包括：将获取的三维荧光图像分别沿横向和轴向进行切片，获得其横向切面和轴向切面，所述横向切面即横向高分辨数据X；将所述横向高分辨数据X沿着图像的列方向先降采样，再升采样，获得横向低分辨数据Y，将所述轴向切面沿着图像的列方向进行升采样，获得轴向低分辨数据Z；将所述横向高分辨数据X、所述横向低分辨数据Y和所述轴向低分辨数据Z进行拆分，形成一系列尺寸相同的非配对图像块。5.根据权利要求4所述的训练方法，其特征在于，所述横向高分辨数据X和所述横向低分辨数据Y中的图像块像素一一对应，所述横向高分辨数据X和所述轴向低分辨数据Z中的图像块像素不对应，所述横向低分辨数据Y和所述轴向低分辨数据Z中的图像块像素不对应。6...

【专利技术属性】
技术研发人员：袁菁，龚辉，宁可夫，卢渤霖，张小宇，
申请(专利权)人：华中科技大学苏州脑空间信息研究院，
类型：发明
国别省市：