自监督三维显微图像去噪方法和系统技术方案

本申请公开了自监督三维显微图像去噪方法和系统，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪方法包括：提供自监督三维显微图像去噪系统，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型；利用所述荧光显微成像系统的探测物镜采集体现生物样本、特别是活体生物样本的三维显微图像体栈；使用所采集的荧光图像体栈对所述去噪神经网络模型进行自监督训练；在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。处理。处理。

【技术实现步骤摘要】
自监督三维显微图像去噪方法和系统


[0001]本申请大体上涉及荧光显微图像去噪方法和系统、特别是基于自监督学习的三维显微图像去噪方法和系统。

技术介绍

[0002]荧光显微成像是研究细胞生物学、发育生物学、神经科学等生命科学领域的重要工具。针对当前的荧光显微成像技术来讲，成像的速度、时程和信噪比之间相互制约，其主要原因在于：要想提高成像速度，就需要缩短光学成像系统的相机的曝光时间，这会导致在有限的曝光时间内捕捉到的有效荧光信号更少，进而造成所获取的荧光图像的信噪比降低；要想提高成像时程，就需要降低光学成像系统的荧光激发装置的激发功率，这会减少生物样本被激发出来的荧光光子数，也降低所获取的荧光图像的信噪比。
[0003]虽然已有研究发现，基于有监督学习的深度神经网络可以将低信噪比显微成像数据恢复为对应的高信噪比数据，从而提升荧光显微成像的成像速度和时程，但此类有监督学习的深度神经网络在使用之前都必须采集足够多的有监督荧光图像训练集(即针对一生物样本需要采集若干该生物样本的高、低信噪比荧光图像数据对)。然而，在大多数荧光显微成像实验中，针对同一生物样本、特别是针对自身不断高速运动的活体生物样本采集高、低信噪比荧光图像数据对是一项耗时、耗力、甚至是无法完成的任务，这是因为如果活体生物样本本身运动速度很快的话，研究人员很难采集到生物结构形态完全一致的高、低信噪比荧光图像对，以供有监督学习的深度神经网络用。也就是说，现有的有监督学习去噪神经网络方法在大多数高速动态的活体生物结构的荧光显微成像观测中并不适用。
专利
技术实现思路

[0004]为解决上述问题，本申请旨在提出基于自监督学习的三维显微图像去噪方案，以使得无需像有监督学习去噪神经网络那样必须额外针对待去噪生物样本采集若干高、低信噪比荧光图像数据对，而仅需使用待去噪图像自身就可以实现去噪神经网络的训练和去噪处理，因此可以在几乎没有额外成本的条件下实现对现有的荧光显微成像系统进行改进，以提升三维显微图像数据的信噪比，从而延长活体生物样本的荧光显微成像的成像速度和时程。
[0005]根据本申请的一个方面，提供了一种自监督三维显微图像去噪方法，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪方法包括：
[0006]提供自监督三维显微图像去噪系统，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型；
[0007]利用所述荧光显微成像系统的探测物镜采集体现生物样本、特别是活体生物样本的三维显微图像体栈；
[0008]使用所采集的荧光图像体栈对所述去噪神经网络模型进行自监督训练；
[0009]在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。
[0010]可选地，所述荧光图像体栈由多个荧光图像层组成，相邻的荧光图像层之间沿着探测物镜的光轴方向的采样间距至少小于探测物镜的轴向分辨率的一半，即满足奈奎斯特采样定律。
[0011]可选地，所述自监督训练包括：
[0012]对所述荧光图像体栈进行数据扩增以获得n个尺寸为N
x
×
N
y
×
N
z
的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数
×
y轴方向的像素数
×
z轴方向的图像层数，并且N
z
为偶数；
[0013]从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
[0014]在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一奇数层图像子体栈作为网络输入，以所述第一偶数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
[0015]可选地，所述自监督训练包括：
[0016]对所述荧光图像体栈进行数据扩增以获得n个尺寸为N
x
×
N
y
×
N
z
的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数
×
y轴方向的像素数
×
z轴方向的图像层数，并且N
z
为偶数；
[0017]从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；
[0018]在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一偶数层图像子体栈作为网络输入，以所述第一奇数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。
[0019]可选地，在训练的每次迭代中，包括：
[0020]每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
[0021]将相应的第一奇数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一奇数层图像子体栈；
[0022]以所述去噪后的第一奇数层图像子体栈和所述第一偶数层图像子体栈计算所述训练损失函数的自监督训练保真项；
[0023]以所述去噪后的第一奇数层图像子体栈、所述第一偶数层图像子体栈、所述第二
奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；
[0024]根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。
[0025]可选地，在训练的每次迭代中，包括：
[0026]每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；
[0027]将相应的第一偶数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一偶数层图像子体栈；
[0028]以所述去噪后的第一偶数层图像子体栈和所述第一奇数层图像子体栈计算所述训练损失函数的自监督训练保真项；
[0029]以所述去噪后的第一偶数层图像子体栈、所述第一奇数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自监督三维显微图像去噪方法，其在荧光显微成像系统中使用，所述荧光显微成像系统包括探测物镜，所述自监督三维显微图像去噪方法包括：提供自监督三维显微图像去噪系统，所述自监督三维显微图像去噪系统包括计算机可读存储介质，其中存储有能够由计算机调用执行的去噪神经网络模型；利用所述荧光显微成像系统的探测物镜采集体现生物样本、特别是活体生物样本的三维显微图像体栈；使用所采集的荧光图像体栈对所述去噪神经网络模型进行自监督训练；在所述去噪神经网络模型已经训练完毕的情况下，利用去噪神经网络模型对所采集的同一荧光图像体栈进行图像去噪处理。2.根据权利要求1所述的自监督三维显微图像去噪方法，其特征在于，所述荧光图像体栈由多个荧光图像层组成，相邻的荧光图像层之间沿着探测物镜的光轴方向的采样间距至少小于探测物镜的轴向分辨率的一半，即满足奈奎斯特采样定律。3.根据权利要求2所述的自监督三维显微图像去噪方法，其特征在于，所述自监督训练包括：对所述荧光图像体栈进行数据扩增以获得n个尺寸为N
x
×
N
y
×
N
z
的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数
×
y轴方向的像素数
×
z轴方向的图像层数，并且N
z
为偶数；从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一奇数层图像子体栈作为网络输入，以所述第一偶数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。4.根据权利要求2所述的自监督三维显微图像去噪方法，其特征在于，所述自监督训练包括：对所述荧光图像体栈进行数据扩增以获得n个尺寸为N
x
×
N
y
×
N
z
的扩增图像体栈，其中n为大于1的整数，x、y、z分别代表空间直角坐标系的三个轴x、y、z并且z轴与探测物镜的光轴重合或平行，尺寸的定义为x轴方向的像素数
×
y轴方向的像素数
×
z轴方向的图像层数，并且N
z
为偶数；从所述n个扩增图像体栈中抽取m个扩增图像体栈，其中所述m为小于或等于n的整数；在去噪神经网络模型的训练的每次迭代中，从所述m个扩增图像体栈中的每个扩增图像体栈中沿着z轴方向提取序号为奇数的图像层组成第一奇数层图像子体栈以及提取序号为偶数的图像层组成第一偶数层图像子体栈，以所述第一偶数层图像子体栈作为网络输入，以所述第一奇数层图像子体栈作为监督，基于预定的训练损失函数对所述去噪神经网络模型进行训练。5.根据权利要求3所述的自监督三维显微图像去噪方法，其特征在于，在训练的每次迭代中，包括：每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去
噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；将相应的第一奇数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一奇数层图像子体栈；以所述去噪后的第一奇数层图像子体栈和所述第一偶数层图像子体栈计算所述训练损失函数的自监督训练保真项；以所述去噪后的第一奇数层图像子体栈、所述第一偶数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。6.根据权利要求4所述的自监督三维显微图像去噪方法，其特征在于，在训练的每次迭代中，包括：每个扩增图像体栈以无需计算梯度的方式被输入到所述去噪神经网络模型中，得到去噪后的完整图像体栈，并且将所述去噪后的完整图像体栈沿着z轴方向提取序号为奇数的图像层组成第二奇数层图像子体栈以及提取序号为偶数的图像层组成第二偶数层图像子体栈；将相应的第一偶数层图像子体栈输入到所述去噪神经网络模型中，得到去噪后的第一偶数层图像子体栈；以所述去噪后的第一偶数层图像子体栈和所述第一奇数层图像子体栈计算所述训练损失函数的自监督训练保真项；以所述去噪后的第一偶数层图像子体栈、所述第一奇数层图像子体栈、所述第二奇数层图像子体栈、和所述第二偶数层图像子体栈计算所述训练损失函数的偏差矫正正则项；根据所述训练损失函数进行反向传播和网络权重更新，以完成依次训练迭代。7.根据权利要求1至6任一所述的自监督三维显微图像去噪方法，其特征在于，所述去噪神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型、或傅立叶通道注意力卷积神经网络模型。8.根据权利要求7所述的自监督三维显微图像去噪方法，其特征在于，所述训练损失函数表示为：其中，为自监督训练保真项，y表述数据扩增后的相应的图像体栈，分别表示奇数层图像子体栈和偶数层图像子体栈，表述神经网络运算，为偏差矫正正则项，其中，μ为偏差矫正正则项的权重。9.一种自...

【专利技术属性】
技术研发人员：李栋，乔畅，
申请(专利权)人：中国科学院生物物理研究所，
类型：发明
国别省市：