一种光片荧光显微镜图像的条纹伪影消除方法及装置制造方法及图纸

本文涉及图像处理领域，尤其涉及一种光片荧光显微镜图像的条纹伪影消除方法及装置。包括，获取光片荧光显微镜对生物样本组织在同一处位置进行多个角度的扫描得到的多个有条纹图像，并根据多个有条纹图像构造无条纹图像；将多个有条纹图像和对应的无条纹图像作为训练数据集，根据多个训练数据集训练深度对抗网络；利用训练后的深度对抗网络消除目标生物样本组织的有条纹图像的条纹伪像。本文实施例通过训练深度对抗网络模型对光片荧光显微镜所获得的生物样本组织的有条纹图像进行条纹伪像的消除，提高了消除条纹伪像后得到的无条纹图像的清晰度，此外该方法适用于各种光片荧光显微镜系统，提高了消除条纹伪像的方法的适应性。性。性。

【技术实现步骤摘要】
一种光片荧光显微镜图像的条纹伪影消除方法及装置


[0001]本文涉及图像处理领域，尤其涉及一种光片荧光显微镜图像的条纹伪影消除方法及装置。

技术介绍

[0002]光片荧光显微镜(LSFM)是一种流行的发育生物学，神经科学和病理学研究成像方法，广泛应用于各种生物医学样品切片进行快速和高分辨率的成像。但在光学显微镜成像的过程中，由于激发光路或者样品中存在不均匀、高吸收或者散射物体，图像会生成条纹伪影。
[0003]目前处理光片荧光显微图像条纹伪影的方法，主要有光学方法，例如改造显微镜的物理设备，加装椭圆全息扩散器镜头，或者通过不同角度进行多次拍摄，将不同角度的图像进行组合，来消除图像条纹伪影。也有频域滤波方法，通过傅里叶变换等操作将图像转到频域，根据图像条纹的特性，在频域上找到对应的信息，并进行滤除，以此来消除图像的条纹伪影。
[0004]由于不同的显微镜之间差别很大，所以改造显微镜物理设备的方法不具有普适性，而且显微镜拍摄参数的改变，也可能使得这种方法失效。通过不同角度多次成像的方法，需要耗费大量的时间，而且每次都需要变动显微镜设备。通过频域滤波的方法缺点是不同图像之间的条纹位置大小不同，对应的频域信息也不同，所以滤波方法也不同，不适合大规模的图像数据。
[0005]现在亟需一种光片荧光显微镜图像的条纹伪影消除方法，从而解决现有的消除光片荧光显微镜图像条纹伪影的方法存在普适性低的问题。

技术实现思路

[0006]为解决现有技术中的问题，本文实施例提供了一种光片荧光显微镜图像的条纹伪影消除方法及装置，实现了消除带有条纹的图像的条纹伪像，可以运用于大部分光片荧光显微镜，不需要改变其物理设备，适用于大规模的图像数据。
[0007]为了解决上述技术问题，本文的具体技术方案如下：
[0008]一方面，本文实施例提供了一种光片荧光显微镜图像的条纹伪影消除方法，包括，
[0009]获取光片荧光显微镜对生物样本组织在同一处位置进行多个角度的扫描得到的多个有条纹图像，并根据多个所述有条纹图像构造所述生物样本组织在该位置的无条纹图像；
[0010]将多个有条纹图像和对应的无条纹图像作为训练数据集，根据所述生物样本组织的多个训练数据集训练深度对抗网络；
[0011]利用训练后的所述深度对抗网络消除目标生物样本组织的有条纹图像的条纹伪像，所述目标生物样本组织的有条纹图像是通过所述光片荧光显微镜对所述目标生物样本组织进行扫描得到的。
[0012]进一步地，所述深度对抗网络包括生成网络和判别网络，所述生成网络用于计算有条纹图像对应的无条纹图像，所述判别网络用于判别所述生成网络计算的无条纹图像是否为真。
[0013]进一步地，所述生成网络的左半部分为编码器，右半部分为解码器；
[0014]训练所述生成网络的步骤包括利用所述训练数据集训练所述编码器，再利用所述编码器的计算结果训练所述解码器，得到所述生成网络的训练结果。
[0015]进一步地，所述编码器包括编码器初始化模块和n个由卷积层和卷积注意力模块组成的下采样编码模块，n为大于1的正整数；
[0016]训练所述编码器的步骤为：利用编码器初始化模块对所述训练数据集进行初始化，利用初始化后的训练数据集对多个下采样编码模块进行训练，其中前一个下采样编码模块的输出是后一个下采样编码模块的输入，将初始化后的训练数据集作为第一个下采样编码模块的输入；
[0017]在编码器初始化模块的训练过程中，首先按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数Conv2d对该下采样编码模块的输入进行卷积计算，然后使用激活函数LeakyRelu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数LeakyRelu的计算结果作为编码器初始化模块的输出；
[0018]在第一个下采样编码模块至第n
‑
1个下采样编码模块的训练过程中，首先按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数Conv2d对该下采样编码模块的输入进行卷积计算，然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化，然后使用卷积注意力模块CBAM对归一化的结果进行特征选择和增强，最后使用激活函数LeakyRelu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数LeakyRelu的计算结果作为该下采样编码模块的输出；
[0019]在最后一个下采样编码模块的训练过程中，首先按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数Conv2d对该下采样编码模块的输入进行卷积计算，然后使用激活函数Relu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数Relu的计算结果作为所述编码器的计算结果。
[0020]进一步地，所述解码器包括解码器初始化模块和n个由上采样卷积核、跳层链接和卷积注意力模块构成的上采样解码模块，所述解码器包括的上采样解码模块的数量与所述编码器的下采样层的数量相同且逆序一一对应，n为大于1的正整数；
[0021]训练所述解码器的步骤为：利用解码器初始化模块对编码器的计算结果进行初始化，利用初始化后的编码器的计算结果对多个上采样解码模块进行训练，其中，前一个上采样解码模块的输出是后一个上采样解码模块的输入，将初始化后的编码器的计算结果作为第一个上采样解码模块的输入；
[0022]在解码器初始化模块的训练过程中，首先按照对应的卷积函数ConvTranspose2d对所述编码器的计算结果进行卷积计算，然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化，然后使用卷积注意力模块CBAM对归一化的结果进行特征选择和增强，最后使用激活函数Relu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数Relu的计算结果作为第一个上采样解码模块的输出；
[0023]在第一个上采样解码模块至第n
‑
1个上采样解码模块的训练过程中，首先使用跳
层链接对该上采样解码模块的输入和与该上采样解码模块对应的下采样编码模块的输出进行链接，得到链接结果，然后按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数ConvTranspose2d对所述链接结果进行卷积计算，然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化，然后使用卷积注意力模块CBAM对归一化的结果进行特征选择和增强，最后使用激活函数Relu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数Relu的计算结果作为该上采样解码模块的输出；
[0024]在最后一个上采样解码模块的训练过程中，首先使用跳层链接对该上采样解码模块的输入和与该上采样解码模块对应的下采样编码模块的输出进行链接，得到链接结果，然后按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数ConvTranspose2d对所述链接结果进行卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光片荧光显微镜图像的条纹伪影消除方法，其特征在于，包括：获取光片荧光显微镜对生物样本组织在同一处位置进行多个角度的扫描得到的多个有条纹图像，并根据多个所述有条纹图像构造所述生物样本组织在该位置的无条纹图像；将多个有条纹图像和对应的无条纹图像作为训练数据集，根据所述生物样本组织的多个训练数据集训练深度对抗网络；利用训练后的所述深度对抗网络消除目标生物样本组织的有条纹图像的条纹伪像，所述目标生物样本组织的有条纹图像是通过所述光片荧光显微镜对所述目标生物样本组织进行扫描得到的。2.根据权利要求1所述的方法，其特征在于，所述深度对抗网络包括生成网络和判别网络，所述生成网络用于计算有条纹图像对应的无条纹图像，所述判别网络用于判别所述生成网络计算的无条纹图像是否为真。3.根据权利要求2所述的方法，其特征在于，所述生成网络的左半部分为编码器，右半部分为解码器；训练所述生成网络的步骤包括利用所述训练数据集训练所述编码器，再利用所述编码器的计算结果训练所述解码器，得到所述生成网络的训练结果。4.根据权利要求3所述的方法，其特征在于，所述编码器包括编码器初始化模块和n个由卷积层和卷积注意力模块组成的下采样编码模块，n为大于1的正整数；训练所述编码器的步骤为：利用编码器初始化模块对所述训练数据集进行初始化，利用初始化后的训练数据集对多个下采样编码模块进行训练，其中前一个下采样编码模块的输出是后一个下采样编码模块的输入，将初始化后的训练数据集作为第一个下采样编码模块的输入；在编码器初始化模块的训练过程中，首先按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数Conv2d对该下采样编码模块的输入进行卷积计算，然后使用激活函数LeakyRelu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数LeakyRelu的计算结果作为编码器初始化模块的输出；在第一个下采样编码模块至第n
‑
1个下采样编码模块的训练过程中，首先按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数Conv2d对该下采样编码模块的输入进行卷积计算，然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化，然后使用卷积注意力模块CBAM对归一化的结果进行特征选择和增强，最后使用激活函数LeakyRelu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数LeakyRelu的计算结果作为该下采样编码模块的输出；在最后一个下采样编码模块的训练过程中，首先按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数Conv2d对该下采样编码模块的输入进行卷积计算，然后使用激活函数Relu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数Relu的计算结果作为所述编码器的计算结果。5.根据权利要求4所述的方法，其特征在于，所述解码器包括解码器初始化模块和n个由上采样卷积核、跳层链接和卷积注意力模块构成的上采样解码模块，所述解码器包括的上采样解码模块的数量与所述编码器的下采样层的数量相同且逆序一一对应，n为大于1的正整数；
训练所述解码器的步骤为：利用解码器初始化模块对编码器的计算结果进行初始化，利用初始化后的编码器的计算结果对多个上采样解码模块进行训练，其中，前一个上采样解码模块的输出是后一个上采样解码模块的输入，将初始化后的编码器的计算结果作为第一个上采样解码模块的输入；在解码器初始化模块的训练过程中，首先按照对应的卷积函数ConvTranspose2d对所述编码器的计算结果进行卷积计算，然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化，然后使用卷积注意力模块CBAM对归一化的结果进行特征选择和增强，最后使用激活函数Relu对卷积注意力模块的计算结果进行激活，提供网络的非线性建模能力，将激活函数Relu的计算结果作为第一个上采样解码模块的输出；在第一个上采样解码模块至第n
‑
1个上采样解码模块的训练过程中，首先使用跳层链接对该上采样解码模块的输入和与该上采样解码模块对应的下采样编码模块的输出进行链接，得到链接结果，然后按照设定卷积核大小、步长、填充、输入通道数和输出通道数的卷积函数ConvTranspose2d对所述链接结果进行卷积计算，然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化，然后使用卷积注意力模块CBAM对归一化的结...

【专利技术属性】
技术研发人员：张毅，肖彦洋，毕国强，徐放，
申请(专利权)人：中国科学院深圳理工大学筹，
类型：发明
国别省市：