超分辨显微镜欠采样图像的生成方法、装置制造方法及图纸

本发明专利技术提供了一种超分辨显微镜欠采样图像的生成方法、装置、电子设备和存储介质，所述欠采样图像的生成方法通过获取成像样品的低分辨率宽场图像集和超分辨率采样图像集；将所述低分辨率宽场图像

【技术实现步骤摘要】
超分辨显微镜欠采样图像的生成方法、装置


[0001]本专利技术涉及图像处理
，尤其涉及一种超分辨显微镜欠采样图像的生成方法、装置、电子设备及存储介质。

技术介绍

[0002]荧光显微镜/术(Fluorescence Microscope/Microscopy,FM)对生物系统，特别是对生物细胞组织结构和细胞亚器官大分子结构以及分子间相互作用的可视化发挥了关键作用，例如：分子特异性和多色成像技术可使研究者通过FM观察细胞组织形态和特定分子之间的相互作用，如活细胞成像等。但普通光学显微镜存在衍射极限，横向分辨率约为200
‑
300nm，轴向约为300
‑
500nm。虽然电子显微镜/术(Electron Microscope/Microscopy,EM)将分辨率推向了纳米级，但电子显微术成像波长短且须在真空中观察等诸多缺点限制了EM在细胞分子生物学研究中广泛应用。
[0003]超分辨显微镜/术(Super
‑
Resolution Microscope/Microscopy,SRM)的研发打破了光学显微镜分辨率的衍射极限，使显微成像达到EM才能观察的细节水平。同时，SRM在一定程度上保留了FM在样品制备、成像灵活性和靶标特异性方面的优势等。代表性SRM有STORM，STED，PALM，SIM等。可是，SRM也有其局限性：1)SRM依赖于精密的光学显微镜部件及设置，价格昂贵等限制了它的广泛应用；2)应用和分析每一种SRM方法，SRM样本制备繁琐、成像采集时间长、多色成像困难、光毒性和光漂白性损伤等限制了它的广泛应用。
[0004]为解决SRM的局限性，近年来，深度学习网络开始应用于SRM领域，人工智能已应用到将低分辨率显微图像重建为超分辨显微图像任务中。例如：针对PALM和STORM成像时间长，样品荧光易淬灭的问题，以A
‑
Net为基础建立的ANNA
‑
PALM深度学习模型利用稀疏采样的超分辨显微图像(sparse)和/或低分辨率显微镜图像(宽场图像，Widefield，WF)进行超分辨图像重建，但在同样数据集下，ANNA
‑
PALM仅利用WF图像进行重建时效果不理想。要想达到良好的SRM重建效果，需要获得大量的WF图像及SRM图像对，但这在实践中难以实现。
[0005]超分辨显微镜采集的sparse在SRM图像重建过程中发挥了重要指导引领作用，是必不可少的。因此，依赖ANNA
‑
PALM深度学习模型获得完美的SRM图像，网络必须输入超分辨显微镜采集的欠采样图像sparse和/或普通荧光显微镜采集的WF图像，但只输入WF图像，SRM图像重建难以实现。

技术实现思路

[0006]本专利技术的实施例提供了一种超分辨显微镜欠采样图像的生成方法、装置、电子设备和存储介质，可以实现低分辨WF图像到超分辨显微镜欠采样图像的重建策略和方法。
[0007]第一方面，本专利技术的实施例提供了一种超分辨显微镜欠采样图像的生成方法，所述欠采样图像的生成方法包括：
[0008]获取成像样品的低分辨率宽场图像集和超分辨率采样图像集；
[0009]将所述超分辨采样图像集拆分为超分辨欠采样图像集，将所述低分辨率宽场图像
和超分辨欠采样匹配成图像对并分成训练集和测试集；
[0010]基于所述训练集和测试集对预先构建的UR
‑
Net
‑
8深度学习网络进行训练和测试得到目标模型；
[0011]将待生成的低分辨显微镜宽场图像输入到所述目标模型得到目标超分辨显微镜欠采样图像。
[0012]作为一种可能实现的实施方式，所述获取成像样品的低分辨率宽场图像集和超分辨率采样图像集包括：
[0013]通过对多种哺乳类细胞系亚细胞结构和大分子复合物进行超分辨免疫荧光染色获得成像样品；
[0014]将所述成像样品通过宽场显微镜和超分辨显微镜分别进行拍摄获得低分辨率宽场图像集和超分辨率采样图像集。
[0015]作为一种可能实现的实施方式，所述预先构建的UR
‑
Net
‑
8深度学习网络包括一个输入尺度自适应的生成器和一个输入尺度自适应的判别器；所述生成器通过与所述判别器进行对抗训练得到所述目标模型。
[0016]作为一种可能实现的实施方式，所述判别器包括：
[0017]4个堆叠的卷积层，1个用于自适应采样的空间金字塔池化层和1个用于实现分类判别的全连接层。
[0018]作为一种可能实现的实施方式，采用随机梯度下降法训练所述目标模型，训练过程包括采用输入尺度固定的图像预训练阶段和输入尺度自适应的图像微调阶段。
[0019]作为一种可能实现的实施方式，所述生成器的编码器和解码器中，对应的卷积层和反卷积层之间采用跳跃残差连接进行信息传递，卷积层、反卷积层和对应的跳跃连接构成U型网络。
[0020]作为一种可能实现的实施方式，所述目标模型的对抗网络的损失函数采用交叉熵损失、L1损失和MS
‑
SSIM损失；其中，MS
‑
SSIM损失为1与真实超分辨显微镜欠采样图像和重建的超分辨显微镜欠采样图像之间的MS
‑
SSIM值之差；通过损失值反向传播更新所述目标模型参数，所述判别器采用交叉熵损失反向传播更新所述目标模型参数。
[0021]第二方面，本专利技术的实施例提供了一种超分辨显微镜欠采样图像的生成装置，所述欠采样图像的生成装置包括：
[0022]数据获取模块，用于获取成像样品的低分辨率宽场图像集和超分辨率采样图像集；
[0023]训练集划分模块，用于将所述超分辨采样图像集拆分为超分辨欠采样图像集，将所述低分辨率宽场图像和超分辨欠采样匹配成图像对并分成训练集和测试集；
[0024]训练模块，基于所述训练集和测试集对预先构建的UR
‑
Net
‑
8深度学习网络进行训练和测试得到目标模型；
[0025]生成模块，用于将待生成的低分辨显微镜宽场图像输入到所述目标模型得到目标超分辨显微镜欠采样图像。
[0026]第三方面，本专利技术的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面任一项所述的方法。
[0027]第四方面，本专利技术的实施例提供了一种计算机可读存储介质，其上存储有计算机
程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
[0028]本专利技术提供了一种超分辨显微镜欠采样图像的生成方法、装置、电子设备和存储介质，所述欠采样图像的生成方法通过获取成像样品的低分辨率宽场图像集和超分辨率采样图像集；将所述超分辨采样图像集拆分为欠采样图像集，将所述低分辨率宽场图像
‑
超分辨欠采样图像对分成训练集和测试集；基于所述训练集和测试集对预先构建的UR...

【技术保护点】

【技术特征摘要】
1.一种超分辨显微镜欠采样图像的生成方法，其特征在于，所述欠采样图像的生成方法包括：获取成像样品的低分辨率宽场图像集和超分辨率采样图像集；将所述超分辨采样图像集拆分为超分辨欠采样图像集，将所述低分辨率宽场图像和超分辨欠采样图像匹配成图像对并随机分成训练集和测试集；基于所述训练集和测试集对预先构建的UR
‑
Net
‑
8深度学习网络进行训练和测试得到目标模型；将待生成的低分辨显微镜宽场图像输入到所述目标模型得到目标超分辨显微镜欠采样图像。2.根据权利要求1所述欠采样图像的生成方法，其特征在于，所述获取成像样品的低分辨率宽场图像集和超分辨率采样图像集包括：通过对多种哺乳类细胞系亚细胞结构和大分子复合物进行超分辨免疫荧光染色获得成像样品；将所述成像样品通过宽场显微镜和超分辨显微镜分别进行拍摄获得低分辨率宽场图像集和超分辨率采样图像集。3.根据权利要求2所述的欠采样图像的生成方法，其特征在于，所述预先构建的UR
‑
Net
‑
8深度学习网络包括一个输入尺度自适应的生成器和一个输入尺度自适应的判别器；所述生成器通过与所述判别器进行对抗训练得到所述目标模型。4.根据权利要求3所述的欠采样图像的生成方法，其特征在于，所述判别器包括：4个堆叠的卷积层，1个用于自适应采样的空间金字塔池化层和1个用于实现分类判别的全连接层。5.根据权利要求4所述的欠采样图像的生成方法，其特征在于，采用随机梯度下降法训练所述目标模型，训练过程包括采用输入尺度固定的图像预训练阶段和输入尺度自适应的图像微调阶段。6.根据权利要求3所述的欠采样图像的生...

【专利技术属性】
技术研发人员：姜伟，徐蕾，阚世超，余茜颖，蒋兴然，申艾欣，王旭升，
申请(专利权)人：汉姆德宁波智能医疗科技有限公司，
类型：发明
国别省市：