基于深度学习的单帧超分辨率显微镜图像处理制造技术

本申请提供了用于图像处理的方法、装置、系统和非暂时性计算机可读存储介质。在一方面，提供了一种计算机实现的图像处理方法，该方法包括：接收对象的低分辨率图像；由边缘提取器生成该低分辨率图像的边缘图；将所述边缘图和低分辨率图像输入到神经网络以重建该对象的超分辨率图像，其中所述神经网络是使用多分量损失函数来训练的。分量损失函数来训练的。分量损失函数来训练的。

【技术实现步骤摘要】
基于深度学习的单帧超分辨率显微镜图像处理
[0001]相关申请的交叉引用
[0002]本申请要求2021年10月5日提交的美国临时申请No.63/252,181的优先权，其公开内容通过引用以整体结合在本文中。


[0003]本说明书广泛但非排他地涉及用于图像处理的方法、装置、系统和计算机可读介质，更具体地，用于单帧超分辨率显微镜图像处理的方法、装置、系统和计算机可读介质。

技术介绍

[0004]荧光显微镜已经是用于生物学研究的不可或缺的工具，但其空间分辨率受到光波衍射效应的限制。因此，传统的荧光显微镜无法分辨小于200nm的亚细胞结构。
[0005]在过去的二十年中，出现了许多类型的绕过光波衍射极限的超分辨率显微镜，例如结构照明显微镜(SIM)、受激发射损耗(STED)显微镜和单分子定位显微镜(SMLM)。这些超分辨率显微镜可以将荧光显微镜的可实现的分辨率推至20nm至150nm；然而，代价是增加光毒性和降低成像速度，这对同时需要高的空间和时间分辨率两者的活细胞应用提出了挑战。例如，SMLM可以用于解析亚细胞结构，且与传统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的图像处理方法，所述方法包括：接收对象的低分辨率图像；通过边缘提取器生成所述低分辨率图像的边缘图；和将所述边缘图和所述低分辨率图像输入到神经网络以重建所述对象的超分辨率图像，其中，所述神经网络是使用多分量损失函数来训练的。2.根据权利要求1所述的方法，其中，所述低分辨率图像是所述对象的荧光显微镜图像，并且其中，所述边缘图的生成包括：基于在所述荧光显微镜图像中的荧光团的径向对称，由所述边缘提取器在子像素级别上提取所述边缘图，其中，在每个子像素处的边缘强度是由周围强度梯度会聚到所述子像素的程度来定义的，并且其中，所述边缘强度是由所述子像素的像素强度所加权的。3.根据权利要求1所述的方法，还包括：将所述对象的重建超分辨率图像和所述对象的地面实况图像输入到所述多分量损失函数，以量化在所述重建超分辨率图像和所述地面实况图像之间的差异，其中，所述多分量损失函数包括面向像素的损失函数、感知损失函数、对抗损失函数和/或频率损失函数中的一个或多个。4.根据权利要求3所述的方法，还包括：将在所述重建超分辨率图像与所述地面实况图像之间的量化差异输入所述神经网络，以进行后续训练来优化所述神经网络。5.根据权利要求3所述的方法，其中，所述面向像素的损失函数包括多尺度结构相似性(MS
‑
SSIM)和L1范数损失函数。6.根据权利要求2所述的方法，其中，所述荧光显微镜图像是宽场荧光显微镜图像、共焦显微镜图像、全内反射荧光(TIRF)显微镜图像或光片显微镜图像。7.根据权利要求1所述的方法，其中，所述对象包括一个或多个细胞的细胞内结构。8.根据权利要求7所述的方法，其中，所述细胞内结构包括所述一个或多个细胞的一个或多个微管和/或细胞器。9.根据权利要求7所述的方法，其中，所述一个或多个细胞包括活细胞。10.一种用于图像处理的装置，所述装置包括：至少一个处理器；和存储器，包括用于由所述至少一个处理器执行的计算机程序代码，所述计算机程序代码指示所述至少一个处理器：接收对象的低分辨率图像；通过边缘提取器生成所述低分辨率图像的边缘图；和将所述边缘图和所述低分辨率图像输入到神经网络以重建所述对象的超分辨率图像，其中，所述神经网络是使用多分量损失函数进行训练...

【专利技术属性】
技术研发人员：姚舒怀，杜胜望，陈蓉，
申请(专利权)人：香港科技大学，
类型：发明
国别省市：