公开了用于使用经训练的神经网络从衍射受限线共聚焦图像产生一维超分辨图像以生成一维超分辨输出以及各向同性面内超分辨图像的系统和方法的各种实施方案，其中使用包括多个匹配训练对的训练集来训练所述神经网络，所述多个训练对中的每个训练对包括所述图像类型的所述多个衍射受限线共聚焦图像中的一个衍射受限线共聚焦图像和对应于所述多个衍射受限线共聚焦图像中的所述一个衍射受限线共聚焦图像的一维超分辨图像。聚焦图像的一维超分辨图像。聚焦图像的一维超分辨图像。
【技术实现步骤摘要】
【国外来华专利技术】用于从线扫描共聚焦显微镜产生各向同性面内超分辨率图像的系统和方法
[0001]本公开文本总体上涉及从衍射受限图像产生超分辨率图像；并且具体地，涉及多种系统和方法，所述系统和方法用于使用经训练的神经网络从衍射受限线共聚焦图像产生超分辨图像，以产生一维超分辨图像输出以及通过组合不同取向的一维超分辨图像而获得的各向同性的面内超分辨图像。
技术介绍
[0002]线共聚焦显微镜用聚焦在一个空间维度上的锐利、衍射受限的照明来照明荧光标记的样品。如果样品发出的最终荧光通过狭缝过滤，并在照明线扫描样品时被记录，则获得具有减少的失焦荧光污染的光学切片图像。虽然不被普遍理解，但样品的照明必然是衍射受限的这一事实意味着(如果获取额外的图像，或者使用光学重新分配技术)空间分辨率可以在线聚焦的方向上(即，沿着一个空间维度)得到改善。然而，与传统的衍射受限共聚焦显微镜相比，所有这些用于在线共聚焦显微镜中提高一维分辨率的技术都会造成更多的剂量或需要更多的图像。
[0003]除其他外，正是考虑到这些观察，构思和发展了本公开文本的各个方面。
附图说明
[0004]图1是示出线扫描共聚焦显微镜系统的实施方案的示意图，所述线扫描共聚焦显微镜系统用于生成样品的锐利线照明，以获得衍射受限线共聚焦图像和匹配的相移的phi1、phi2和phi3图像。
[0005]图2A是当使用图1的显微镜系统从线共聚焦图像的左至右水平扫描衍射受限照明线时的线扫描共聚焦图像的图示；图2B是示出稀疏周期性照明模式的图示，所述稀疏周期性照明模式是当衍射受限照明线扫描以特定间隔被消隐并且然后相对于彼此相移约120度以产生匹配的相移的phi1、phi2和phi3图像时产生的；图2C是示出了横向超分辨图像的图示，所述横向超分辨图像组合了图2B中示出的每个相移的phi1、phi2和phi3图像的稀疏周期性照明模式。
[0006]图3是示出匹配数据训练对的训练集的简化图示，其中每个训练对具有细胞的衍射受限线共聚焦图像(左)和对应的相同细胞的一维超分辨图像(右)，用于训练神经网络以仅基于评估衍射受限线共聚焦图像输入并预测然后生成所评估的衍射受限线共聚焦图像的一维超分辨图像来产生一维超分辨图像。
[0007]图4是示出图3的训练集用于训练神经网络以产生用于基于衍射受限线共聚焦图像输入生成一维超分辨图像的高精度预测的方式的简化图示。
[0008]图5A是使用模拟测试数据用二维衍射受限的点扩展函数(PSF)模糊的输入图像；图5B是使用模拟测试数据训练后的神经网络的深度学习输出；图5C是输入图像的一维超分辨地面真值图像，用于与经训练的神经网络的所生成的一维超分辨图像输出进行比较。
[0009]图6A是示出在不同取向(0度、45度、90度和135度)上旋转的细胞的衍射受限图像的简化图示，其中每个衍射受限图像输入到经训练的神经网络，其中每个得到的图像在水平方向上具有增强的分辨率；图6B是示出来自图6A的经训练的神经网络的输出图像的简化图示，所述输出图像旋转回初始图像的帧并使用联合反卷积进行组合。
[0010]图7A是用点、线、环和实心圆的混合模拟的原始图像，用衍射受限PSF模糊，并将泊松和高斯噪声添加到原始图像；图7B是在执行图6A和6B所示的步骤之后，具有分别沿0度、45度、90度和135度取向的一维超分辨率的四幅图像；图7C是在联合反卷积图7B中的四个图像之后的二维中具有各向同性分辨率的超分辨图像。
[0011]图8是图示，其中顶行示出了在phi1、phi2和phi3下的照明模式，中间行示出了具有微管标记的真实细胞的图像和匹配的phi1、phi2和phi3图像，并且最后一行示出了在测试期间获得的衍射受限线共聚焦图像(左)和超分辨图像(右)。
[0012]图9A是在衍射受限模式下拍摄的微管荧光图像；图9B是由经训练的神经网络产生的微管荧光图像；并且图9C是当沿扫描方向施加局部收缩时的地面真值的微管荧光图像，产生分辨率沿一个(竖直)维度增强的超分辨率图像。
[0013]图10A是示出从衍射受限数据导出的微管荧光图像的输入；图10B是示出沿不同旋转轴线的微管荧光图像的旋转和深度学习输出；图10C是使用联合反卷积处理的微管荧光图像，其使分辨率增益各向同性。
[0014]对应的附图标记表示附图视图中的对应元件。附图中使用的标题不限制权利要求的范围。
具体实施方式
[0015]本文公开了使用经训练的神经网络来提高线扫描共聚焦显微镜中的空间分辨率的系统和相关方法的各种实施方案。在一个方面，一种用于提高空间分辨率的方法包括通过用由线共聚焦显微镜系统产生的多个稀疏的、相移的衍射受限线照明模式照明样品或图像类型来生成样品或图像类型的一系列衍射受限线共聚焦图像。一旦生成这些衍射受限线共聚焦图像，就组装包括多个匹配数据训练对的训练集，其中每个匹配数据训练对包括与同一衍射受限线共聚焦图像的对应一维超分辨图像匹配的样品或图像类型的衍射受限线共聚焦图像。分辨率增强的程度取决于由线照明产生的荧光发射的精细程度：对于传统线扫描共聚焦显微镜中的衍射受限照明，可以实现比衍射极限好约2倍的理论分辨率增强。然而，如果可以使荧光发射非线性地依赖于照明强度，例如使用具有光可切换或可饱和开或关状态的荧光染料，则原则上对荧光发射的精细程度没有限制。在这种情况下，分辨率增强两倍以上(理论上，“衍射不受限的”)是可能的。在迄今为止进行的模拟和实验测试中，分辨率比衍射受限分辨率提高了2倍。
[0016]在如此组装训练集之后，匹配数据训练对用于训练神经网络以“预测”并仅基于神经网络先前没有评估的衍射受限线共聚焦图像输入的评估来生成一维超分辨图像输出。本系统已经成功地测试了残差通道注意力网络(RCAN)和U
‑
net，在衍射受限输入上获得了超过2倍的分辨率增强。以RCAN为例：将匹配的低分辨率和高分辨率图像对输入到网络架构中，并通过最小化网络预测和地面真值超分辨图像之间的L1损失来训练网络。RCAN架构由多个残差组组成，这些残差组本身包含残差结构。这种“残差中的残差”结构形成了一个由
具有长跳过连接的多个残差组组成的非常深的网络。每个残差组还包含具有短跳过连接的残差信道注意块(RCAB)。长跳过连接和短跳过连接，以及残差块内的快捷方式，允许绕过低分辨率信息，便于预测高分辨率信息。此外，RCAB内的信道注意力机制用于通过考虑信道之间的相互依赖性来自适应地重新缩放信道特征，从而进一步提高网络实现更高分辨率的能力。本系统将残差组(RG)的数量设置为五个；(2)在每个RG中，RCAB数被设置为三或五；(3)浅层特征提取中的卷积层数为32层；(4)信道降尺度中的卷积层具有4个滤波器，其中缩减比设置为8；(5)用三维卷积层代替所有二维卷积层；(6)在本系统中，由于网络输入和输出具有相同的大小，所以省略了原RCAN末尾的升尺度模块。
[0017]一旦用特定样品或图像类型的匹配数据训练对训练神经网络，神经网络通过仅基于使用相似样品或图像类型的多个本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于提高空间分辨率的方法，其包括：产生图像类型的多个衍射受限线共聚焦图像，并产生对应于所述图像类型的所述多个衍射受限线共聚焦图像的所述图像类型的多个一维超分辨图像；生成包括多个匹配训练对的训练集，所述多个训练对中的每个训练对包括所述图像类型的所述多个衍射受限线共聚焦图像中的一个衍射受限线共聚焦图像和对应于所述多个衍射受限线共聚焦图像中的所述一个衍射受限线共聚焦图像的一维超分辨图像；以及通过输入所述图像类型的所述多个匹配训练对作为输入来训练神经网络；以及基于对被输入到所述神经网络中的衍射受限线共聚焦图像输入的评估，通过所述神经网络生成所述图像类型的一维超分辨图像。2.根据权利要求1所述的方法，其中，所述神经网络通过识别被输入到所述神经网络中的所述图像类型的所述衍射受限线共聚焦图像输入与所述训练集中的所述图像类型的所述多个衍射受限线共聚焦图像之间的相似性来评估所述图像类型的所述衍射受限线共聚焦图像。3.根据权利要求2所述的方法，其中，通过所述经训练的神经网络生成所述图像类型的所述一维超分辨图像是基于对在由所述经训练的神经网络评估的所述图像类型的所述衍射受限线共聚焦图像输入与所述训练集的所述多个衍射受限线共聚焦图像之间建立的任何相似性的识别。4.根据权利要求3所述的方法，其中，通过所述经训练的神经网络生成所述图像类型的所述一维超分辨图像进一步包括利用在所述衍射受限线共聚焦图像输入与来自每个训练对的所述图像类型的所述多个衍射受限线共聚焦图像之间识别的相似性来识别所述图像类型的所述对应的一维超分辨图像的一个或多个特征。5.根据权利要求1所述的方法，其中，所述多个衍射受限线共聚焦图像中的每个衍射受限线共聚焦图像被相移，然后所述被相移的衍射受限线共聚焦图像被组合以产生每个匹配训练对的所述图像类型的所述多个一维超分辨图像的一个相应一维超分辨图像。6.一种用于产生各向同性超分辨图像的方法，其包括：提供在第一取向上的图像类型的第一衍射受限线共聚焦图像和在第二取向上的所述图像类型的第二衍射受限线共聚焦图像作为神经网络的输入；生成作为...
【专利技术属性】
技术研发人员：H，
申请(专利权)人：芝加哥大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。