用于处理显微镜图像的方法、计算机程序和显微镜系统技术方案

本发明专利技术提供了一种用于处理显微镜图像的方法、计算机程序和显微镜系统，在用于处理显微镜图像的方法中，提供至少一个显微镜图像(B)作为用于图像处理算法(10)的输入图像(1)。通过图像处理算法(10)从输入图像(1)创建输出图像(3)。输出图像(3)的创建包括将表示输入图像(1)的图像结构的立体性的低频分量(N)添加(S3)到输入图像(1)，其中，低频分量(N)至少取决于这些图像结构的高频分量，且其中高频分量由比低频分量(N)更高的空间频率来定义。同样描述了相应的计算机程序和显微镜系统。描述了相应的计算机程序和显微镜系统。描述了相应的计算机程序和显微镜系统。

【技术实现步骤摘要】
用于处理显微镜图像的方法、计算机程序和显微镜系统


[0001]本专利技术涉及用于处理显微镜图像的方法，计算机程序和显微镜系统，特别是使用光学显微镜记录的对比图像。

技术介绍

[0002]相物体在入射光方面没有表现出明显的吸收差异，但是会影响穿过的光的相位。已知各种对比度方法用于将由此类样本产生的相位差转换为所记录的显微镜图像中的亮度差。已建立的过程是记录微分干涉对比图像(DIC图像)，在其中产生立体效果，即二维图像中的物体看起来是具有深度或高度。这有助于用户对显微镜图像进行视觉评估或评估，这是DIC技术得到广泛使用的原因之一。然而，DIC显微镜的操作是苛刻的，所需的分量相对昂贵，并且与其他测量技术(例如荧光图像记录)的组合可能仅在有限的程度上是可行的。
[0003]差分相位对比(DPC)与DIC技术相比存在优势，如Tian等人在《光学快报》，2015年，第1期，卷23，第9号中所描述的“定量差相对比”。可以通过处理两个具有向的DPC图像来重建相位图像。为了能够计算DPC图像所需要的就是两个相对的半瞳状照明记录，通常，不需要进一步设置其他分量。但是，DPC方法的缺点在于，在物镜光圈大于照明观察光圈的情况下，由于聚光镜(在较大工作距离处，聚光镜的典型NA约为0.55)，DPC对比度无法测量样本的小相位梯度。因此产生的显微镜图像失去立体性，这使得在例如单元的情况下，由用户进行的光学评估更加困难。然而，为了能够向用户呈现通常的图像，例如，如他们从DIC方法中所知道的，本专利技术应该能够从测量的图像中产生这种立体图像效果。为了更好的理解，参考图1，图1示出了类似于DPC的图像和类似于DIC的图像，其引起了比类似于DPC的图像更好的空间效果。
[0004]原则上，可以想到对仪器进行更改；举例来说，通过将物镜光圈限制为照明光圈，可以重新建立一种也可以测量小的相位梯度的场景。但是，这限制了分辨率。而且，由于物镜光圈的限制，具有相同光学配置的荧光记录的检测效率降低。
[0005]因此，本公开集中于用于改善记录的显微镜图像的质量的计算方法。在用于处理显微镜图像的通用方法中，将至少一个显微镜图像作为输入图像输入到图像处理算法中。通过图像处理算法根据输入图像创建输出图像。因此，通用显微镜系统包括用于记录显微镜图像的显微镜和设置为执行图像处理算法的计算设备，其中图像处理算法根据显微镜图像创建一个输出图像作为输入图像。
[0006]举例来说，这样的方法描述于：“透射光显微镜对三维荧光图像的无标签预测”，Chawin Ounkomol等，bioRxiv 289504；doi：https：//doi.org/10.1101/289504。在此，利用基于CNN(卷积神经网络)的机器学习算法，例如从作为输入图像的记录的透射光图像中估计荧光图像作为输出图像。此外，已知类似的方法来自于：“深度学习在荧光显微镜中实现超分辨率”，Hongda Wang等，bioRxiv 309641；doi：https：//doi.org/10.1101/309641。在此，基于生成对抗网络(GAN)训练机器学习算法，以便随后能够计算输出图像，在这种情况下为超分辨率荧光图像。在这种情况下，将较低分辨率的图像用作输入图像，特别是宽视场
荧光图像或衍射受限的共焦图像。于是，借助于关于在超分辨率参考图像中的图像结构看起来如何的教导关系，在前述机器学习算法中定性地产生了更高质量的图像。因此，机器学习算法经过训练，可以用输入图像中未包含的细节来补充低分辨率图像。在此过程中，无法排除图像结构在输出图像中“半透明”或在其中被专利技术的情况。
[0007]然而，通常，需要通过图像处理算法来评估记录的显微镜图像，而不会有更高的伪造样本结构图像表现的风险。图1关联一个示例性的应用涉及以上所提到的DPC图像。

技术实现思路

[0008]本专利技术的目的可以认为是提供一种用于处理显微镜图像的方法，计算机程序和显微镜系统，该方法在没有伪造所示图像结构的风险的情况下，改善图像表现。
[0009]该目的通过方法，计算机程序和显微镜系统实现。
[0010]在上述类型的方法和显微镜系统中，根据本专利技术，输出图像的创建包括，将用于表示输入图像的立体(三维)图像结构的低频分量添加到输入图像，其中低频分量至少取决于这些图像结构的高频分量，并且其中高频分量由比低频分量更高的空间频率来定义。
[0011]本专利技术所述的计算机程序包括命令，这些命令在由计算机执行时，提示要执行本专利技术所述的方法。
[0012]较高频率的图像分量实质上承载显微镜图像中物体的边缘和位置信息。因此，没有较高频图像分量或几乎没有较高频图像分量被添加到输入图像，以便无法伪造该信息。确切地说，正是低频分量有助于产生立体的印象，并且由于某些记录技术(例如，一开始提到的差分相位对比(DPC))而可能在显微镜图像中被抑制或完全缺失。因此，由于所添加的图像分量实质上被限制为低空间频率，因此可以在不错误地添加新物体或新物体边缘的情况下获得改善的空间印象。
[0013]可选设计
[0014]根据本专利技术实施方式的有利变型是从属权利要求的主题，并且将在以下描述中进行讨论。
[0015]空间频率上限
[0016]可以将图像处理算法设计为根据图像内容或输入图像的频率分布来定义空间频率上限。因此，该上限不是严格的而是可变的频率极限，其取决于各个输入图像。现在，图像处理算法仅将低于空间频率上限的低频分量添加到输入图像。这确保了所添加的低频分量的频率间隔适应于各个输入图像。空间频率上限可以由精确的频率值或在整个频率范围内的下降来表示。该下降可以说明，随着频率的增加，所添加的低频分量的振幅会变小。
[0017]产生输入图像中不存在的低频信息
[0018]为了清楚起见，参考以下事实：与图像处理中常规的
‑
已知低通滤波器相比，生成新的低频信息，并且不仅是在显微镜图像中已经存在的低频分量被放大的情况。因此，仅由低通滤波器补充的低频分量是已经存在于输入图像中的低频分量的放大，其是独立于高频分量而计算的。即使已经存在的低频分量的增益因数不是由常数因数描述，而是由例如低通滤波器中的单调频率相关函数描述，这也不会实现本专利技术表示图像结构立体性的目的。
[0019]与此相反，可以这样设计本专利技术变型的图像处理算法，使得其将低频分量添加到输入图像，其中所添加的低频分量已经不表示存在于输入图像中低频分量的放大或倍增。
由于光学记录技术经常缺失低空间频率，因此放大/倍增也不是有效的。因此，新的所添加的低频分量不是，或者不仅是根据输入图像的可用低频分量来计算的，而是基于高频分量所表示的图像结构来计算的。
[0020]上下文信息
[0021]此外，还可以基于与显微镜图像有关的上下文信息来定义要添加的低频分量。举例来说，上下文信息可以涉及在记录各个显微镜图像时使用的显微镜参数。显微镜参数可以提供有关显微镜图像缺少哪个频率范围的信息，从而根据缺少的频率范围定义低频分量或空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于处理显微镜图像的方法，包括将至少一个显微镜图像(B)作为输入图像(1)输入(S1)到图像处理算法(10)中；通过图像处理算法(10)从输入图像(1)创建输出图像(3)，其特征在于输出图像(3)的创建包括将表示输入图像(1)的图像结构的立体性的低频分量(N)添加(S3)到输入图像(1)，其中，低频分量(N)至少取决于这些图像结构的高频分量，且其中，高频分量由比低频分量(N)更高的空间频率来定义。2.根据权利要求1所述的方法，其中，图像处理算法(10)包括机器学习算法(M)，所述机器学习算法被训练为将低频分量(N)添加到输入图像(1)。3.根据权利要求2所述的的方法，其中，机器学习算法(M)包括具有编码器
‑
解码器结构的神经网络(P)，其解码器(D)确定添加到输入图像(1)的低频分量(N)。4.根据权利要求2或3所述的方法，其中，机器学习算法(M)使用损失函数(L)进行训练，所述损失函数不仅考虑从训练数据计算出的输出图像(3)与相关目标图像(5)之间的偏差(R)，而且还会惩罚或防止随着空间频率(f)的增加或高于空间频率极限(f0)的空间频率分量的增加。5.根据权利要求1所述的的方法，其中，根据输入图像(1)的图像内容，在损失函数(L)中定义所述空间频率极限(f0)或前述增加的空间频率分量的空间频率依赖性。6.根据权利要求2所述的方法，其中进行机器学习算法(M)的训练，在该范围内，将显微镜图像(B)用作输入图像(1)，将在空间上与显微镜图像(B)配准的微分干涉对比图像用作目标图像(5)。7.根据权利要求4所述的方法，其中，图像处理算法(10)在第一工作步骤中生成输出图像(3)，并在第二工作步骤中将输出图像(3)提供给验证算法(V)，其中，验证算法(V)根据图像处理伪像评估输出图像(3)，其中，根据评估结果，重复第一工作步骤以产生新的输出图像...

【专利技术属性】
技术研发人员：曼努埃尔，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：