用于处理显微镜图像的显微镜系统和方法技术方案

在用于处理显微镜图像(10)的方法中，在输入图像处理程序(B)之前，从显微镜图像(10)形成输入图像(30)。图像处理程序(B)包括用于图像处理的学习模型(M)，所述学习模型通过显示具有特定图像属性(S0，α0)的结构(15)的训练图像(T)学习。图像处理程序(B)从输入图像(30)计算图像处理结果(19)。通过图像转换程序(U)将显微镜图像(10)转换为输入图像(30)，其方式是相对于显微镜图像(10)的结构(15)的图像特性(S1，α1)修改输入图像(30)中结构(15)的图像特性(S2，α2)，以使其更接近训练图像(T)的结构(15)的性质(S0，α0)。α0)。α0)。

【技术实现步骤摘要】
用于处理显微镜图像的显微镜系统和方法


[0001]本公开涉及显微镜系统和用于处理显微镜图像的方法。

技术介绍

[0002]机器学习模型越来越多地被利用在现代显微镜中以及捕获显微镜图像的处理和评估中。特定应用包括多个不同的处理，例如噪声抑制，分辨率增强，物体的检测和以分割掩模的形式输出相同的输出，或者根据基本上任何分类标准的图像内容的分类。
[0003]在用于处理显微镜图像的通用方法中，接收或获取显微镜图像。从显微镜图像形成的输入图像被输入到图像处理程序中。图像处理程序包括用于图像处理的学习模型，该图像处理是通过训练图像学习的，该训练图像通常显示具有某些图像特性的结构。借助于图像处理程序，从输入图像计算图像处理结果。特别地，图像处理结果可以采用如前述内容的示例的形式，例如，具有减少图像噪声的结果图像或分割掩模。
[0004]因此，通用显微镜系统包括用于捕获显微镜图像的显微镜和计算设备。计算设备包括图像处理程序，该图像处理程序被配置为处理从显微镜图像形成的输入图像到图像处理结果。图像处理程序包括用于图像处理的学习模型，其利用训练图像来学习，该训练图像显示具有某些图像特性的结构。
[0005]参考图1至图4解释可能发生的根本问题。这些图说明了来自本专利技术前面的研究的背景信息，并且不一定描述公开的现有技术。图1示意性地说明了显微镜图像10，其中可见具有样品5的样品载体7。样品载体7是透明载玻片，这里具有盖玻片，样品5以位于其间的生物细胞的形式存在。如图所示，样品载体7可包括标记场和不同颜色或不同透明度的区域。在显微镜图像中的样品5的检测和评估可以通过杂质，反射，不规则照明特性或根据通过透明载玻片可见的背景来阻碍。在图1中，显微镜图像10作为输入图像10A被馈送到图像处理程序B。在所示的示例中，图像处理程序B是具有神经网络的学习模型M，例如，CNN(卷积神经网络)，被训练用于根据输入图像计算分割掩模。因此，图像处理程序B根据输入图像10A计算分割掩模20A，其中不同物体由不同的像素值标记。某个像素值表示当其他像素表示为背景22，形成分割区域21的相应的像素已经被识别为属于样品5。图1中的分割掩模21是明显错误的。未显示样品的多个图像区域已被错误地识别为样品的分割区域21。另外，实际对应于样品5的分割区域21包含未检测到样品5的间隙。
[0006]图2说明了图1的显微镜图像10已经重构或调整尺寸的情况，即对其尺寸(像素计数/像素数或图像分辨率)修改。该已经调整尺寸的图像的边缘长度是显微镜图像10的边缘长度的65％。已经调整尺寸的图像作为输入图像10B被馈送到图像处理程序B。图像处理程序B与图1的图像处理程序B相同。所得到的分割掩模20B基本上不同于图1的分割掩模20A。因此，显而易见的是，输入图像的尺寸对图像处理程序B的结果具有相当大的影响。由于不同的图像分辨率，输入图像10A和10B的信息内容的边际差异不解释这些结果。图像处理程序B的CNN包括多个卷积层，其中，例如，在输入图像(或从相同计算的图像)上下滑动3
×
3矩阵或5
×
5矩阵，在这种情况下，可以被认为该事实是更有用的解释。3x3矩阵的尺寸相对于
结构的尺寸(例如，样品5的直径的像素计数或像素的数量)对结果具有相当大的影响。因此，根据其图像尺寸非常不同地处理输入图像10a和10b中的样品5的图像区域。
[0007]这种情况进一步在图3和4中说明。其中显微镜图像10根据不同的因素分别重构。在图3中，显微镜图像10已经减小到其尺寸的35％，并且将得到的结果图像作为输入图像10C馈送到图像处理程序B。在图4中，显微镜图像10已经减小到其尺寸的25％，并且将得到的结果图像作为输入图像10D被馈送到图像处理程序B。生成的分割掩模20C和20D再次彼此之间明显不同，并且与分割掩模20A和20b彼此清楚地不同。仅分割掩模20C表示分割区域21和背景22而没有错误。
[0008]该示例说明了提供一个稳健的图像处理程序能够正确地处理多个不同的显微镜图像的难度。原则上，通过特别广泛的训练数据可以覆盖多种不同的情况。然而，由此训练变得本质上复杂的，而提供培训数据同样的需要相当多的时间和精力。

技术实现思路

[0009]提供一种显微镜系统和一种方法，其为多个不同的显微镜图像以特别稳健的方式实现正确的图像处理，可以被认为是本专利技术的一个目的。
[0010]该目的通过本专利技术的方法和显微镜系统实现。
[0011]根据本专利技术，在上述类型的方法中，通过图像转换程序，以根据显微镜图像的结构的图像特性，修改输入图像中结构的图像特性，使得它们更接近图像处理程序的学习模型的训练图像的结构的图像特性的方式，将显微镜图像转换为输入图像。
[0012]因此，在上述类型的显微镜系统中，提供了计算设备，该计算设备包括图像转换程序，该图像转换程序被配置为，以根据显微镜图像的结构的图像特性，修改输入图像中结构的图像特性，使得它们更接近训练图像的结构的图像特性的方式，将显微镜图像转换为输入图像。
[0013]根据本专利技术，在输入到图像处理程序之前首先转换显微镜图像，使得描述结构的图像特性变得与所使用的训练数据的图像特性更类似。正确的图像处理的可靠性随着与训练数据类似程度增加而增加。所描述结构的图像特性可以是，例如，所描述的生物样品的图像像素中的尺寸。这种尺寸可以是，例如，显微镜图像中的200像素，而在训练图像中，生物样品主要在20到30个像素之间呈现的尺寸。在这种情况下，显微镜图像的尺寸减小，使得所描述的样品的尺寸变得更加类似于训练图像中的样品的尺寸。因此，将显微镜图像转换为输入图像作为显微镜图像的图像内容的函数，使得所描述的结构的图像特性变得更类似于训练图像的相应结构的图像特性。
[0014]可选实施例
[0015]根据本专利技术显微镜系统以及方法的变体是从属权利要求的目的，并在以下描述中解释。
[0016]所描述的结构的图像特性
[0017]特别地，所描述的结构的图像特性可以是结构的几何特性和/或亮度特性。结构的几何特性可以被理解为尺寸，方向或队列，和/或图像失真。与相应的图像相关的迹象相同，即，它不是预期结构的物理尺寸，例如，物理尺寸为30μm的生物电池，但是图像中的像素大小，其可以是，例如，直径40像素。尺寸可以被理解为是结构延伸的直径，面积或其他一些度
量。方向同样不表示结构在空间中的物理方向，而是图像中所描述的结构的方向，例如，相对于图像边缘。可以从透视图中产生图像失真。例如，如果相机以倾斜角度观察矩形物体(例如，显微镜的滑动)，则矩形物体的相对边缘不一定彼此平行，并且在该结构的描述中角落不会形成直角。
[0018]结构的亮度特性可以涉及，例如，音调值或灰度值，亮度，饱和度或结构的图像对比度。也可以包含所引用的特征的分布，例如，结构中的亮度分布。
[0019]结构的图像特性与整个图像无关，而是仅涉及某些结构。例如，不需要以必须整体的方式修改显微镜图像，使得其尺寸对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理显微镜图像(10)的方法，包括：接收(P1)显微镜图像(10)；输入(P4)从显微镜图像(10)形成的输入图像(30)到图像处理程序(B)中，所述图像处理程序(B)包括用于图像处理的学习模型(M)，所述学习模型通过显示具有某些图像特性(S0，α0)的结构(15)的训练图像(T)学习；以及通过图像处理程序(B)从输入图像(30)计算(P5)图像处理结果(19)；其特征在于通过图像转换程序(U)将显微镜图像(10)转换(P3)为输入图像(30)，其方式是相对于显微镜图像(10)的结构(15)的图像特性(S1，α1)修改输入图像(30)中结构(15)的图像特性(S2，α2)，使其更接近训练图像(T)的结构(15)的性质(S0，α0)。2.根据权利要求1所述的方法，其中结构(15)的图像特性(S，α)是结构(15)的几何特性和/或亮度特性。3.根据权利要求2所述的方法，其中结构(15)的几何特性包括尺寸(S)，方向(α)或图像失真；其中亮度特性涉及结构(15)的亮度，饱和度或图像对比度。4.根据权利要求1所述的方法，其中图像转换程序(U)确定显微镜图像(10)的结构(15)的图像特性(S1，α1)，其中目标图像特性为预定的显微镜图像(10)的结构(15)的图像特性(S1，α1)，其中图像转换程序(U)将所确定的图像特性(S1，α1)改变为目标图像特性，以便从显微镜图像(10)计算输入图像(30)。5.根据权利要求1所述的方法，其中图像转换程序(U)以像素为单位确定显微镜图像(10)的结构(15)的尺寸(S1)作为图像特性，其中，预定目标像素计数作为目标图像特性，其中，图像转换程序(U)计算缩放因子(F)，通过所述缩放因子，结构(15)的确定尺寸(S1)转换为目标像素计数，其中图像转换程序(U)利用缩放因子(F)处理显微镜图像(10)，以生成输入图像(30)。6.根据权利要求1所述的方法，其中图像转换程序(U)包括用于确定图像特性的学习模型(U4)，所述学习模型使用训练图像(T)训练以确定显微镜图像(10)的结构(15)的图像特性(α)。7.根据权利要求1所述的方法，其中图像转换程序(U)是用于图像转换的学习模型(U3)，其使用图像(t1
‑
t3)学习，所述图像(t1
‑
t3)以注释(A)的形式指定如何转换这些图像(t1
‑
t3)以形成输入图像(30)。8.根据权利要求7所述的方法，其中注...

【专利技术属性】
技术研发人员：曼努埃尔，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：