对多种类型的结构进行成像的显微图像的图像处理制造技术

各种示例涉及用于对结构的多种类型进行成像的显微图像的图像处理技术。多种类型具有不同的外观。不同的外观。不同的外观。

【技术实现步骤摘要】
对多种类型的结构进行成像的显微图像的图像处理


[0001]本专利技术的各种示例涉及用于评估光学显微图像的技术。

技术介绍

[0002]在处理/评估记录的显微图像的范围内使用图像处理算法。举例来说，经常使用机器
‑
学习的图像处理算法。处理的具体应用例如包括伪影减少、噪声抑制、分辨率增加、对象识别和作为分割掩模输出或者原则上根据任何分类标准对图像内容进行分类。在检查细胞培养物中，通常需要量化样品的特定属性。举例来说，可能需要确定细胞数量的估计或确定细胞汇合程度的估计(即，细胞覆盖的样品表面的比例)。在半导体结构的情况下，图像处理算法可以被用于识别并可选地对缺陷进行分类。

技术实现思路

[0003]因此，需要用于处理显微图像的改进技术。
[0004]通过独立权利要求的特征来实现该目的。从属权利要求定义了实施例。
[0005]一种用于处理显微图像的计算机实施的方法包括获得显微图像。显微图像对结构的多种类型进行成像。多种类型具有显微图像中与结构属性相关的不同外观。该方法还包括，对于多种类型中的每一种：在每种情况下，调整显微图像的图像属性以获得显微图像的对应归一化表示，其中相应类型的结构具有与对应于给定参考值的结构属性相关的外观。此外，该方法包括在显微图像的多个归一化表示的基础上应用图像处理算法。
[0006]计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。可以由处理器加载和执行程序代码。这使得处理器执行用于处理显微图像的方法。该方法包括获得显微镜图像。显微图像对结构的多种类型进行成像。多种类型具有显微图像中与结构属性相关的不同外观。该方法还包括，对于多种类型中的每一种：在每种情况下，调整显微图像的图像属性以获得显微图像的对应归一化表示，其中相应类型的结构具有与对应于给定参考值的结构属性相关的外观。此外，该方法包括在显微图像的多个归一化表示的基础上应用图像处理算法。
[0007]一种用于处理显微图像的设备，包括处理器。所述设备被配置为获得显微图像。显微图像对结构的多种类型进行成像。结构的多种类型具有显微图像中与结构属性相关的不同外观。处理器还被配置为，对于多种类型中的每一种，在每种情况下，调整显微图像的图像属性，以获得显微图像的对应归一化表示，其中相应类型的结构具有与对应于给定参考值的结构属性相关的外观。此外，处理器被配置为在显微图像的多个表示的基础上应用图像处理算法。
[0008]上述特征和下文描述的特征不仅可以以明确阐述的对应组合被使用，而且可以以进一步组合或单独被使用，而不会脱离本专利技术的保护范围。
附图说明
[0009]图1示意性地示出了根据各种示例的显微镜图像的调整。
[0010]图2示意性地示出了根据各种示例对来自图1的显微图像的归一化表示的处理。
[0011]图3示意性地示出了根据各种示例的设备。
[0012]图4是示例性方法的流程图。
[0013]图5示出了根据各种示例对多种类型的细胞进行成像的显微图像。
[0014]图6是示例性方法的流程图。
[0015]图7示出了根据各种示例的来自图5的显微图像的密度图。
[0016]图8示出了根据各种示例的用于显微图像的图像处理的数据处理。
[0017]图9示出了根据各种示例的显微图像和显微图像的多个归一化表示。
具体实施方式
[0018]结合以下附图更详细说明的示例性实施例的描述，以上描述的本专利技术的特性、特征和优点以及实现它们的方式将变得更清楚和更清楚地理解。
[0019]下面参考附图基于优选实施例更详细地说明本专利技术。在图中，相同的附图标记表示相同或相似的元件。附图是本专利技术的各种实施例的示意性表示。图中所示的元件不一定按比例示出。相反，图中所示的各种元件以这样一种方式被呈现，即它们的功能和通用目的对于本领域的技术人员来说变得能够理解。如图中所示的功能单元和元件之间的连接和耦接也可以被实施为间接连接或耦接。可以以有线或无线方式实施连接或耦接。功能单元可以被实施为硬件、软件或硬件和软件的组合。
[0020]下面描述了用于数字化和自动化处理样品和/或样品环境(例如，样品保持架)的显微图像的技术。
[0021]显微图像可以对各种结构进行成像。举例来说，显微图像可以对细胞进行成像；例如，本文描述的技术可以被用于检查细胞培养物，也就是说，可以量化例如细胞或细胞培养物的属性。然而，也可以设想其它类型的结构。举例来说，显微图像可以对被测的技术器件进行成像，例如半导体结构；以这种方式，可以识别半导体结构中的缺陷。举例来说，显微图像可以对被测的光学器件进行成像，并且可以识别和评估缺陷，诸如透镜曲率中的划痕或像差。举例来说，显微图像可以对材料样品(例如物质或塑料表面)进行成像，并且可以识别缺陷或与标准的偏差。显微图像中表示的结构可以是例如生物样品、细胞或细胞器、组织切片、液体、岩石样品、电子部件、样品保持架、样品保持架支撑件或部分或其组成部分。举例来说，样品可以包括生物细胞或细胞的一部分、材料或岩石样品、电子部件和/或容纳在液体中的物体。还可以对样品非特定结构进行成像，例如来自显微成像的伪影，例如由于过度曝光或曝光不足或者由于显微镜中的灰尘颗粒。
[0022]在本文描述的各种示例中，图像处理算法可以被用于确定此类结构或其它结构的一个或多个属性
–
例如位置、数量、类别。
[0023]参考图1至图4说明了在图像处理算法的上下文中基本发生的问题。图1至图4结合图像处理算法950的使用阐明了各个方面。
[0024]图1示意性地示出了显微图像910，在其中具有样品905的样品保持架907是可识别的。在这种情况下，样品保持架907是具有盖玻片的透明载玻片，生物细胞作为样品905位于
盖玻片和载玻片之间。如图所示，样品保持架907可以包括文本字段和不同染色或不同透明区域。从显微图像910识别和处理样品905可能由于污染物、镜像、不规则照明特性或者由于通过透明载玻片可见背景而变得更加困难。
[0025]在图1中，显微图像910作为输入被提供给图像处理算法950。在所示示例中，后者是神经网络，例如CNN(卷积神经网络)，它被训练为从输入图像计算分割掩模。然而，这只是示例。
[0026]图像处理算法950计算分割掩模920，在其中各个对象由不同的像素值表征。某个像素值指定对应像素形成被识别为样品905的分割区域921，而另一像素指定背景922。如图1所示，分割掩模920有错误。未示出样品的多个图像区域被错误地识别为样品的分割区域921。此外，实际上对应于样品905的分割区域921具有其中样品905未被识别的孔。
[0027]图2阐明了其中来自图1的显微图像910被重新缩放的情况，也就是说，它在尺寸(像素数或图像分辨率)方面被改变并且获得了显微图像910的对应归一化表示980。归一化表示980的边缘长度是显微图像190的边缘长度的65％。归一化表示980作为输入被提供给图像处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理显微图像的计算机实施的方法，所述方法包括以下步骤：
‑
获得(3102)对一种结构的多种类型进行成像的显微图像(91)，其中所述结构的所述多种类型具有所述显微图像中与结构属性相关的不同外观，
‑
对于所述多种类型中的每一种：在每种情况下，调整(3110)所述显微图像(91)的图像属性以获得所述显微图像(91)的对应归一化表示(85、86)，其中相应类型的所述结构具有与对应于给定参考值的所述结构属性相关的外观，并且
‑
在所述显微图像的所述多个归一化表示的基础上应用(3130)图像处理算法(301、950)。2.根据权利要求1所述的计算机实施的方法，其中，每种类型与所述显微图像的一个或多个图像部分(501、502)相关联，在这些部分中所述结构的相应类型出现或占主导地位，其中，考虑对应的一个或多个图像部分应用所述图像处理算法。3.根据权利要求2所述的计算机实施的方法，其中，所述图像处理算法被应用于所述归一化表示，并且在每种情况下与分别分配的一个或多个图像部分不同的图像部分相关联的所述图像处理算法的输出的那些部分被丢弃。4.根据权利要求2所述的计算机实施的方法，其中，所述图像处理算法被应用于所述归一化表示，其中，所述图像处理算法在每种情况下选择性地被应用于与对应类型相关联的所述相应一个或多个图像部分。5.根据权利要求2所述的计算机实施的方法，所述方法还包括以下步骤：
‑
对于每种类型：在将图像评估算法应用于所述相应的归一化表示之前，掩蔽(511、512)除了所述对应归一化表示中的相应一个或多个图像区域之外的图像区域。6.根据权利要求2至5中任一项所述的计算机实施的方法，所述方法还包括以下步骤：
‑
对于每种类型：在所述显微图像(91)中的所述结构的所述多种类型的对象识别(311)的基础上确定所述相应的一个或多个图像部分(501、502)。7.根据权利要求6所述的计算机实施的方法，其中，所述对象识别使用所述结构的所述多种类型的所述外观作为先验知识。8.根据权利要求6所述的计算机实施的方法，其中，所述对象识别预测所述结构的所述多种类型的外观。9.根据权利要求2至8中任一项所述的计算机实施的方法，所述方法还包括以下步骤：
‑
对于每种类型：使用聚类算法(311)确定所述相应的一个或多个图像部分(501、502)。10.根据权利要求9所述的计算机实施的方法，其中，在对所述显微图像进行编码的机器
‑
学习编码分支的潜在特征表示的距离的基础上确定聚类。11.根据权利要求9所述的计算机实施的方法，其中，在所述显微图像的对比度值的分割的基础上或者在使用图像到图像变换逐像素确定的调整参数的基础上确定聚类。12.根据权利要求9至11中任一项所述的计算机实施的方法，
其中，给出所述多种类型的数量作为所述聚类算法的边界条件。13.根据权利要...

【专利技术属性】
技术研发人员：曼努埃尔，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：