显微镜系统和对显微镜的可互换部件进行分类的方法技术方案

本发明专利技术涉及一种显微镜的可互换部件(9)的分类方法，其中该方法包括：获得显微镜图像(20)，在其中所述可互换部件(9)至少部分成像；从所述显微镜图像(20)计算处理图像(30)；并且对所述处理图像(30)进行图像评估，以对所述可互换部件(9)进行分类。所述处理图像(30)的计算包括，至少在转换为所述处理图像(30)的所述显微镜图像(20)的区域中去除物体(11、12、13)的图像内容或表面特征。此外描述了对应的显微镜系统。镜系统。镜系统。

【技术实现步骤摘要】
显微镜系统和对显微镜的可互换部件进行分类的方法


[0001]本专利技术涉及显微镜系统和借助于图像处理对显微镜的可互换部件进行分类的方法。

技术介绍

[0002]对于显微镜的直观的和至少部分自动化的操作，附接或放置在显微镜上的可互换部件的自动检测是一个重要方面。例如，可互换的部件可以是样品载体、用于样品载体或DIC载玻片(用于微分干涉对比的载玻片)的保持架。越来越大程度上地自动评估概览图像，以便识别现有的可互换部件。
[0003]通用显微镜系统具有这样的显微镜，其包括至少一个可互换部件并且设置用于摄取显微镜图像，其中至少部分地成像了可互换部件。计算装置设置用于，从显微镜图像计算处理图像并评估处理图像以对可交换部件进行分类。
[0004]用于对显微镜的可互换部件进行分类的通用方法以相应的方式至少包括以下步骤：获得显微镜图像，其中至少部分地成像了可互换部件。从显微镜图像计算处理图像，并评估处理图像以可交换部件进行分类。
[0005]显微镜图像尤其可以由概览相机摄取，因此除了待检查的样本被放置在其中的区域之外，周围的显微镜部件也是可见的，其中包括待分类的可互换部件。为了处理显微镜图像，通常执行例如对比度或亮度调整。现在详细地评估从中得到的处理图像，以便对可互换部件进行分类，即识别可互换部件的类型或型号。这示例性地参考图1进行解释。申请人在DE 102017109698 A1中描述了类似的方法。
[0006]图1示意性地示出了用于对可互换部件9、在示例中保持架10进行分类的常规方法的流程。显微镜图像20示出了具有样品凹部14的保持架10，样品或样品载体将被定位在该样品凹部中。另外，可以识别保持架10的外形的部分和保持架10的表面特征。
[0007]保持架10的分类通过分类CNN 40'(Convolutional Neural Network，卷积神经网络)实现。分类CNN 40'已经在显示各种已知类型的保持架的训练数据的帮助下进行了训练。因此，能够对要输入的显微镜图像20进行如下分类：显微镜图像20中成像了什么样的保持架10。分类CNN 40'输出输出45'，它从几种可能的保持架类型中理想地指示正确的保持架10。
[0008]在训练期间，分类CNN 40'在很大程度上独立地学习，哪些图像内容以及这些图像内容以何种方式指明保持架10的特定类型。在此特别相关的是保持架10的细节，其在图像部分21、22和23中放大显示。这些包括标签11，例如制造商名称、型号或序列号，螺钉12，夹子和固定架上的其他物体以及固定架10上的划痕13。在不同类型的固定架之间，标签11和螺钉12无论是在它们的排列还是它们的外观上可能不同，因此它们本身就是合适的区别特征。然而，标签11和螺钉12可以由保持架的制造商随时更改，而无需改变保持架的功能或型号名称。在这些情况下，分类CNN 40'必须在显示制造商更新的保持架的新训练数据的帮助下重新训练。另一个问题可能由保持架中的划痕13引起，特别是如果训练数据包括同一保
持架的多张图像。在这种情况下，分类CNN 40'学习识别特定保持架的个体属性，即其划痕13或污渍。由此，没有划痕或有其他划痕的相同类型的保持架的识别受到影响。为了减少由保持架的抓痕和其他个体表面特征引起的问题，图1中的分类CNN 40'需要相对大量的训练数据。但即使有大量的训练数据，泛化性相对较差的问题仍然存在。如果显微镜图像20与训练数据的差异较大(例如因为制造商改变了螺钉12的布置)，则输出45'指示正确类型的保持架的分类可靠性降低。
[0009]代替图1中示例性地示出的分类CNN 40'，也使用其他用于分类是机器学习模型或经典算法，其中也存在泛化性或分类可靠性方面的问题。

技术实现思路

[0010]指示一种显微镜系统、一种方法和一种计算机程序，它们允许尽可能可靠和简单地对显微镜的可互换部件进行分类，可以视为本专利技术的目的。
[0011]该目的通过根据本专利技术的方法和根据本专利技术的显微镜系统实现。
[0012]在上述类型的方法中，根据本专利技术，处理图像的计算包括，至少在显微镜图像的被转换成处理图像的区域中，将物体或表面特征的图像内容去除。
[0013]以相应的方式，在显微镜系统中，用于计算处理图像的计算装置设置用于，至少在显微镜图像的被转换成处理图像的区域中，将物体或表面特征的图像内容去除。
[0014]根据本专利技术的计算机程序包括这样指令，其在由计算机执行时促使执行根据本专利技术的方法。
[0015]因此，用于对可互换部件进行分类的图像评估不是基于显微镜图像而是基于从中计算的不太复杂的显示进行。在开头描述的例子中，图像内容被去除的物体尤其可以是可可互换部件上的螺钉和标签，或者更一般地，原则上可互换部件上的任何元件，例如以下中的一个或多个：标签、标记、贴纸、划痕、夹子、螺钉和污渍。表面特征或纹理尤其可以涉及颜色、材料选择、无光泽或有光泽的表面、反射和划痕。
[0016]根据本专利技术，通过不使用显微镜图像或具有相同内容的图像，而是使用复杂度降低的处理图像来进行分类，可以降低或排除显微镜图像中可互换部件自身的不相关的外观特征导致错误分类的风险。
[0017]可选设计
[0018]根据本专利技术的显微镜系统、计算机程序和方法的有利变体是从属权利要求的主题并且在下面的说明书中对其进行解释。
[0019]处理图像的计算
[0020]从显微镜图像中计算出处理图像可以通过经过训练的机器学习模型，特别是通过CNN(Convolutional Neural Network,卷积神经网络)或其他深度学习神经网络来实现。CNN可以是实施显微镜图像分割的分割CNN。
[0021]当计算显微镜图像的分割时，记录显微镜图像的哪些图像区域表示可互换部件以及哪些图像区域不属于它。如此生成的分割掩码可以表示处理图像，或者可以进一步计算以产生处理图像。分割掩码可以是二进制掩码，其中一种像素值标识属于可互换部件的像点，而另一个像素值指示具有该像素值的图片元素不属于可互换部件。因此，分割掩码显示了可互换部件的形状，而不表示可互换部件上的表面特征或物体/元件。代替二进制掩码，
分割掩码还可以指定两个以上的值，例如以便区分同一图像中的几个可互换部件或区分同一可互换部件的不同构件。分割掩码可以是与显微镜图像具有相同分辨率的二维图像。替代地，分割掩码也可以仅对应于显微镜图像的一部分并因此具有较低的分辨率。此外，分割掩码可以用矢量图或表数据表示。
[0022]替代地，处理图像也可以通过将物体的图像区域、例如螺钉的图像区域剪切或剪掉的方式来计算。剪掉区域内的图像像素没有值或有相同值或由预定图案填充，而剪掉图像区域外的周围图像像素继续携带图像信息，并转换成处理图像。这不对应于显微镜图像的简单裁剪，如在现有技术中使用ROI(感兴趣区域)时的情况。因为在当前情况下，剪掉的图像区域(其例如显示螺钉或其他干扰物体)位于被转换成处理图像的图像部分内。而在使用ROI时，剪掉的图像区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显微镜的可互换部件(9)的分类方法，其中该方法包括：获得显微镜图像(20)，在其中所述可互换部件(9)至少部分成像；从所述显微镜图像(20)计算处理图像(30)；并且对所述处理图像(30)进行图像评估，以对所述可互换部件(9)进行分类；其特征在于，所述处理图像(30)的计算包括，至少在转换为所述处理图像(30)的所述显微镜图像(20)的区域中去除物体(11、12、13)的图像内容或表面特征。2.根据权利要求1所述的方法，其中，通过从所述显微镜图像(20)计算分割掩码(31)来进行所述处理图像(30)的计算，其中所述分割掩码(31)指示哪些图像区域代表所述可互换部件(9)。3.根据权利要求1所述的方法，其中，所述处理图像(30)的计算包括基于相邻图像内容填充所述物体(11、12、13)的图像区域或剪去所述图像区域。4.根据权利要求1所述的方法，其中，将所述显微镜图像(20)输送到自动编码器，该自动编码器从所述显微镜图像(20)计算所述处理图像(30)。5.根据权利要求1所述的方法，其中通过去除所述图像内容，所述处理图像(30)仅示出所述可互换部件(9)的形状。6.根据权利要求1所述的方法，其中所述处理图像(30)的计算由训练过的机器学习模型(25、25')来实现。7.根据权利要求1所述的方法，其中为计算所述处理图像(30)而去除其图像内容的物体(11、12、13)包括以下一项或多项：标签(11)、标记、贴纸、划痕(13)、夹子、螺钉(12)和污渍。8.根据权利要求1所述的方法，其中所述可互换部件(9)是样品载体(3)的保持架(10)、样品台、物镜(2)、照明模块、滤光片或棱镜、聚光镜、滤光插入件(4)的...

【专利技术属性】
技术研发人员：曼努埃尔，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：