用于实例分割的显微镜系统和方法技术方案

本发明专利技术提供了一种用于至少一个显示多个对象(21)的显微镜图像的实例分割的计算机实施方法，包括：计算显微镜图像(20)中对象(21)的对象中心(31)位置；确定(P2)显微镜图像(20)的哪些图像区域(41)被对象(21)覆盖；使用对象中心(31)作为沃罗诺伊位点(31')计算(P3)沃罗诺伊区域(51)；并通过使用沃罗诺伊区域(51)的边界(52、52

【技术实现步骤摘要】
用于实例分割的显微镜系统和方法


[0001]本公开涉及用于显微镜图像实例分割的显微镜系统和方法。

技术介绍

[0002]数字图像处理在现代显微镜中的重要性，尤其对基于捕获的图像的自动样品分析或自动显微镜控制，是不断增加的。对于各种过程，实例分割蒙版是有利的。在本公开中将分割蒙版理解为一个图像，其中每个区域或每个像素指示一类。分割蒙版特别的可以是二进制蒙版，其中第一个像素值表示相应的像素属于第一类(例如，属于“样本”或更一般的“对象”类)，而第二像素值表示相应的像素属于第二类(例如，属于“非样本”或“背景”类)。分割蒙版通常是根据捕获的显微镜图像计算得出的，例如相位衬度图像或荧光图像。在分割蒙版中，显示出同一类不同对象的连续图像区域不细分为实例，因为这些图像区域的每个像素具有相同的像素值。因此，分割蒙版不显示同一类的一个或多个相邻对象以及它们之间的边界在何处。实例分割蒙版在这方面有所不同：不仅是为实例分割蒙版中每个区域或每个像素指示一类，而且同一类的对象也彼此区分。因此，在实例分割蒙版中，在另外指定同一类的潜在多个对象之间存在哪个对象时，将一个类分配给每个像素。
[0003]已知的用于生成实例分割蒙版的图像处理程序要么仅提供适度的质量，要么适用于当前申请需要大量工作。例如，使用预定的训练数据来学习的用于实例分割的机器学习模型。训练数据通常包括大量显微镜图像(例如相位衬度图像)和相关的实例分割蒙版，其创建需要专家的手动工作。根据本申请，新的申请可以提供必要的新培训，进而需要大量的手动注释工作。希望能够以较少的手动工作提供高质量的实例分割模型。
[0004]无注释的分割方法
‑
例如，通过无监督训练学到的图像处理模型仅能将粗糙的划分为前景和背景，而不是实例分割。
[0005]描述了用于生成实例分割蒙版的常规机器学习模型，例如，在：
[0006]乌威施密特等人，“使用星形凸多边形的细胞检测”，ARXIV：1806.03535V2[CS.CV]，2018年11月8日。
[0007]显微镜图像的图像分析的一个示例是汇合估计：汇合被理解为生物细胞通过显微镜图像捕获的区域的覆盖范围。例如，可以通过简单的分割模型来确定汇合，该模型输出二进制蒙版，其中一个像素值指示细胞覆盖的区域。汇合也可以从荧光图像的轮廓估算。经常使用具有卷积神经网或网络的机器学习模型。与已知的实例分割方法相比，汇合可以相对轻松，精确地进行。
[0008]为了完整性而引用了进一步的图像处理方法：在显微镜图像中计数生物细胞的方法，其中特别的，使用检测模型或进行密度估计，已知，请参见：
[0009]谢伟娣(Weidi Xie)，J、艾莉森
·
诺布尔&安德鲁
·
齐瑟曼(2018)“通过完全卷积回归网络的显微镜细胞计数和检测”，生物力学和生物医学工程学的计算机方法：成像&可视化，6：3，283
‑
292，doi：10.1080/：10.1080/21681163.2016.1149104。
[0010]这有助于对细胞中心位置的相对简单和可靠的确定。
[0011]在以下方式中描述了用于显微镜图像中细胞计数的机器学习模型：
[0012]约瑟夫
·
保罗
·
科恩等人，“计数感：通过完全卷积的冗余计数进行计数”，arxiv：1703.08710[cs.cv]，23.07.2017。
[0013]通过FCN(完全卷积网络)确定每个图像部分或补丁的对象计数，以便可以通过平均重叠图像部分的计数来确定图像中存在的对象的总计数。
[0014]沃罗诺伊图(Voronoi diagram)将作为本公开的进一步背景讨论。计算沃罗诺伊图的数学概念如下描述：
[0015]Ngoc
‑
MinhL
ê
，“3空间中简单抽象的沃罗诺伊图的随机增量构造”，计算机科学报告174
‑
03/1995，哈根远程大学。
[0016]在一个沃罗诺伊图，一个区域中，例如2D图像，根据预定点(沃罗诺伊位点或种子)被划分为多个区域。每个区域都围绕其中一个沃罗诺伊位点延伸。2D图像的像素分配给了沃罗诺伊位点最接近的区域。相应地，可以通过与两个相邻的沃罗诺伊站点具有相同的距离来定义沃罗诺伊区域之间的边界。

技术实现思路

[0017]可以认为是本专利技术的目的，以指示一种显微镜系统和方法，该显微镜系统和方法可以捕获和分析以特别可靠且在很大程度上自动化方式进行分析的对象。
[0018]该目的是通过计算机实施方法和本专利技术的显微镜系统实现的。
[0019]根据本专利技术的计算机实施方法，用于至少一个显示多个对象的显微镜图像的实例分割，至少包含以下过程：计算显微镜图像中对象的对象中心的位置。它确定显微镜图像的哪些图像区域被对象覆盖。沃罗诺伊区域是使用对象中心作为沃罗诺伊位点计算的。实例分割蒙版是根据或者使用沃罗诺伊区域的边界将对象覆盖的图像区域分离为不同实例来确定的。
[0020]根据本专利技术的计算机程序包括命令，当该程序由计算机执行时，所述命令会导致执行根据本专利技术的方法。
[0021]根据本专利技术的显微镜系统，包括用于图像捕获的显微镜和一个计算设备，该计算设备被配置为根据本专利技术执行计算机实施方法。特别的，显微镜被设计用于捕获显微镜图像或使用显微镜图像计算出的原始数据。特别的，可以将计算设备配置为：确定显微镜图像中对象的对象中心的位置；确定显微镜图像的哪些图像区域被对象覆盖；使用对象中心作为沃罗诺伊位点计算沃罗诺伊区域；并根据或使用沃罗诺伊区域的边界将对象覆盖的图像区域分离为不同的实例，来确定实例分割蒙版。
[0022]特别的，这些对象可以是生物细胞或细胞部分。在此示例中，对象中心是细胞中心，即细胞部分或细胞细胞器中心。细胞或对象覆盖的区域也可以称为汇合。因此，汇合显示了由细胞覆盖的显微镜图像部分的大小和位置。使用已知的图像处理方法，可以通过适当的工作相对可靠地确定对象中心。对象覆盖的图像区域的确定也可以相对稳健，精确地进行，例如以二进制分割蒙版的形式进行。这两种方法与沃罗诺伊分区结合使用，以生成实例分割蒙版。因此，可以用与对象中心和二进制分割蒙版基本上相同的鲁棒性和适度工作来确定实例分割蒙版。与已知的用于实例分割的方法相比，这通常需要更少的工作，同时产生更高的精度和可靠性。
[0023]因此，可以生成实例分割蒙版，而无需为此训练特殊实例分割模型。这可以大大减少所需的注释和训练工作。
[0024]对于许多应用，不再需要使用单独的实例分割模型，这在速度方面可能是有利的。
[0025]可选实施例
[0026]根据本专利技术的显微镜系统以及根据本专利技术的方法的变体是从属权利要求的目的，并在以下描述中进行了解释。
[0027]沃罗诺伊区域
[0028]对象中心用作沃罗诺伊站点，以计算沃罗诺伊分区。这将一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于显示多个对象(21)的至少一个显微镜图像(20)的实例分割的计算机实施的方法，包括：计算(P1)显微镜图像(20)中对象(21)的对象中心(31)的位置；确定(P2)显微镜图像(20)的哪些图像区域(41)被对象(21)覆盖；使用对象中心(31)作为沃罗诺伊位点(31
’
)计算(P3)沃罗诺伊区域(51)；通过使用沃罗诺伊区域(51)的边界(52，52
’
)将被对象(21)覆盖的图像区域(41)分成不同的实例(61)，确定(P4)实例分割蒙版(60)。2.根据权利要求1所述的方法，其中计算沃罗诺伊区域(51)的边界(52、52
′
)，使得每个边界(52)与两个最近的对象中心(31A、31B)具有相同的距离；其中所述距离被计算为欧几里得距离。3.根据权利要求1所述方法，其中，根据至少一个显微镜图像(20)的像素值定义一个度量；其中计算了沃罗诺伊区域(51)的边界(52，52')，以使每个边界(52')与两个最近的对象中心(31)具有相同的距离，其中根据度量确定距离。4.根据权利要求1的方法，其中计算了沃罗诺伊区域(51)的边界(52，52')，以使每个边界与两个最近的对象中心具有相同的距离(31)，其中所述距离是由显微镜图像(20)中结构加权的最短路径。5.根据权利要求4的方法，其中所述对象(21)是生物细胞(21')，其中通过在距离确定的结构中进行加权是细胞壁。6.根据权利要求1的方法，其中计算了实例分割蒙版(60)的置信图，置信图只是实例分割蒙版的每个像素或实例的置信度(60)，其中，置信图是根据各个像素(25
‑
28)与相邻对象中心(31a，31b)的距离计算的。7.根据权利要求6的方法，其中，随着像素(28)与最近的相邻对象中心点(31B)的距离降低，在置信图中指示该像素的置信度增加；或者其中置信图只是像素(28)的置信度，该置信度以所述像素(28)与最近对象中心(31b)的距离(28)以及与所述像素(28)与第二个最近的对象中心(31A)之间的差异成比例增加。8.根据权利要求1的方法，其中，在覆盖的图像区域(41)的分离中，使用沃罗诺伊区域的边界(52，52')将任一沃罗诺伊区域(51)分成两个单独的区域(41)，执行校正，其中两个单独区域的较小区域被丢弃或分配给一个或多个相邻的沃罗诺伊区域(51)。9.根据权利要求1所述的方法，其中，由对象(21)覆盖的对象中心(31)和图像区域(41)由同一显微镜图像(20)确定。10.根据权利要求1所述的方法，其中，由对象(21)覆盖的对象中心(31)和图像区域(41)是由不同的显微镜图像(20)确定的，其中，所述不同的显微图像(20)由不同的显微镜技术或显微镜设置来配准和捕获。
11.根据权利要求1所述的方法，其中，的实例分割蒙版(60)以以下一种或多种...

【专利技术属性】
技术研发人员：曼努埃尔，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：