包含重叠粒子的图像的处理制造技术

本公开提供一种生成用于训练机器学习模型的训练数据的计算机实现方法，所述机器学习模型用于生成包含重叠粒子的图像的分割掩膜。从不包含重叠的稀疏粒子图像生成训练数据。如果粒子可以被清楚地确认，则生成非重叠粒子的掩膜通常不是问题；在许多情况下诸如阈值化的简单方法已能产生可用的掩膜。稀疏图像然后可以被组合到包含人工重叠的图像。对于产生大量训练数据的掩膜也可以采用同样的做法，因为许多组合可以仅由小的图像集创建。所述方法是简单而有效的并可以适于许多域，例如通过将风格迁移添加到生成的图像或通过包括额外的扩充步骤。步骤。步骤。

【技术实现步骤摘要】
包含重叠粒子的图像的处理


[0001]本专利技术涉及生成用于训练机器学习模型的训练数据的计算机实现方法，该机器学习模型用于生成包含重叠粒子的图像的分割掩膜；以及用于生成机器学习模型的计算机实现方法，以及用于生成包含重叠粒子的图像的分割掩膜的方法。

技术介绍

[0002]在许多医学背景下，临床医生和科学家能够可靠地分析细胞和细胞群的图像至关重要。此类分析可以包括细胞的计数、平均细胞体积的量化和相关细胞形状的测量。当图像包括稀疏细胞群时，这些分析技术可以直接自动化。然而，在更密集的细胞群中，切片图像中经常存在重叠细胞，这使得这些任务更加成问题。这对于例如红细胞群尤其如此，其中重叠和/或结块是特别普遍的问题。
[0003]机器学习技术极大地帮助了包含重叠细胞的此类图像的分析。然而，为了训练此类模型，需要真实情况信息，即用于包含重叠细胞的图像的“正确”分割掩膜。目前，此类真实情况信息的生成极度耗时，并且通常需要训练有素的临床医生对图像进行手动且艰苦的注释，然后才能使用所述图像来训练机器学习模型。
[0004]本专利技术旨在克服准备真实情况信息的这一困难，从而提高可以生成训练数据的效率，因此提高可以生成稳健机器学习模型的效率。虽然本专利技术的主要应用涉及包含重叠细胞的图像，但应当注意，它同样适用于包含重叠粒子的任何其他图像。

技术实现思路

[0005]总而言之，本申请针对可以生成机器学习模型的训练数据的过程。在高层次上，数据是通过获得用于非重叠粒子的图像的分割掩膜来生成的。然后，将非重叠粒子的图像重叠以生成模拟组合图像。然后通过将用于包含非重叠粒子的组成图像中的每一个的分割掩膜重叠，来生成用于这些模拟组合图像适当分割掩膜。
[0006]更具体地，根据本专利技术的第一方面，提供了用于生成训练数据的计算机实现方法，该训练数据用于训练用于生成包含重叠粒子的图像的分割掩膜的机器学习模型，该方法包括以下步骤：获取包含非重叠粒子的多个图像；获得多个分割掩膜，每一个分割掩膜对应于多个获取的图像中的相应图像；通过组合多个图像中的图像来生成多个模拟组合图像，该模拟组合图像包括重叠粒子；并且针对每一个模拟组合图像，通过组合分割掩膜来生成模拟分割掩膜，该分割掩膜针对组成图像中的每一个获得，该组成图像被组合以生成该模拟组合图像。
[0007]已经表明(见下文)，以这种方式生成的训练数据会从重叠粒子的图像中产生高度准确分割掩膜。
[0008]本申请中使用的语言是清楚的，并且被技术人员很好地理解。然而，为了避免疑问，我们在下面陈述了一些定义以帮助解释权利要求：
[0009]·“机器学习模型”是分析模型，其依赖于机器学习的原理，以便从输入中生成有
意义的输出。具体地讲，机器学习模型是那些性能能够随着经验改善的模型，并且其能够“学习”，随着它们被应用于越来越多的训练数据，因此与手动人工处理相比，在例如结果的准确性上得到改善。机器学习模型可以是分类模型(其中输入被分类为特定类别)或回归模型(其中基于输入预测参数的连续值)。本专利技术涉及依赖于监督学习的模型，即其中训练数据包括输入和与这些输入相关联的“正确”输出。这可以称为真实情况信息。在一些情况下，机器学习模型可能依赖于“半监督”学习，其中训练数据包括仅输入数据的混合，以及包括如上所述的输入和“正确”输出的数据。通常，机器学习模型根据数学优化的原理进行操作。可以受益于本专利技术中采用的本专利技术的第一方面的训练数据生成方法的机器学习模型的实例是如在Ronneberger et al.(2015)1,Fast R
‑
CNN,Faster R
‑
CNN中所述的U
‑
Net算法以及如在Girshick et al.(2013)2中所述的YOLO算法。
[0010]·“训练”机器学习模型是改善机器学习模型的性能的过程。在本专利技术中，“训练数据”用于训练模型。训练数据包括一组数据，其中输入与“正确”输出相关联。这可以被称为“标记的”数据。例如，在本专利技术中，训练数据包括模拟组合图像(输入)和模拟分割掩膜(输出)的对。这些最好彼此相关联地存储，以确保训练效率。
[0011]·
在本专利技术的上下文中，“获取”非重叠粒子的多个图像可以涉及直接获取图像，即通过使用某种图像捕获装置来捕获图像。替代地，“获取”多个图像可以指在它们已经在先前步骤中被捕获之后接收多个图像。有关这些图像的获取的更多细节在本申请中的后面阐述。“包含非重叠粒子的图像”应被解释为意指仅包含非重叠粒子的图像，或基本上不包含其中的粒子之间的重叠的图像。
[0012]·
本专利技术包括获得用于非重叠粒子的多个图像中的每一个的分割掩膜的步骤。在此，术语“分割掩膜”是指值的二维阵列，每一个优选地对应于图像的相应像素，其中对应于像素的值提供对在该像素中显示的内容进行分类的信息。分割掩膜的每一个像素可以取的值的范围优选地仅限于少数值。例如，分割掩膜可以是二进制分割掩膜的形式，其中例如值为0是指像素中不存在细胞，值为1是指像素中存在单元格。正如我们后面解释的，当考虑包含重叠粒子的图像时，分割掩膜可能取超过两个值。分割掩膜中的像素的值与图像的“像素值”不同(后面解释)。为了避免混淆，分割掩膜中的像素值此后称为掩膜像素值。
[0013]可以在全文中阐述进一步定义。
[0014]在一些情况下，获取仅包括非重叠粒子的图像可能具有挑战性。因此，为了确保是这种情况，获取包含非重叠粒子的多个图像可以包括：获取多个图像，该多个图像包括：包括非重叠粒子的图像的第一子集，以及包括非重叠粒子和重叠粒子的图像的第二子集；以及从多个图像中去除图像的第二子集。可以手动(即由有经验的临床医生或科学家)或自动执行图像的第二子集的去除。例如，训练独立的神经网络方式以识别那些包含重叠粒子的图像，随后可将它们去除。以这种方式，仅保留包含非重叠粒子的图像。这是有利的，因为这意味着从图像的第一子集获得的分割掩膜更准确，因为仅从非重叠图像获得它们。
[0015]有可以获得多个图像的分割掩膜的许多方式。例如，针对多个图像中的每一个图
像获得分割掩膜可以包括将自适应阈值算法应用于图像。另外地或替代地，为多个图像中的每一个图像获得分割掩膜可以包括将Laplacian边缘检测算法应用于图像，如在例如Vallotton et al.(2009)3中使用的。应当注意，各种图像分割方法是技术人员众所周知的，并且可以在网上4找到。如上所概述，优选的是获得分割掩膜包括获得二进制分割掩膜，其中掩膜像素值为1表明细胞在图像中的给定点处存在或不存在，并且掩膜像素值为0表明相反的情况。优选地，掩膜像素值为1表明存在单元格，且掩膜像素值为0表明不存在单元格。本质上，分割掩膜提供了黑白图像的等效物，其中细胞以白色显示且背景以黑色显示，或反之亦然。
[0016]我们现在更详细地讨论如何生成分割掩膜、模拟组合图像和模拟分割掩膜。这是参考多个图像中的第一图像和第二图像来进行的，但应当理解，这可以应用于多个图像中的多于一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现方法，所述计算机实现方法生成用于训练机器学习模型的训练数据，所述机器学习模型用于生成包含重叠粒子的图像的分割掩膜，所述方法包括：获取包含非重叠粒子的多个图像；获得多个分割掩膜，每一个分割掩膜对应于所述多个图像中的相应图像；通过组合所述多个图像中的图像来生成多个模拟组合图像，所述模拟组合图像包括重叠粒子；以及针对每一个模拟组合图像，通过组合所述分割掩膜来生成相应模拟分割掩膜，所述分割掩膜针对组成图像中的每一个获得，所述组成图像被组合以生成所述模拟组合图像。2.根据权利要求1所述的计算机实现方法，其中：所述多个图像包括第一图像和第二图像，每一个图像都由像素的阵列组成，每一个像素都具有表明所述像素的特性的相关像素值；获得所述多个分割掩膜包括：获得对应于所述第一图像的第一分割掩膜；以及获得对应于所述第二图像的第二分割掩膜；生成所述多个模拟组合图像包括组合所述第一图像和所述第二图像；以及生成所述多个模拟分割掩膜包括组合所述第一分割掩膜与所述第二分割掩膜。3.根据权利要求2所述的计算机实现方法，其中：组合所述第一图像和所述第二图像包括：针对所述第一图像中的每一个像素，将所述像素的像素值与第二图像的对应像素的像素值组合以获得模拟图像的对应像素的像素值。4.根据权利要求3所述的计算机实现方法，其中：将所述第一图像的所述像素的所述像素值与所述第二图像的所述对应像素的所述像素值组合包括选择两个像素值中的最小像素值并将该最小值作为所述模拟图像的所述对应像素的所述像素值。5.根据权利要求1至4中任一项所述的计算机实现方法，其中：所述分割掩膜包括多个像素，每一个像素都具有表明所述像素所属类别的掩膜像素值，所述类别包括：背景类别，所述背景类别表明没有粒子存在于该像素中；以及粒子类别，所述粒子类别表明有粒子存在于该像素中。6.根据权利要求5所述的计算机实现方法，其中：将所述第一分割掩膜与所述第二分割掩膜组合包括：将所述第一分割掩膜的像素的像素值与所述第二分割掩膜的对应像素的像素值组合以确定所述模拟分割掩膜的对应像素的像素值，所述模拟分割掩膜的所述像素值表明所述模拟分割掩膜的所述像素所属的类别。7.根据权利要求6所述的计算机实现方法，其中：将所述背景类别中的像素与所述背景类别中的另一像素组合产生背景类别中的像素；将所述背景类别中的像素与所述粒子类别中的像...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：豪夫迈，
类型：发明
国别省市：