通过利用类比例数据的卷积字典学习对对象群体进行分类制造技术

披露了一种用于对图像中的对象(例如，细胞)进行分类和/或计数的方法，该图像包含若干种类型的对象的混合物。使用有关对象混合物的先验统计信息(类比例数据)来改善分类结果。本技术可以针对包含多种对象类型的混合物的图像使用生成模型，以便利用类比例数据和经分类的对象模板两者来推导出用于对细胞进行分类和/或计数的方法。该生成模型将图像描述为许多具有单个细胞的图像的总和，其中，每个细胞的类选自某一统计分布。本技术的实施例已经成功地用于对来自正常血液供体和异常血液供体两者的经裂解血液的图像中的白细胞进行分类。

Classification of object groups by using convolution dictionary learning of scale like data

【技术实现步骤摘要】
【国外来华专利技术】通过利用类比例数据的卷积字典学习对对象群体进行分类相关申请的交叉引用本申请要求现在未决的于2017年11月14日提交的美国临时申请号62/585,872和2018年6月1日提交的美国临时申请号62/679,757的优先权，这些申请的披露内容通过援引并入本文。
本披露涉及图像处理，并且具体地涉及图像(比如全息无透镜图像)中的对象分类和/或计数。
技术介绍
许多领域受益于确定对象的类的能力、并且尤其是对图像中的对象进行分类和计数的能力。例如，生物样本图像中的对象检测和分类在诊断疾病和预测患者结果方面具有许多潜在的应用。然而，由于各种各样的可能的成像模态，生物数据可能潜在地会受到低分辨率图像或患者之间的显著生物变异性的影响。此外，计算机视觉中的许多现有技术的对象检测和分类方法需要大量的带注释的数据以进行训练，但是对于生物图像而言通常不容易获得此类注释，因为注释者必须是特定生物数据类型方面的专家。另外，许多现有技术的对象检测和分类方法是针对每个类包含少量对象实例的图像进行设计的，而生物图像可能包含成千上万个对象实例。突显出这些挑战中的许多挑战的一个特定应用是全息无透镜成像(LFI)。由于LFI具有以最低限度的硬件要求产生具有较大视场(FOV)的细胞图像的能力，因此其常用于显微镜的医学应用。然而，关键的挑战在于，当FOV较大时，LFI的分辨率通常较低，从而使得难以对细胞进行检测和分类。由于细胞形态也可能因为人的不同而显著不同(尤其是在涉及疾病时)的事实，细胞分类的任务更加复杂。另外，对于图像中的各个细胞而言，通常无法获得注释，并且可能只能经由使用商业血液学血液分析仪来获得对各种细胞类的预期比例的估计。在先前的工作中，LFI图像已经用于对荧光标记的白细胞(WBC)进行计数，但未用于将WBC分类为其各种子类型(例如，单核细胞、淋巴细胞和粒细胞)的更困难的任务。在先前的工作中，作者已经建议使用经染色WBC的LFI图像进行分类，但是他们没有提供量化的分类结果。关于WBC分类的现有工作使用来自常规显微镜的经染色细胞的高分辨率图像，并且尝试使用手工制作特征和/或神经网络对细胞进行分类。然而，在不进行染色和/或不具有高分辨率图像的情况下，不容易看到细胞细节(即，细胞核和细胞质)，从而使得对WBC进行分类的任务显著更加困难。此外，纯数据驱动的方法(比如，神经网络)通常需要大量带注释的数据才能成功，这些数据是WBC的无透镜图像不可获得的。因此，长期以来感到需要一种用于在重建的无透镜图像中对对象(尤其是WBC)的各种子类别(例如，单核细胞、淋巴细胞和粒细胞)进行检测、计数和/或分类的方法，其中，每个图像可能具有每个对象类别数百到成千上万个实例，并且只能用图像中每个类的预期数量的对象实例来对每个训练图像进行注释。因此，一个关键的挑战在于，任何对象实例都没有边界框注释。
技术实现思路
本披露提供了一种用于除了通过模板字典编码的对象外观之外还使用类比例数据来对对象群体进行分类以更好地使所产生的对象群体的分类合理化的改进技术。在对血液样本(或血液样本的图像)中的血细胞进行分类时，由于血细胞混合物的变异性受到生理学的约束，因此使用当前披露的技术可以非常有利。因此，可以使用有关血细胞混合物的统计信息(类比例数据)来改善分类结果。在一些实施例中，本披露是一种用于基于模板字典和类比例数据对至少一个对象的群体进行对象分类的方法。获得类比例数据以及包括至少一个对象类的至少一个对象模板的模板字典。获得图像，该图像中描绘有一个或多个对象。该图像可以是例如全息图像。确定该图像中的对象的总数。提取一个或多个图像补丁，每个图像补丁包含该图像中的相应对象。该方法包括基于该相应图像补丁与每个对象模板的匹配强度并且受该类比例数据的影响来确定每个对象的类。在一些实施例中，提供了一种用于对样本和/或样本的图像中的对象进行分类的系统。该系统可以包括腔室，该腔室用于保持该样本的至少一部分。该腔室可以是例如流动腔室。提供了无透镜图像传感器用于获得位于该腔室中的该样本的该部分的全息图像。该图像传感器可以是例如有源像素传感器、CCD、CMOS有源像素传感器等。在一些实施例中，该系统进一步包括相干光源。处理器与该图像传感器通信。该处理器被编程用于执行本披露的方法中的任何一种。例如，该处理器可以被编程用于：获得其中描绘有一个或多个对象的全息图像；确定该图像中的对象的总数；获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；提取一个或多个图像补丁，每个图像补丁包含该图像中的相应对象；以及基于该相应图像补丁与每个对象模板的匹配强度并且受该类比例数据的影响来确定每个对象的类。在一些实施例中，本披露是一种非暂态计算机可读介质，其上存储有用于指示计算机执行本文披露的方法中的任何一种方法的计算机程序。例如，该介质可以包括用于进行以下操作的指令：获得其中描绘有一个或多个对象的全息图像；确定该图像中的对象的总数；获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；提取一个或多个图像补丁，每个图像补丁包含该图像中的相应对象；以及基于该相应图像补丁与每个对象模板的匹配强度并且受该类比例数据的影响来确定每个对象的类。在一些实施例中，本披露提供了图像的概率生成模型。以对象的总数为条件，该模型根据类比例的先验模型、针对每个类生成对象实例的数量。然后，该模型针对每个对象实例生成对象的位置以及描述对象的外观的卷积模板。然后，可以将图像生成为与所有的对象实例相关联的卷积模板的叠加。给定模型参数，示出了可以将对新图像中的对象实例进行检测、计数和分类的问题表述为卷积稀疏编码问题的扩展，其可以类似于PCT/US2017/059933中示出的问题那样以贪婪的方式(greedymanner)解决。然而，与参考文献中披露的方法不同的是，本生成模型利用类比例先验知识，这除了针对贪婪方法(greedymethod)提供用于确定对象数量的原则性停止准则之外，还大大增强了对多个对象实例进行共同分类的能力。本披露还解决了从已知的细胞类型比例中学习模型参数的问题，这被表述为卷积字典学习利用关于类比例的先验知识的扩展。在人类血液样品的无透镜成像(LFI)图像上评估了当前披露的利用类比例先验知识的卷积稀疏编码方法的示例性实施例。针对估计WBC比例的任务的实验表明，本方法不仅明显地胜过标准卷积稀疏编码，而且还胜过支持向量机和卷积神经网络。此外，在来自健康供体和来自由于各种病症(这些病症在先验模型中为罕见事件)而导致WBC浓度异常的供体的血液样品上测试了本方法，从而证明本方法能够在广泛范围的生物变异性上并且针对在先验模型下不太可能先验的情况提供有希望的结果。附图说明为了更全面地理解本披露的性质和目的，应当参考以下结合附图的详细描述，在附图中：图1是根据本披露的实施例的方法；图2是根据本披露的另一个实施例的系统；图3A是包含粒细胞、淋巴细胞和单核细胞的混合物的白细胞的示例性图像；图3B是由白框标识的图3A的区域本文档来自技高网...

【技术保护点】
1.一种用于基于模板字典和类比例数据对对象群体进行分类的方法，该方法包括：/n获得其中描绘有一个或多个对象的图像；/n确定该图像中对象的总数(N)；/n获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；/n提取一个或多个图像补丁(e

【技术特征摘要】
【国外来华专利技术】20171114 US 62/585,872;20180601 US 62/679,7571.一种用于基于模板字典和类比例数据对对象群体进行分类的方法，该方法包括：
获得其中描绘有一个或多个对象的图像；
确定该图像中对象的总数(N)；
获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；
提取一个或多个图像补丁(ei)，该一个或多个图像补丁中的每个图像补丁包含该图像中的相应对象(i)；以及
基于该相应图像补丁(ei)与每个对象模板的匹配强度(αi)并且受该类比例数据的影响来确定每个对象的类。


2.如权利要求1所述的方法，其中，该图像是全息图像。


3.如权利要求1所述的方法，其中，该匹配强度是根据来确定的，其中，i是对象，是第ki个对象模板的图像，并且ei是与第i个对象相对应的图像补丁。


4.如权利要求1所述的方法，其中，每个对象的类受在给定对象总数为N的情况下对象在类c中的概率pc|N的影响，并且其中，该概率pc|N基于该类比例数据。


5.如权利要求1所述的方法，其中，该类比例数据通过预定值(λ)进行加权。


6.如权利要求1所述的方法，其中，每个对象(i)的对象模板的索引(k)是根据来确定的，其中，dj是第j个对象模板的图像，K是对象模板的总数，ei是与第i个对象相对应的图像补丁，c是类，C是类的总数，dj是第j个对象模板的图像，并且pc|N是在给定对象总数为N的情况下对象在类c中的概率，并且λ是预定的加权值。


7.如权利要求6所述的方法，其中，类c的比例是根据来确定的，其中，N是对象总数，是属于类c的对象的数量，是第ki个对象模板的图像。


8.如权利要求1所述的方法，其中，该模板字典包括针对单核细胞、淋巴细胞和粒细胞中的一个或多个的图像模板。


9.一种用于对样本中的对象进行分类的系统，该系统包括：
腔室，该腔室用于保持该样本的至少一部分；
图像传感器，该图像传感器用于获得位于该腔室中的该样本的该部分的图像；以及
处理器，该处理器与该图像传感器通信，该处理器被编程用于：
获得其中描绘有一个或多个对象的图像；
确定该图像中对象的总数(N)；
获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；

【专利技术属性】
技术研发人员：弗洛伦斯·耶林，本杰明·哈菲勒，雷内·威尔达，
申请(专利权)人：医学诊断公司，
类型：发明
国别省市：比利时;BE