使用区域级注释的自举的基于图像处理的对象分类制造技术

本发明专利技术的技术涉及使用区域级注释的自举进行对象分类。对于多个图像中的每个图像，可以识别所述图像内的区域。对于每个区域，可以识别区域特定标签，可以检测所述区域内的对象集，并且可以向每个对象分配对象特定标签。所述对象特定标签可以与分配给所述对象所位于的所述区域的所述区域特定标签相同。对于所述多个图像中的每个图像，可以定义训练数据集以包括对象位置数据(指示用于检测到的对象的图像内位置数据)和标签数据(指示分配给所述对象的所述对象特定标签)。可以使用训练数据来训练图像处理模型。所述训练可以包括学习定义由所述图像处理模型执行的计算的参数集的值。由所述图像处理模型执行的计算的参数集的值。由所述图像处理模型执行的计算的参数集的值。

【技术实现步骤摘要】
【国外来华专利技术】使用区域级注释的自举的基于图像处理的对象分类
[0001]相关申请的交叉引用
[0002]本申请要求于2019年10月31日提交的美国临时申请号62/929,100的权益和优先权，该美国临时申请出于所有目的通过引用将其整体被并入本文。

技术介绍

[0003]通常，处理图像以检测每个图像内的不同对象并将不同对象中的每个不同对象进行分类。这种处理可涉及手动工作和/或自动化方法。一个示例性使用案例是在生物学环境中，其中处理组织学图像以识别单独细胞并识别用于每个细胞的细胞类型。手动完成这种处理可能花费大量时间和财务费用，尤其是正在审查大量图像时(通常是这样的)。例如，全载玻片组织学图像可以是很大的并且包含成千上万细胞的描述。进一步地，这种标记可能需要大量的领域专业知识。
[0004]一种加快这种过程的方法是使用自动化技术处理图像。例如，深度学习模型可以用于向图像内的单独对象(例如，单独细胞)分配标签。然而，训练数据集的大小可以强烈地影响这种方法的灵敏性与特异性。训练数据通常包括传统上作为图像的手动评估的结果而产生的有注释的图像(其识别图像内对象的位置和对象特定分类)。
[0005]假如手动评估产生上述的大量时间和财务费用，获得大型训练集可能是高成本的和/或困难的。因此，训练图像处理模型(例如，深度学习模型)以准确地执行这些任务可能是困难的。

技术实现思路

[0006]在一些实施例中，使用自举技术处理用于对象检测和分类的图像。更具体地，可以处理一个或多个图像中的每个图像以初始识别图像内较高级区域并且将每个较高级区域与区域特定标签相关联。例如，可以定义较高级区域对应于由用户输入轮廓定义的图像的一部分，并且区域特定标签可以包括由用户输入指示的细胞类型。然后，可以(例如，使用边缘检测技术、对比分析、强度分析、颜色分析等)检测区域内较低级对象。较低级对象可以包括(或是)单独细胞或细胞核。
[0007]可以将对象特定标签分配给较低级对象中的每个较低级对象，该对象特定标签与分配给较高级区域的区域特定标签相同，该较低级对象位于该较高级区域内。可以训练图像处理模型(例如，机器学习模型，诸如深度神经网络和/或卷积神经网络)。后处理可以包括识别相关联的对象特定标签的手动审查的自动检测到的对象的子集。例如，可以生成和输出一个或多个呈现，该一个或多个呈现包括部分或全部图像以及对象子集的识别及其分配到的对象特定标签。收到的任何输入可以用作关于对象特定标签是否准确(或其他标签是否对应于识别出的对象)的指示。可以用这种反馈重新训练图像处理模型。因此，可以训练图像处理模型以具有高特异性和灵敏度同时需要指示手动审查的相对较少的输入。
[0008]在一些实施例中，提供了一种计算机实现的方法。对于图像集中的每个图像，可以识别图像内的多个区域。对于多个区域中的每个区域，可以针对每个区域识别区域特定标
签，可以检测区域内的对象集，并且可以向对象集的每个对象分配对象特定标签。对象特定标签可以与分配给对象所位于的区域的区域特定标签相同。对于图像集的每个图像，可以定义训练数据集以包括对象位置数据(对于检测到的对象集中的每个对象，指示用于对象的图像内位置数据)和标签数据(关于检测到的对象集中的每个对象，指示分配给该对象的对象特定标签)。可以使用训练数据来训练图像处理模型。训练可以包括学习定义由图像处理模型执行的计算的参数集的参数值集。
[0009]本公开的一些实施例包括一种系统，该系统包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
[0010]已使用的术语和表述被用作描述性而非限制性的术语，并且在使用此类术语和表述时无意排除示出和描述的特征或其部分的任何等效物，但应认识到在要求保护的本专利技术的范围内可以进行各种修改。因此，应当理解，虽然通过实施例和任选特征具体公开了要求保护的本专利技术，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在本专利技术范围内。
附图说明
[0011]结合以下附图描述本公开：
[0012]图1示出了一种包括多个被配置为支持设备间通信和图像处理的设备/系统的图像处理交互系统。
[0013]图2展示了图像内的单独区域如何可以包括多个对象类型。
[0014]图3示出了用于生成和训练机器学习模型以检测和标记图像内的对象的过程300。
[0015]图4A至图4E示出了关于区域注释的图像。
[0016]图5A至图5F展示了应用非机器学习模型和图像处理启发法从区域注释产生自举、噪音核注释的结果。
[0017]图6A至图6C示出了用三个组织学图像的自举注释训练的模型所产生的对象标签。
[0018]图7A至图7C示出了用于组织学图像的对象特定标签和区域特定标签。
[0019]图8A至图8D示出了用于确定哪些对象特定标签可供审查者使用的具体度量。
[0020]图9A至图9B展示了用于审查选定对象特定标签的斑块选则和表示。
[0021]图10示出了用于使用机器学习向图像中的对象分配标签的过程。
[0022]在附图中，相似部位和/或特征可具有相同的参考标记。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标号来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。
具体实施方式
[0023]I.图像处理交互系统
[0024]图1示出了一种包括多个被配置为支持设备间通信和图像处理的设备/系统的图像处理交互系统100。用户装置105可以向图像处理系统110发送图像处理请求。可以通过界面(诸如在线界面)发送图像处理请求。图像处理请求可以识别一个或多个待处理图像。例如，图像处理请求可包括可以用于从图像源115检索图像的(例如，受试者和/或样品的)标识符。然后，图像处理系统110可以向图像源115发送针对包括该标识符和授权数据的图像的请求，该图像源可以返回该图像。作为另一实例，图像处理请求可以包括已经在客户端装置105处上传的图像或与这些图像相关联。
[0025]图像可以包括组织学图像，诸如描绘被H&E染色剂染色的H&E图像。图像可以包括另一免疫组织化学(IHC)图像(按照定义，其使用除H&E以外的一种染色剂)。可以将单一样品与相应的H&E和IHC图像相关联。共配准H&E和IHC图像(使用刚性的或可变形的图像配准)。然后，H&a本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现方法，其包括：访问图像集；对于所述图像集中的每个图像：识别所述图像内的多个区域；对于所述多个区域中的每个区域：识别用于所述区域的区域特定标签；检测所述区域内的对象集；并且向所述对象集中的每个对象分配所述对象的对象特定标签，所述对象特定标签与分配给所述对象所位于的所述区域的所述区域特定标签相同；对于所述图像集中的每个图像，定义训练数据集以包括：对象位置数据，对于检测到的对象集中的每个对象，所述对象位置数据指示用于所述对象的图像内位置数据；和标签数据，对于所述检测到的对象集中的每个对象，所述标签数据指示分配给所述对象的所述对象特定标签；以及使用训练数据来训练图像处理模型，其中所述训练包括学习定义由所述图像处理模型执行的计算的参数集的参数值集。2.根据权利要求1所述的方法，其进一步包括：对于所述图像集中的图像，选择所述对象集的不完整子集；促进一个或多个呈现，所述一个或多个呈现中的每个呈现包括：至少部分的所述图像；指示，所述指示作为所述至少部分的所述图像的一个或多个部分，所述一个或多个部分对应于所述对象集的所述不完整子集的一个或多个对象，以及对于所述一个或多个对象中的每个对象，分配给所述对象的所述对象特定标签；接收响应数据，对于所述对象集的所述不完整子集的至少一些对象中的每个对象，所述响应数据识别用于所述对象的不同的对象特定标签；以及使用所述不同的对象特定标签和学习到的参数值集执行所述图像处理模型的额外训练，其中所述额外训练包括生成第二参数值集，对于所述参数集中的至少一些参数，所述第二参数值集包括不同于所述学习到的参数值集中的相应参数值的新参数值。3.根据权利要求2所述的方法，其进一步包括：访问新图像；使用配置有所述第二参数值集的所述图像处理模型处理所述新图像，其中所述处理的结果包括对应于在所述新图像中检测到的特别对象集的特别对象特定标签集；以及输出所述特别对象特定标签集的表示。4.根据权利要求1所述的方法，其中：所述图像集中的每个图像包括描绘至少部分的组织切片的组织学图像；以及对于所述检测到的对象集中的至少一些对象中的每个对象：所述对象对应于细胞；并且所述对象特定标签对应于细胞类型。5.根据权利要求1所述的方法，其中所述图像处理模型包括深度卷积神经网络。
6.根据权利要求1所述的方法，所述方法进一步包括，对于所述对象集中的每个对象：确定所述对象的一个或多个特征，所述一个或多个特征涉及所述对象的大小、形状、纹理和/或颜色；基于所述一个或多个特征和与分配给所述对象的所述对象特定标签相关联的存储的标签特定特征数据确定是否满足标签差异条件；以及当确定满足所述标签差异条件时，将分配给所述对象的所述对象特定标签更新成不同的对象特定标签。7.根据权利要求1所述的方法，所述方法进一步包括，对于所述图像集中的每个图像：促进所述图像的呈现；接收定义所述图像中的边界集的第一用户输入，其中将所述多个区域中的每个区域识别为对应于所述边界集中的边界内的面积；以及接收识别分类集的第二用户输入，其中基于所述分类集中的分类来识别每个区域特定标签。8.一种系统，其包括：一个或多个数据处理器；以及非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令当在所述一个或多个数据处理器上执行时，使所述一个或多个数据处理器执行包括以下项的操作集：访问图像集；对于所述图像集中的每个图像：识别所述图像内的多个区域；对于所述多个区域中的每个区域：识别用于所述区域的区域特定标签；检测所述区域内的对象集；并且向所述对象集中的每个对象分配所述对象的对象特定标签，所述对象特定标签与分配给所述对象所位于的所述区域的所述区域特定标签相同；对于所述图像集中的每个图像，定义训练数据集以包括：对象位置数据，对于检测到的对象集中的每个对象，所述对象位置数据指示用于所述对象的图像内位置数据；和标签数据，对于所述检测到的对象集中的每个对象，所述标签数据指示分配给所述对象的所述对象特定标签；以及使用训练数据来训练图像处理模型，其中所述训练包括学习定义由所述图像处理模型执行的计算的参数集的参数值集。9.根据权利要求8所述的系统，其中操作进一步包括：对于所述图像集中的图像，选择所述对象集的不完整子集；促进一个或多个呈现，所述一个或多个呈现中的每个呈现包括：至少部分的所述图像；指示，所述指示作为所述至少部分的所述图像的一个或多个部分，所述一个或多个部分对应于所述对象集的所述不完整子集的一个或多个对象，以及
对于所述一个或多个对象中的每个对象，分配给所述对象的所述对象特定标签；接收响应数据，对于所述对象集的所述不完整子集的至少一些对象中的每个对象，所述响应数据识别用于所述对象的不同的对象特定标...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：文塔纳医疗系统公司，
类型：发明
国别省市：