识别多重免疫荧光图像中的自体荧光伪影制造技术

本文公开的实施例总体上涉及识别多重免疫荧光图像中的自体荧光伪影。特别地，本公开的方面涉及访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；基于所述预测来调整后续图像处理；执行所述后续图像处理；以及输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。的预测表征。的预测表征。

【技术实现步骤摘要】
【国外来华专利技术】识别多重免疫荧光图像中的自体荧光伪影
[0001]相关申请的交叉引用
[0002]本申请要求于2020年10月27日提交的美国临时专利申请编号63/106，114的权益和优先权，所述美国临时专利申请出于所有目的通过引用以其全文并入本文。


[0003]本文公开的方法和系统总体上涉及处理数字病理图像。具体来说，机器学习和图像处理技术被用于识别多重免疫荧光图像中的自体荧光伪影。

技术介绍

[0004]数字病理学涉及将样品(例如，组织样品、血液样品、尿液样品等)的载玻片扫描成数字图像。可以对样品进行染色，使得细胞中的选定蛋白质(抗原)相对于样品的其余部分在视觉上被差异化标记。样本中的靶标蛋白可称为生物标志物。可以针对组织样品，生成具有针对不同生物标志物的多种染色剂的数字图像。这些数字图像可以被称为多重免疫荧光图像。例如，多重免疫荧光图像可以使组织样品中肿瘤细胞与非肿瘤细胞之间的空间关系可视化。可以进行图像分析以识别和量化组织样品中的生物标志物。图像分析可以由计算系统或病理医师进行，以促进生物标志物的表征(例如，在存在、大小、形状和/或位置方面)以便通知(例如)疾病的诊断、治疗计划的确定或对疗法的反应的评定。
[0005]然而，与多重免疫荧光图像相关的突出复杂情况是，来自不同染色样品部分的光信号可能会以某种方式相互干扰，使得可能难以检测单一染料，并且从而导致检测不准确。此外或替代地，给定类型的生物材料可以以给定频率自然地自体荧光。当样品被用多种染色剂染色时，这种自体荧光可能混淆和/或模糊对染色样品图像的解释的可能性会增加。

技术实现思路

[0006]在一些实施例中，提供了一种计算机实现的方法。访问样本切片的多重免疫荧光图像。多重免疫荧光图像可以包括一个或多个自体荧光伪影(例如，自体荧光生物元素，诸如红细胞、脂肪、组织或连接的组织)。使用机器学习模型(U
‑
Net模型)来处理多重免疫荧光图像。处理的输出可以对应于关于多重免疫荧光图像是否包括一个或多个自体荧光伪影的预测。该预测可以识别多重免疫荧光图像的被预测为描绘自体荧光伪影的一个或多个特定部分。基于预测来调整后续图像处理。执行后续图像处理并且输出后续图像处理的结果。结果可以对应于样本的预测表征。
[0007]在一些实施例中，计算机实现的方法可以包括：基于对一个或多个自体荧光伪影中的每一个的预测来生成多重免疫荧光图像的经修改版本。例如，可以修改多重免疫荧光图像，使得被预测为描绘自体荧光伪影的一个或多个特定部分中的每一个被赋予空值、零值、基于多重免疫荧光图像的剩余部分计算的统计值(例如，中值或平均值)、基于该一个或多个特定部分周围的像素计算的统计值(例如，中值或平均值)，和/或基于一个或多个其他图像计算的统计值(例如，中值或平均值)。作为另一示例，可以对多重免疫荧光图像进行裁
剪以排除一个或多个特定部分。后续图像处理可以包括处理多重免疫荧光图像的经修改版本。
[0008]在一些实施例中，调整后续图像处理可以包括：针对图像的一个或多个区域中的每一个确定对应于多重免疫荧光图像的一个或多个特定部分的至少一个度量超过预定阈值。例如，一个或多个度量可以包括自体荧光伪影的累积大小、多重免疫荧光图像中自体荧光伪影的总数、或多重免疫荧光图像包括至少一个自体荧光伪影的概率。一个或多个度量可以包括输出的至少一部分或者基于处理的输出而生成。
[0009]在一些情况下，执行后续图像处理包括：基于多重免疫荧光图像的一个或多个特定部分的位置来修改一个或多个其他图像中的每一个。一个或多个其他图像中的每一个可以对应于样本的另一切片。可以处理一个或多个其他经修改图像。
[0010]在一些实施例中，计算机实现的方法可以包括：在访问多重免疫荧光图像之前接收包括一个或多个块的全载玻片图像。可以基于识别块中的特征来选择一个或多个块中的一个块。例如，可以对块执行边缘检测，其中一个或多个边缘的存在指示目标区域和非目标区域都存在于该块中。可以基于检测边缘的存在来选择块。可能不会选择其中未检测到边缘的块。所选择的块可以对应于多重免疫荧光图像。
[0011]在一些实施例中，计算机实现的方法可以进一步包括：在访问多重免疫荧光图像之前，将针对第一生物标志物的第一染色剂施加至样本的样品切片，并且生成具有第一染色剂的样品切片的第一图像。此外，可以将针对第二生物标志物的第二染色剂施加至样本的样品切片，并且可以生成具有第二染色剂的样品切片的第二图像。可以通过组合第一图像和第二图像来生成多重免疫荧光图像。
[0012]在一些情况下，后续图像处理包括检测对一组肿瘤细胞的描绘。结果可以表征一组肿瘤细胞的存在、数量和/或大小。
[0013]本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。该系统可进一步包括包含指令的非暂时性计算机可读存储介质，该指令当在一个或多个数据处理器上被执行时，使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。
[0014]在一些实施例中，提供了一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品。该计算机程序产品可以包括指令，该指令被配置成使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。
[0015]已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本专利技术的范围内，各种修改是可能的。因此，应当理解，虽然通过实施例和任选特征具体公开了本专利技术，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本专利技术范围内。
附图说明
[0016]结合附图描述本公开：
[0017]图1A
‑
图1B示出了不同类型组织的多重免疫荧光图像中的示例性自体荧光伪影；
[0018]图2示出了用于训练和使用机器学习模型来识别促进自体荧光伪影识别的结果的示例性计算系统；
[0019]图3A
‑
图3C示出了用于自体荧光伪影预测的示例性机器学习模型实现；
[0020]图4示出了根据各种实施例的示例性U
‑
Net；
[0021]图5示出了针对单个组织适应症使用经训练的机器学习模型生成的示例性训练准确度结果；
[0022]图6示出了针对六个组织适应症使用经训练的机器学习模型生成的示例性训练准确度结果；
[0023]图7示出了针对具有六个组织适应症的块和阴性块使用经训练的机器学习模型生成的示例性训练准确度结果；
[0024]图8示出了将经训练的机器学习模型的预测与已知的真实值进行比较的示例性结果；并且
[0025]图9说明了使用机器学习模型来识别自体荧光伪影的示例性过程。
[0026]在附图中，相似的部件和/或特征可以具有相同的参考标号。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标号来区分相同类型的各种部本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，其包括：访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；基于所述预测来调整后续图像处理；执行所述后续图像处理；并且输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。2.根据权利要求1所述的计算机实现的方法，其进一步包括：基于对所述一个或多个自体荧光伪影中的每一个的所述预测来生成所述多重免疫荧光图像的经修改版本，其中所述后续图像处理包括处理所述多重免疫荧光图像的所述经修改版本。3.根据权利要求1所述的计算机实现的方法，其中调整所述后续图像处理包括：对于所述多重免疫荧光图像的一个或多个区域中的每一个，确定对应于所述多重免疫荧光图像的所述一个或多个特定部分的至少一个度量超过预定阈值，其中所述至少一个度量包括所述处理的所述输出的至少一部分或者基于所述处理的所述输出而生成。4.根据权利要求1所述的计算机实现的方法，其中执行所述后续图像处理包括：基于所述多重免疫荧光图像的所述一个或多个特定部分的位置来修改一个或多个其他图像中的每一个，所述一个或多个其他图像中的每一个对应于所述样本的另一切片；并且处理经修改的一个或多个其他图像。5.根据权利要求1所述的计算机实现的方法，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。6.根据权利要求1所述的方法，其中所述机器学习模型包括U
‑
Net模型。7.根据权利要求1所述的计算机实现的方法，其进一步包括：在访问所述多重免疫荧光图像之前，接收包括一个或多个块的全载玻片图像；并且基于识别所述一个或多个块中的一个块中的特征来选择所述块，其中所述块对应于所述多重免疫荧光图像。8.根据权利要求1所述的计算机实现的方法，其进一步包括，在访问所述多重免疫荧光图像之前：将针对第一生物标志物的第一染色剂施加至所述样本的样品切片；生成具有所述第一染色剂的所述样品切片的第一图像；将针对第二生物标志物的第二染色剂施加至所述样本的所述样品切片；生成具有所述第二染色剂的所述样品切片的第二图像；并且组合所述第一图像和所述第二图像以生成所述多重免疫荧光图像。9.根据权利要求1所述的计算机实现的方法，其中执行所述后续图像处理包括检测对一组肿瘤细胞的描绘，并且其中所述结果表征所述一组肿瘤细胞的存在、数量和/或大小。10.根据权利要求1所述的计算机实现的方法，其中所述多重免疫荧光图像包括针对所
述样本切片的基于酪胺的染色。11.根据权利要求1所述的计算机实现的方法，其中使用所述机器学习模型处理所述多重免疫荧光图像包括：接收所述多重免疫荧光图像的通道图像；组合所述通道图像以生成合成图像；并且使用所述机器学习模型处理所述合成图像。12.根据权利要求1所述的计算机实现的方法，其中所述机器学习模型是第一机器学习模型，并且使用所述机器学习模型处理所述多重免疫荧光图像包括：接收所述多重免疫荧光图像的通道图像；使用所述第一机器学习模型处理所述通道图像中的第一通道图像；并且使用附加的对应机器学习模型处理所述通道图像的附加通道图像。13.根据权利要求1所述的计算机实现的方法，其中使用所述机器学习模型处理所述多重免疫荧光图像进一步包括：基于所述预测来调整所述多重免疫荧光图像以生成经调整图像；并且输出所述经调整图像以用于后续图像处理。14.一种系统，其包括：一个或多个数据处理器；以及非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；基于所述预测来调整后续图像处理；执行所述后续图像处理；并且输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。15.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：基于对所述一个或多个自体荧光伪影中的每一个的所述预测来生成所述多重免疫荧光图像的经修改版本，其中所述后续图像处理包括处理所述多重免疫荧光图像的所述经修改版本。16.根据权利要求14所述的系统，其中调整所述后续图像处理包括：对于所述多重免疫荧光图像的一个或多个区域中的每一个，确定对应于所述多重免疫荧光图像的所述一个或多个特定部分的至少一个度量超过预定阈值，其中所述至少一个度量包括所述处理的所述输出的至少一部分或者基于所述处理的所述输出而生成。17.根据权利要求14所述的系统，其中执行所述后续图像处理包括：基于所述多重免疫荧光图像的所述一个或多个特定部分的位置来修改一个或多个其
他图像中的每一个，所述一个或多个其他图像中的每一个对应于所述样本的另一切片；并且处理经修改的一个或多个其他图像。18.根据权利要求14所述的系统，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。19.根据权利要求14所述的系统，其中所述机器学习模型包括U
‑
Net模型。20.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：在访问所述多重免疫荧光图像之前，接收包括一个或多个块的...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：文塔纳医疗系统公司，
类型：发明
国别省市：