多重免疫荧光图像的图构建和可视化制造技术

本文提供了用于提供对MIF图像内表示的细胞环境的交互式探索和分析的系统、装置、制品、方法和/或计算机程序产品实施例和/或其组合和子组合。实施例包括流水线，该流水线被配置成通过识别MIF图像中的细胞并基于所识别的细胞的坐标和属性生成该MIF图像的图来生成具有表示该MIF图像中的细胞的可选图标的交互式可视化，其中，该图中的每个节点对应于这些细胞以及相邻细胞。该图可以被变换成嵌入，并基于这些嵌入来生成该图的交互式可视化。该交互式可视化中的可选图标对应于该图中的节点。可视化中的可选图标对应于该图中的节点。可视化中的可选图标对应于该图中的节点。

【技术实现步骤摘要】
【国外来华专利技术】多重免疫荧光图像的图构建和可视化


[0001]本披露内容总体上涉及构建多重免疫荧光图像的图表示，以用于交互式探索多重免疫荧光图像内的细胞关系以及用于生成关于治疗结果和治疗功效的预测。

技术介绍

[0002]多重免疫荧光(MIF)是一种用于使用标记抗体检测生物样品中的抗原的分子组织病理学工具。MIF已经成为使得能够同时检测组织切片中的生物标志物表达并深入了解细胞组成、功能和相互作用的有用工具。MIF的一个益处是捕获关于细胞环境内的细胞的复杂和广泛的信息。虽然由MIF图像提供的数据的深度和广度是有用的，但是数据的极度复杂性和数据量给解释和可视化带来了挑战。换句话说，分析MIF图像中的数据可能是一项艰巨的任务。

技术实现思路

[0003]众所周知，细胞环境很复杂。它们可能包括数百万个细胞和许多不同类型的细胞。这些细胞中的每一个都可能有数百种潜在的相互作用。对MIF图像中的生物标志物表达的分析为分析细胞和这些相互作用提供了有益的起点，但是考虑到所涉及的细胞数量，人工分析MIF图像几乎是不可能的。本披露内容中描述的技术将MIF图像提供的数据转换成直观的图格式，其中，MIF图像内的细胞可以被操纵、过滤、查询并用于相关联的医学预测。
[0004]本文提供了用于提供对MIF图像内表示的细胞环境的交互式探索和分析的系统、装置、制品、方法和/或计算机程序产品实施例和/或其组合和子组合。
[0005]在一些非限制性实施例中，该系统可以是在通用计算设备或用于图像分析和数据可视化的更专用的设备内实施的流水线。该系统可以包括其中存储有指令的存储器和/或非暂态计算机可读存储设备。当由至少一个计算机处理器执行时，可以本地或远程执行各种操作，以分析MIF图像并生成代表MIF图像内的细胞的交互式可视化。通过实施本文所披露的技术，交互式可视化提供了用于操纵与MIF图像中的细胞相关联的数据的界面。以这种方式，可以对MIF图像内的数据进行处理以揭示图像内的细胞见解，这在以前是无法通过常规分析实现的。交互式可视化描绘了这些见解，使医疗提供者可以进行假设和数据驱动的研究，从而可以使得更准确地诊断疾病，更准确地预测医疗结果和对治疗的响应，并且更好地了解细胞对当前治疗的反应。
[0006]实施例涉及用于生成具有表示MIF图像中的细胞的可选图标的交互式可视化的系统、装置、制品、方法和/或计算机程序产品实施例和/或其组合和子组合。这些实施例可以包括识别MIF图像中的细胞。每个细胞都可以与坐标和属性相关联。这些实施例可以进一步包括基于这些坐标和属性生成MIF图像的图，其中，该图包括对应于细胞以及相邻细胞的节点。该图可以进一步包括连接节点的边，并且还对关于每个细胞的属性(如关于该细胞周围的相邻细胞的信息)进行编码。这些实施例可以进一步包括将图变换成嵌入，这些嵌入是包括节点、边和属性的图的数学向量表示。这些实施例可以进一步包括基于嵌入来提供图的
交互式可视化。
[0007]应理解，以下具体实施方式部分而不是
技术实现思路
或摘要部分旨在用于解释权利要求。
技术实现思路
和摘要部分可以阐述本文描述的用于提供MIF数据的交互式可视化的增强致密化技术的一些而非全部可能的示例实施例，并且因此不旨在以任何方式限制所附权利要求。
附图说明
[0008]附图并入本文并形成说明书的一部分。
[0009]图1展示了根据一些实施例的示例实施方式的概述。
[0010]图2A展示了根据一些实施例的用于处理多重免疫荧光图像的示例多重免疫荧光图像系统流水线。
[0011]图2B展示了示例多重免疫荧光图像系统流水线的替代实施例。
[0012]图3展示了根据一些实施例的用于提供多重免疫荧光图像的交互式可视化的示例方法。
[0013]图4A展示了根据一些实施例的用于利用多重免疫荧光图像的交互式可视化的示例过程流程。
[0014]图4B展示了根据一些实施例的用于从多重免疫荧光图像的交互式可视化生成细胞邻域图的示例过程流程。
[0015]图5展示了用于实施各种实施例的示例计算机系统。
[0016]在附图中，相似的附图标记通常表示相同或类似的元件。另外，通常，附图标记的最左一位(或多位)数字标识该附图标记首次出现的图。
具体实施方式
[0017]本披露内容的以下具体实施方式参考了展示符合本披露内容的示例性实施例的附图。示例性实施例将充分揭示本披露内容的总体属性，使得在不脱离本披露内容的精神和范围的情况下，其他人可以通过应用(多个)相关领域的技术人员的知识容易地对这种示例性实施例的各种应用进行修改和/或改编，而无需过多的实验。因此，基于本文提出的教导和指导，这种改编和修改旨在处于示例性实施例的含义和多个等同方案内。应理解，本文的措辞或术语是出于描述而非限制的目的，使得本说明书的术语或措辞应由(多个)相关领域的技术人员根据本文的教导进行解释。因此，具体实施方式并不意味着限制本披露内容。
[0018]所描述的(多个)实施例以及本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用表明，所描述的(多个)实施例可以包括特定特征、结构或特性，但是并非每个实施例都一定包括特定特征、结构或特性。此外，这样的短语不一定是指相同的实施例。进一步地，当结合实施例描述特定特征、结构或特性时，无论是否明确描述，都应理解结合其他实施例来实现这种特征、结构或特性处于本领域的技术人员的知识范围内。
[0019]图1是示例过程流程100的概述的图。如本文所描述的，示例过程流程100仅提供对用于提供MIF图像数据的交互式可视化的特征的总体讨论。虽然以下讨论在MIF和MIF图像数据的上下文中讨论了交互式可视化，但是交互式可视化可以基于提供细胞信息的其他类型的图像数据，如多重免疫组织化学(MIHC)图像数据和质谱成像。因此，以下关于处理MIF
图像以产生图和嵌入并且随后生成交互式可视化的讨论也可以应用于处理来自MIHC和质谱图像的图像数据。下文参考图2至图4讨论了该过程和交互式可视化的更多细节。
[0020]如图1所示，示例过程流程100可以从MIF图像开始。MIF图像中的细胞环境通常非常复杂，并且由MIF的生物标志物表达提供的信息导致要解释大型数据集。过程流程100描述了将MIF图像变换成可视化，其允许以更加自动化的方式操纵和利用那些数据集。过程流程100可以涉及分析MIF图像以识别与图像中的细胞环境相关联的数据点。在实施例中，分析可以包括识别MIF图像中的组织细胞并将所识别的组织细胞分割成有生物学意义的区域。这种有生物学意义的区域的示例包括肿瘤中心和肿瘤基质。
[0021]用于执行分割步骤的函数的示例可以包括基于训练区域的随机森林分类器。例如，细胞分割可以包括识别具有预定大小并且偏心率在核生物标志物通道中具有足够对比度的圆形物体。作为另一个示例，可以使用沃罗诺伊分水岭(Voronoi watershed)来估计MIF图像中细胞的细胞膜和细胞质；膜生物标志物可以用于改进这些估计。生物标志物阳性通常通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于表征多重免疫荧光图像中的细胞相互作用的方法，该方法包括：识别该多重免疫荧光图像中的多个细胞，其中，该多个细胞中的每个细胞都与坐标和属性相关联，该多个细胞至少包括第一细胞和第二细胞；基于这些坐标和这些属性生成该多重免疫荧光图像的图，其中，该图包括与该多个细胞相对应的多个节点、多条边以及这些属性，并且其中，该多个节点至少包括与该第一细胞相对应的第一节点和与该第二细胞相对应的第二节点，并且其中，该多条边至少包括该第一节点与该第二节点之间的边；将该图变换成多个嵌入，其中，该多个嵌入包括该多个节点、该多条边以及这些属性的向量表示；以及基于该多个嵌入提供该图的交互式可视化。2.如权利要求1所述的方法，其中，这些属性包括该第一细胞的第一属性，并且这些属性包括该多个细胞中的每个细胞的多个免疫荧光强度，并且其中，该第一属性包括该第一细胞的免疫荧光强度，该方法进一步包括：使用一批免疫荧光强度的批量归一化来产生归一化免疫荧光强度，其中，该批免疫荧光强度是该多个细胞的该多个免疫荧光强度的子集，其中，该批免疫荧光强度包括该第一属性。3.如权利要求2所述的方法，其中，这些属性包括这些归一化免疫荧光强度。4.如权利要求1所述的方法，其中，这些坐标包括该第一细胞的第一坐标和该第二细胞的第二坐标，并且这些属性包括该第一细胞的第一属性和该第二细胞的第二属性，并且其中，生成该图进一步包括：检测该多个细胞中的多个节点对，其中，该多个节点对包括作为一对节点的该第一节点和该第二节点；以及基于该第一坐标与该第二坐标之间的距离在预定阈值内，建立该第一节点与该第二节点之间的边。5.如权利要求1所述的方法，进一步包括：提取该第一细胞的辅助特征，其中，该辅助特征包括该第一细胞的直径、该第一细胞的面积、或该第一细胞的偏心率中的至少一者。6.如权利要求5所述的方法，进一步包括：使用该多个细胞的包括该第一细胞的辅助特征的多个辅助特征的归一化来产生归一化辅助特征，其中，该多个嵌入进一步包括这些归一化辅助特征的向量表示。7.如权利要求1所述的方法，其中，变换该图进一步包括：选择与该多个节点中的所选节点相关联的跳数，其中，该跳数定义了该图内的邻域，并且其中，该邻域包括该多个节点的子集，该子集包括这些所选节点以及该多个节点中在到这些所选节点的该跳数内的任何节点；以及选择嵌入大小，其中，该嵌入大小代表保存在该多个嵌入内的与该图相关联的信息的量。8.如权利要求7所述的方法，其中，变换该图进一步包括：基于该跳数和该嵌入大小对该图应用训练算法；以及基于应用该训练算法生成该多个嵌入。
9.如权利要求8所述的方法，其中，该训练算法是无监督图训练算法，并且其中，对该图应用该训练算法进一步基于至少一个所选超参数。10.如权利要求1所述的方法，其中，该交互式可视化包括与该多个嵌入相对应的多个可选图标。11.如权利要求10所述的方法，其中，该交互式可视化被配置成接收对该多个可选图标的子集的选择，其中，该子集表示细胞邻域，该方法进一步包括：提供该细胞邻域的图表，该图表包括该多个可选图标的子集，并且其中，该多个可选图标的子集的颜色和形状中的至少一者...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：阿斯利康瑞典有限公司，
类型：发明
国别省市：