利用医学图像的自动肿瘤识别与分割制造技术

将医学图像输入到检测网络中以生成识别医学图像内的一组区域的掩膜，其中所述检测网络预测在所述掩膜中识别的每个区域包括对受试者内的一个或多个肿瘤中的肿瘤的描绘。针对每个区域，使用肿瘤分割网络处理所述医学图像的所述区域，以针对存在于受试者内的所述肿瘤生成一个或多个肿瘤分割边界。针对每个肿瘤并且通过使用多个器官特定分割网络，确定所述肿瘤的至少一部分位于其内的器官。基于所述一个或多个肿瘤分割边界和所述一个或多个肿瘤的至少一部分位于其内的所述器官的位置来生成输出。输出。输出。

【技术实现步骤摘要】
【国外来华专利技术】利用医学图像的自动肿瘤识别与分割
[0001]相关申请的交叉引用
[0002]本申请要求2019年12月20日提交的美国临时申请第62/952,008号和2020年3月16日提交的美国临时申请第62/990,348号的权益和优先权。这些申请中的每个申请出于所有目的特此通过引用整体并入本文。

技术介绍

[0003]医学成像(例如CT扫描、X射线或MRI扫描)被广泛用于肿瘤检测，以辅助癌症(例如肺癌、乳腺癌等)的诊断和治疗。在许多情况下，医疗保健专业人员通过测量肿瘤大小或体积的变化来评估药物和/或治疗方案的疗效。实体瘤疗效评价标准(RECIST)是一种评估癌症受试者疗效的标准化方法，并且是用于新肿瘤药物批准的监管标准的一部分。RECIST需要训练有素的专业人员(例如，放射科医生)花费大量时间。具体地，(例如，由放射科医生)手动操作注释器识别多达5个靶病变和多达10个非靶病变。注释器会在描绘靶病变横截面的每次扫描中识别每个靶病变的周界，并记录每个靶病变的横截面直径。然后为所有靶病变确定定量度量(例如，最长直径的总和)。定性评估非靶病变，指示在扫描中是否观察到非靶病变，以及是否有明确的变化。可以在多个时间点采集扫描，并且可以为每个时间点确定用于靶病变和非靶病变的度量。然后可以使用一段时间内度量的变化来评估疾病进展和/或被有效治疗到什么程度。
[0004]然而，RECIST包括若干限制。即，该方法不考虑整个疾病“负荷”，因为RECIST经常只测量每个受试者的一小部分肿瘤(例如，少于5
‑
10个)。鉴于仅跟踪最多5个肿瘤的大小，该技术无法准确地评估癌症已转移至包括大量病变(例如，超过5个病变)的受试者的疾病进展和/或治疗效果。此外，由于病变选择的可变性，靶病变的选择也存在不一致，这导致读取器内部和读取器之间的显著可变性，导致即使在同一受试者中对肿瘤负荷的评估也不同。例如，可以(例如，不经意地)在不同的时间点识别出一组不同的病变。许多肿瘤在CT上通常具有异质外观，并且因位置、大小和形状而异。例如，肺部病变可能是空洞型或钙化型，并且骨转移可能(例如)采取溶血(破坏骨骼组织)或爆裂(异常骨生长)形式，其中每种病变类型与不同的结构外观和视觉外观相关联，使得由于病变的高度可变性，很难在没有获得完整读取的情况下评估疾病的阶段和/或该病变类型的每个病变。因此，使用更全面的数据集和更客观的技术来识别评估肿瘤生长和/或转移的自动化技术将是有利的。
[0005]本公开尝试通过提供一种肿瘤检测和测量的自动化方法来解决至少上述限制，该自动化方法既一致又考虑到受试者的整个疾病负荷。

技术实现思路

[0006]本文描述的技术公开了一种使用一个或多个医学图像来识别和分割生物对象的方法。
[0007]在一些实施例中，提供了一种计算机实现方法，其中访问受试者的至少一个或多个医学图像。将该一个或多个医学图像
[0008]输入到检测网络中以生成一个或多个掩膜，该掩膜识别该一个或多个图像内的一组区域。检测网络预测在一个或多个掩膜中所识别的一组区域中的每个区域包括对受试者内的肿瘤的描绘。对于一组区域中的每个区域，使用肿瘤分割网络处理一个或多个医学图像的区域，以生成存在于受试者内的肿瘤的一个或多个肿瘤分割边界。针对一个或多个肿瘤中的每个肿瘤并且通过使用多个器官特定分割网络来确定肿瘤的至少一部分位于其内的器官。然后基于一个或多个肿瘤分割边界和器官位置生成输出。
[0009]在一些实施例中，提供了另一种计算机实现方法，其中访问受试者的一个或多个医学图像。还访问针对存在于一个或多个医学图像中的一组肿瘤病变的一组器官位置。将一个或多个医学图像和一组器官位置输入到与多个治疗性处理中的一个治疗性处理相关联的网络中，以生成分数，该分数表示该受试者相对于已经接受过该处理的其他先前受试者是否是特定处理的良好候选者。然后返回该分数以评估受试者和多种处理中的每种处理的可行性。
[0010]在一些实施例中，提供了一种系统，其包括：一个或多个数据处理器；以及包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
[0011]在一些实施例中，提供了一种计算机程序产品，其有形地体现在非暂时性机器可读存储介质中，并且其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
附图说明
[0012]结合以下附图描述本公开：
[0013]图1A图示了用于使用多级神经网络平台来使用、采集和处理医学图像的示例性交互系统。
[0014]图1B图示了示例性图像堆栈，其包括用于检测到的生物对象的一组补丁和边界框。
[0015]图2图示了用于在两个或更多个受试者之间生成一个或多个成对比较的示例性系统。
[0016]图3图示了用于使用多级神经网络平台来处理医学图像的示例性方法。
[0017]图4示出了用于肿瘤检测的一组示例性图像。最左边的图描绘了预处理后的轴向切片的全身扫描，而右边的图描绘了检测到的边界框，该边界框由边界框检测网络自动生成并标记，用于轴向切片内的肺、肝和纵隔区域。
[0018]图5示出了使用轴向CT扫描进行肿瘤分割的示例。顶部图中的每个顶部图描绘了肿瘤的确定区域。对应的底部图描绘了肿瘤的示例性分割边界。
[0019]图6A
‑
6B图示了将使用RECIST的手动评估与用于示例性训练集的自动化方法进行比较的图。图A：对识别的病变的数量的比较，图B：对确定的最长直径总和(SLD)的比较。
[0020]图7A
‑
7B图示了将使用RECIST的手动评估与用于示例性测试集的自动化方法进行比较的图。图A：对识别的病变的数量的比较，图B：对确定的SLD的比较。
[0021]图8图示了将使用由放射科医生执行的完整读取识别的病变的数量与使用示例性训练集的自动化方法识别的病变的数量进行比较的图。
[0022]图9图示了将使用由一名或多名放射科医生执行的完整读取识别的病变的体积与使用示例性训练集的自动化方法识别的病变的体积进行比较的图。
[0023]图10A
‑
10B图示了将使用完整读取识别的病变的平均体积和中值体积与使用示例性训练集的自动化方法识别的病变的体积进行比较的图。图A：平均体积数据。图B：中值体积数据。
[0024]图11A
‑
11C图示了用于示例性训练集的Kaplan
‑
Meier曲线。图A：通过手动评估的RECIST得出的SLD，基于得出的SLD分为四分位数，图B：通过手动评估的RECIST得出的病变的数量，基于病变的数量分为四分位数。图C：通过自动化方法得出的总SLD，基于得出的总SLD分未四分位数。
[0025]图12A
‑
12B图示了用于示例性训练集的Kaplan
‑
Meier曲线。图A：通本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，其包括：访问受试者的一个或多个医学图像；将所述一个或多个医学图像输入到检测网络中，以生成识别所述一个或多个医学图像内的一组区域的一个或多个掩膜，其中所述检测网络预测在所述一个或多个掩膜中识别的所述一组区域中的每个区域包括对所述受试者内的一个或多个肿瘤中的肿瘤的描绘；针对所述一组区域中的每个区域，使用肿瘤分割网络处理所述一个或多个医学图像的所述区域，以针对存在于所述受试者内的所述肿瘤生成一个或多个肿瘤分割边界；针对所述一个或多个肿瘤中的每个肿瘤并且通过使用多个器官特定分割网络，确定所述肿瘤的至少一部分位于其内的器官；以及基于所述一个或多个肿瘤分割边界和所述一个或多个肿瘤的至少一部分位于其内的所述器官的位置来生成输出。2.根据权利要求1所述的方法，其中处理所述区域以生成所述一个或多个肿瘤分割边界包括：针对多个2D医学图像中的每个2D医学图像，识别所述一个或多个肿瘤分割边界中的肿瘤分割边界内的所述肿瘤的分割边界；以及基于与多个2D医学图像相关联的分割边界来定义三维分割边界，其中所述输出包括或描绘所述三维分割边界。3.根据权利要求1所述的方法，其中所述一个或多个肿瘤分割边界中的每个肿瘤分割边界被定义为所描绘的肿瘤的二维横截面的分割周界，其中所述输出包括或描绘所述一个或多个肿瘤分割边界。4.根据权利要求1所述的方法，其进一步包括：针对所述一个或多个肿瘤中的每个肿瘤并且基于所述一个或多个肿瘤分割边界中的肿瘤分割边界来确定空间属性，所述空间属性包括：所述肿瘤的体积；所述肿瘤沿特定维度或最长维度的长度；和/或所述肿瘤的横截面积；基于所述空间属性，计算所述一个或多个肿瘤的受试者级肿瘤统计数据，其中所述输出包括所述受试者级肿瘤统计数据。5.根据权利要求4所述的方法，其中所述一个或多个肿瘤包括多个肿瘤，其中针对所述一个或多个肿瘤中的每个肿瘤确定的所述空间属性包括所述肿瘤沿最长维度的长度，并且其中所述受试者级肿瘤统计数据包括所述肿瘤的长度的总和。6.根据权利要求1所述的方法，其进一步包括：确定受试者级肿瘤统计数据和与所述受试者相关联的另一肿瘤统计数据之间的百分比或绝对差，所述另一肿瘤统计数据已经基于对所述受试者的一个或多个其他医学图像的分析生成，所述一个或多个其他医学图像中的每个医学图像已经在采集所述一个或多个医学图像的时间之前的基准时间采集，其中所述输出包括或基于所述百分比或绝对差。7.根据权利要求6所述的方法，其进一步包括：将所述百分比或绝对差与一个或多个预定的阈值中的每个阈值比较；基于阈值比较，确定对于预后、治疗应答或疾病状态的估计，其中所述输出包括估计的
预后、治疗应答或疾病状态。8.根据权利要求1所述的方法，其中所述一个或多个医学图像包括一个或多个计算机断层扫描(CT)图像。9.根据权利要求1所述的方法，其中所述一个或多个医学图像包括全身或躯干CT图像。10.根据权利要求1所述的方法，其中所述一个或多个医学图像包括一个或多个MRI图像。11.根据权利要求1所述的方法，其中所述检测网络被配置为使用焦点损失。12.根据权利要求1所述的方法，其中所述肿瘤分割网络包括修改的U
‑
Net，所述修改的U
‑
Net包括可分离卷积。13.根据权利要求1所述的方法，其中所述多个器官特定分割网络中的每个器官特定分割网络包括修改的U
‑
Net，所述修改的U
‑
Net包括可分离卷积。14.根据权利要求1所述的方法，其进一步包括：针对所述一个或多个肿瘤中的每个肿瘤并且基于位于所述器官内来确定，其中所述输出包括器官特定计数值。15.根据权利要求1所述的方法，其进一步包括：由用户将所述一个或多个医学图像输入到计算机中；以及通过所述计算机呈现所述肿瘤分割边界中的至少一个肿瘤分割边界的视觉表示。16.根据权利要求1所述的方法，其进一步包括：用CT机捕获所述一个或多个医学图像。17.根据权利要求1所述的方法，其进一步包括：由医师提供癌症存在或不存在的初步诊断和任何相关联的器官位置，所述初步诊断已经基于所述输出确定。18.根据权利要求1所述的方法，其进一步包括：由医师基于所述输出提供治疗建议。19.一种计算机实现的方法，其包括：将受试者的一...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：基因泰克公司，
类型：发明
国别省市：