X射线和CT的深度学习模型训练制造技术

用于利用第一模态的图像和第二模态的图像来训练深度学习网络的系统和方法，以预测第一模态和第二模态之一的当前图像学习的诊断。训练包括收集训练数据，训练数据包括多个数据集，每个数据集包括针对单个患者和临床原因的第一模态的图像学习和第二模态的图像学习，使用第一模态的图像训练深度学习网络的第一分支，以及使用第二模态的图像训练深度学习网络的第二分支。的第二分支。的第二分支。

【技术实现步骤摘要】
【国外来华专利技术】X射线和CT的深度学习模型训练

技术介绍

[0001]X射线成像经常被用于诊断损伤和/或疾病，因为它是最具成本效益的医学成像检查之一并且容易获得。例如，X射线图像可用于检测骨的错位和骨折、癌症以及肺或胸部问题。然而，基于X射线图像确定诊断通常被认为比通过例如CT(计算机断层摄影)成像确定诊断更具挑战性。CT扫描组合从许多不同角度拍摄的一系列X射线图像以产生横截面图像，横截面图像一起提供患者身体的目标部分的三维图像。X射线提供患者身体的目标部分的二维图像，因此不呈现与CT扫描那样多的信息。在一些情况下，使用X射线图像可能无法诊断与例如肌肉损伤、软组织或其它身体器官有关的问题。在一个实例中，虽然大多数骨折易于通过CT辨别，但是如果仅通过X射线成像，则可能遗漏一些骨折。例如这对于腕部骨折，髋部骨折和应力性骨折尤其常见，因此可能需要额外的成像检查(例如CT、MRI或骨扫描)。然而，诸如CT的成像检查通常比X射线更昂贵，并且不容易获得。
[0002]利用例如机器学习的自动诊断系统已经在医疗保健中发挥了越来越重要的作用。目前，已经开发了用于基于X射线图像检测发现的深度学习模型。这些深度学习模型仅使用X射线图像来训练，因此不能应用来自其中患者需要多于一种图像学习(例如，X射线和CT扫描)来确认诊断的情况的知识。

技术实现思路

[0003]一些示例性实施例涉及一种计算机实现的方法，使用第一模态的图像和第二模态的图像来训练深度学习网络以预测针对第一模态和第二模态之一的当前图像学习的诊断。所述方法包括：收集包括多个数据集的训练数据，每个数据集包括针对单个患者和临床原因的第一模态的图像学习和第二模态的图像学习；使用第一模态的图像训练深度学习网络的第一分支；以及用第二模态的图像训练深度学习网络的第二分支。
[0004]其它示例性实施例涉及一种训练深度学习网络的系统，使用第一模态的图像和第二模态的图像来训练深度学习网络以预测针对第一模态和第二模态之一的当前图像学习的诊断。所述系统包括存储可执行程序的非瞬态计算机可读存储介质和执行所述可执行程序的处理器。所述程序使处理器收集包括多个数据集的训练数据，每个数据集包括针对单个患者和临床原因的第一模态的图像学习和第二模态的图像学习，使用第一模态的图像训练深度学习网络的第一分支，以及用第二模态的图像训练深度学习网络的第二分支。
[0005]另外的示例性实施例涉及非暂态计算机可读存储介质，包括可由处理器执行的指令集。所述指令集在由处理器执行时使处理器执行操作。所述操作包括：收集包括多个数据集的训练数据，每个数据集包括针对单个患者和临床原因的第一模态的图像学习和第二模态的图像学习；使用第一模态的图像训练深度学习网络的第一分支；以及用第二模态的图像训练深度学习网络的第二分支。
附图说明
[0006]图1示出了根据示例性实施例的系统的示意图。
[0007]图2示出了根据图1的系统的深度学习模型架构的示意图。
[0008]图3示出了根据示例性实施例的用于X射线和CT图像两者的深度学习的方法的流程图。
具体实施方式
[0009]参考以下描述和附图可以进一步理解示例性实施例，其中相同的元件用相同的附图标记表示。示例性实施例涉及用于机器学习的系统和方法，并且具体地，涉及用于利用X射线图像和CT图像两者来训练深度学习模型的神经网络以增强深度学习模型的诊断和/或预测能力的系统和方法。训练数据可以包括针对相同患者和出于相同临床原因和/或在相同时间段期间采集的X射线和CT图像。因此，通过匹配的CT图像提高了X射线模型的准确性，使得在推断阶段，深度学习模型可以仅应用于X射线图像以解释图像和/或确定诊断。本领域技术人员将理解，尽管相对于X射线和CT扫描示出和描述了示例性实施例，但是本公开的系统和方法可以类似地应用于各种医学领域中的任何医学成像模态，以用于各种不同病理中的任何病理。
[0010]如图1所示，根据本公开的示例性实施例的系统100，利用包括第一模态的图像和第二模态的图像两者的训练数据108来训练深度学习模型106的神经网络以基于第一模态和第二模态中的一个模态的图像来提供诊断。系统100包括处理器102，处理器102包括或执行深度学习模型106。在一个实施例中，使用包括数据集的训练数据108来训练深度学习模型106，每个数据集包括X射线图像110和对应的CT图像112。出于相同的临床原因和/或在相同的时间段内从相同的患者获取每个数据集的X射线图像110和对应的CT图像112。这样的数据可能对于以下患者是可用的，当患者访问例如急诊室以诊断其状况时，患者接收X射线和CT检查。
[0011]处理器102可以被配置为执行用于来自应用的操作的计算机可执行指令，应用向系统100提供功能，包括用于训练深度学习模型106的指令。然而，应当注意，关于深度学习模型106描述的功能也可以表示为系统100的单独并入的组件，连接到处理器102的模块化组件，或者表示为经由多于一个处理器102可实现的功能。例如，系统100可以包括计算系统的网络，每个计算系统包括一个或多个上述组件。本领域技术人员将理解，虽然系统100示出并描述了单个深度学习模型106，但是系统100可以包括多个深度学习模型106，每个学习模型用对应于患者身体的不同目标部分和/或不同病理的训练数据来训练。
[0012]尽管示例性实施例示出并描述了存储在存储器104中的训练数据108，但是本领域技术人员应当理解，训练数据108的数据集可以从多个数据库中的任一数据库获取，所述多个数据库由经由例如网络连接被连接到系统100并可经由系统100访问的多个设备中的任一设备存储。在一个示例性实施例中，可以从一个或多个远程和/或网络存储器获取训练数据108并将其存储到中央存储器104。或者，可以收集训练数据并将其存储到任何远程和/或网络存储器中。
[0013]类似地，可以从任何成像设备获取和接收要经由训练的深度学习模型106解释的当前图像学习118。本领域技术人员将理解，成像设备可以将当前图像学习118发送到系统100和/或与系统100联网。当前图像学习118可类似地经由处理器102接收和/或存储到存储器104或任何其它远程或网络中的存储器。当前图像学习118可以具有多种模态中的任一种
模态，并且在一个特定实施例中，包括X射线，使得能够基于对训练数据108的X射线图像114的深度学习来解释当前图像学习，深度学习经由匹配的CT图像来增强。尽管系统100示出了单个当前图像学习118，但是本领域技术人员将理解，系统100可以出于相同的临床原因包括针对相同患者的多于一个的当前图像学习。在一个示例中，系统100可以接收X射线图像和CT图像两者以经由深度学习模型106来解释。
[0014]如图2所示，在一个实施例中，深度学习模型106可以包括神经网络，该神经网络包括两个分支——经由X射线图像110训练的第一X射线分支114和经由CT图像112训练的第二CT分支116。分支114、116中的每一个包括多个卷积层，从卷积层将特征图转换为特征向本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，使用第一模态的图像和第二模态的图像来训练深度学习网络以预测针对所述第一模态和所述第二模态之一的当前图像学习的诊断，包括：收集包括多个数据集的训练数据，每个数据集包括针对单个患者和临床原因的所述第一模态的图像学习和所述第二模态的图像学习；使用所述第一模态的图像来训练所述深度学习网络的第一分支；以及使用所述第二模态的图像来训练所述深度学习网络的第二分支。2.根据权利要求1所述的方法，还包括：接收要被解释的当前图像学习；以及将所述深度学习网络应用于所述当前图像学习以解释所述当前图像学习。3.根据权利要求1所述的方法，其中针对所述第一模态的每个图像，训练所述深度学习网络的所述第一分支包括多个卷积层，所述多个卷积层导出所述第一模态的每个图像的特征图，以及针对所述第一模态的每个图像的所述特征图的特征向量的多个完全连接层。4.根据权利要求3所述的方法，其中针对所述第二模态的每个图像，训练所述深度学习网络的所述第二分支包括多个卷积层，所述多个卷积层导出所述第二模态的每个图像的特征图，以及针对所述第二模态的每个图像的所述特征图的特征向量的多个完全连接层。5.根据权利要求4所述的方法，还包括通过加权平均来组合从所述第一图像模态和所述第二图像模态的特征向量对中获得的相似性损失。6.根据权利要求5所述的方法，其中所述深度学习网络的所述第二分支的最终损失通过所述深度学习网络的所述第二分支的分类损失以及从所述特征向量对中获得的组合相似性损失来定义。7.根据权利要求1所述的方法，还包括：在训练所述深度学习网络的所述第一分支之后以及在训练所述深度学习网络的所述第二分支之前，冻结所述深度学习网络的所述第一分支，使得在训练所述第二分支时不重新训练所述第一分支。8.根据权利要求1所述的方法，其中所述第一分支和所述第二分支被同时训练使得损失函数被定义为所述第一分支的分类损失、所述第二分支的分类损失以及从所述第一图像模态和第二图像模态对中获得的组合损失相似性的加权总和。9.根据权利要求1所述的方法，其中所述第一图像模态和所述第二图像模态包括CT和X射线。10.一种训练深度学习网络的系统，使用第一模态的图像和第二模态的图像训练所述深度学习网络以预测针对所述第一模态和所述第二模态之一的当前图像学习的诊断，包括：存储可执行程序的非暂态计算机可读存储介质；和处理器，执行所述可执行程序以使所述处理器：收集包括多个数据集的训练数据，每个数据集包括针对单个患者和临床原因的第一模态的图像学...

【专利技术属性】
技术研发人员：王欣，S，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：