使用深度学习生成用于医学图像处理的规范成像数据的系统和方法技术方案

本公开提供了用于从异常医学图像生成规范医学图像的方法和系统。在一个示例中，该方法包括：接收异常医学图像，其中异常医学图像包括异常数据；使用生成对抗网络(GAN)的经过训练的生成网络将异常医学图像映射到规范医学图像，其中异常医学图像的异常数据被映射到规范医学图像中的规范数据。在一些示例中，该方法可以进一步包括经由显示设备显示规范医学图像，以及/或者利用规范医学图像用于进一步的图像分析任务，以从异常医学图像中生成稳健的结果。

【技术实现步骤摘要】
使用深度学习生成用于医学图像处理的规范成像数据的系统和方法
本文公开的主题的实施方案涉及使用深度学习为异常医学图像生成规范的成像数据。
技术介绍
在存在诸如非浸润性肿瘤(例如神经胶质瘤、胶质母细胞瘤等)的病变情况下，周围的健康组织被生长中的肿瘤压迫。当考虑对这些患者进行治疗，以及从组织的基线状态研究肿瘤生长的进展时，了解肿瘤出现之前的脑结构可能是有帮助的。患者的基线非病变图像也有助于标记健康的周围组织，以便在放射治疗或手术期间避开关键的功能区域。此外，在一些深度学习应用程序中，用于执行特定任务(例如，扫描平面分割)的神经网络已经用“正常”数据训练过。将该模型应用于“异常”数据(例如病灶)，可能无法产生理想的结果。目前生成此类基线图像的方法包括使用细化生物力学模型或基于配准的反演方法。然而，这些方法依赖于关于病变位置的先验信息，并且必须利用对感兴趣区域的描绘，这将利用附加的计算资源和时间。
技术实现思路
本公开通过使用生成对抗网络(GAN)来估计给定异常数据集的规范数据，至少部分地解决了上述问题。在一个实施方案中，一种用于从异常医学图像生成规范医学图像的方法包括：接收异常医学图像，其中异常医学图像包括异常数据；使用生成对抗网络(GAN)的经过训练的生成网络将异常医学图像映射到规范医学图像，其中异常医学图像的异常数据被映射到规范医学图像中的规范数据；以及经由显示设备显示规范医学图像。由于GAN可以隐含地对数据分布的参数形式进行建模，因此GAN可能对于学习数据样式转换很有用。以这种方式，上述方法缓和了对输入和输出数据的约束，使其不需要一一对应的精确匹配，这解决了在病变存在的情况下获得精确匹配的数据的困难(例如，由于许多病变不能被预测，扫描只能在病变存在之后完成，并且当个体健康时，可能没有可用的扫描)。此外，本文描述的方法可以利用更少的计算资源、依赖更少的预先信息(例如，病变位置)，并且比上述现有方法更快地生成规范数据。在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上概述是为了以简化的形式介绍在详细描述中进一步描述的一些概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。附图说明通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：图1示出了用于处理医学图像的图像处理系统的示例性实施方案。图2示出了包括生成网络的规范数据生成系统的示例框图。图3示出了使用生成网络从医学图像生成规范数据并可选地进一步处理规范数据的示例方法的流程图。图4示出了用于训练生成网络以从异常医学图像生成规范数据的示例方法的流程图。图5示出了用于从膝盖的异常医学图像合成规范数据的示例工作流。图6示出了用于从大脑的异常医学图像合成规范数据并对规范数据执行图像配准的示例工作流。图7示出了使用数据管护模块对输入大脑的异常扫描进行的示例参考数据选择。图8示出了使用生成网络对包括异常的输入大脑的扫描进行的示例规范图像生成。图9示出了使用生成网络对包括异常的相应输入大脑的扫描进行的进一步示例规范图像生成。图10示出了使用生成网络对输入膝盖的异常扫描进行的示例规范数据生成。具体实施方式在存在诸如非浸润性肿瘤(例如神经胶质瘤、胶质母细胞瘤等)的病变情况下，肿瘤周围的健康组织被生长中的肿瘤压迫。当考虑对患有此类一种或多种肿瘤的患者进行治疗，以及为了从基线研究肿瘤生长的进展时，了解患者在一种或多种肿瘤出现之前的脑结构是有用的。患者的基线非病变医学图像(例如，磁共振(MR)图像、计算机断层摄影(CT)图像、正电子发射断层摄影(PET)图像、x射线图像、超声图像等)也有助于标记健康的周围组织，以在放射治疗或手术期间避开关键的功能区域。此外，用于分析医学图像的许多图像分析应用程序利用使用非异常数据(例如，非病变医学图像)训练的模型。因此，相对于在正常数据上应用模型，将此类模型应用于受异常(例如，病变、植入物、图像伪影等)影响的数据可能导致图像分析的准确性或性能显著降低。因此，受异常影响的患者的解剖区域的基线图像可以有助于提高此类图像分析的准确性和性能。然而，一旦病变存在，此类基线图像则不能经由患者的医学图像扫描直接获得。由于许多扫描仅在怀疑有病变问题的情况下进行，因此在异常出现之前扫描具有病变或其他异常的给定患者也是不可能的。本公开至少部分地解决了上述问题。图1所示的图像处理系统200接收由医疗设备(诸如，磁共振(MR)成像设备、计算机断层摄影(CT)成像设备、正电子发射断层摄影(PET)成像设备、x射线成像设备、超声成像设备等)产生的医学图像，并且执行本文公开的方法，用于生成对应于接收到的医学图像的规范数据。图像处理系统200可以被并入或可通信地耦合到医疗设备，或者可以被配置为从存储设备接收医学图像。图像处理系统200可以执行图3所示的方法400，用于使用GAN的生成网络将异常医学图像映射到规范医学图像；执行图4所示的方法500，用于使用选择的参考数据训练GAN；以及/或者分别执行图5和图6的工作流600和700，其示出了如何将本公开的规范数据生成方法集成到图像处理工作流中的示例。图7至图10示出了基于所生成的规范数据的示例规范数据生成和/或下游处理的结果。以这种方式，可以使用非规范(例如，异常)医学图像为感兴趣的模态和协议生成规范成像数据。由于许多应用程序是使用规范数据来训练的，因此可以使用生成的规范成像数据来代替原始非规范医学图像，以更高的准确度、可靠性和整体性能来应用此类应用程序，同时仍然保持与原始非规范医学图像的对象的相关性。参考图1，其示出了根据示例性实施方案的图像处理系统200。在一些实施方案中，图像处理系统200被结合到医疗设备中，诸如MR、CT、x射线、PET、超声等设备。在一些实施方案中，图像处理系统200设置在设备(例如，边缘设备、服务器等)上，该设备经由有线和/或无线连接可通信地耦合到医疗设备。在一些实施方案中，图像处理系统200设置在单独的设备(例如，工作站)上，该设备可以从医疗设备或者从存储由医疗设备生成的图像的存储设备接收图像。图像处理系统200可以包括图像处理系统31、用户输入设备32和显示设备33。图像处理系统31包括处理器204，其被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可以可选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。非暂态存储器206可以包括：生成对抗网络(GAN)模块20本文档来自技高网...

【技术保护点】
1.一种用于从异常医学图像生成规范医学图像的方法，所述方法包括：/n接收异常医学图像，其中所述异常医学图像包括异常数据；以及/n使用生成对抗网络(GAN)的经过训练的生成网络将所述异常医学图像映射到规范医学图像，其中所述异常医学图像的所述异常数据被映射到所述规范医学图像中的规范数据。/n

【技术特征摘要】
20190425 IN 2019410164181.一种用于从异常医学图像生成规范医学图像的方法，所述方法包括：
接收异常医学图像，其中所述异常医学图像包括异常数据；以及
使用生成对抗网络(GAN)的经过训练的生成网络将所述异常医学图像映射到规范医学图像，其中所述异常医学图像的所述异常数据被映射到所述规范医学图像中的规范数据。


2.根据权利要求1所述的方法，其中规范数据包括对应于一个或多个解剖特征的磁共振(MR)数据、计算机断层摄影(CT)数据、x射线数据、正电子发射断层摄影(PET)数据或超声数据。


3.根据权利要求1所述的方法，其中所述异常数据包括对应于图像伪影、失真、病变和植入物中的一者或多者的医学图像数据。


4.根据权利要求1所述的方法，其中使用所述生成网络将所述异常医学图像映射到所述规范医学图像包括基于所述异常医学图像训练所述生成网络。


5.根据权利要求4所述的方法，其中基于所述异常医学图像训练所述生成网络包括：
基于所述异常医学图像选择参考数据；
基于所述选择的参考数据和来自所述生成网络的输出，使用梯度下降来调整所述GAN的鉴别器的参数；
基于所述鉴别器的输出，经由梯度下降来调整所述生成网络的参数；以及
通过以下方式响应所述鉴别器的所述参数和所述生成网络的所述参数的收敛：
将所述异常医学图像输入到所述生成网络的输入层；以及
从所述生成网络的输出层输出所述规范医学图像。


6.根据权利要求5所述的方法，其中基于所述异常医学图像选择参考数据包括响应于确定多个医学图像中的每个医学图像与所述异常医学图像共享一个或多个属性，选择所述多个医学图像中的每个医学图像。


7.一种方法，所述方法包括：
接收医学图像；
确定所述医学图像是否包括异常；
通过以下方式响应包括所述异常的所述医学图像：
使用生成对抗网络(GAN)的生成网络将所述医学图像映射到规范医学图像，其中对应于所述异常的所述规范医学图像的区域包括合成的规范数据；以及
经由显示设备显示所述规范医学图像。


8.根据权利要求7所述的方法，其中所述异常包括病变、图像伪影和植入物中的一者或多者。


9.根据权利要求7所述的方法，其中使用所述GAN的所述生成网络将所述医学图像映射到所述规范医学图像包括：
基于所述医学图像训练所述GAN的鉴别器；
使用所述经过训练的鉴别器训练所述GAN的所述生成网络；
将所述医学图像输入到所述GAN的所述经过训练的生成网络的输入层；以及
从所述生成网络的输出层输出所述规范医学图像。


10....

【专利技术属性】
技术研发人员：达蒂什·达亚南·尚巴格，阿拉蒂·斯雷库马里，桑迪普·S·考希克，
申请(专利权)人：通用电气精准医疗有限责任公司，
类型：发明
国别省市：美国;US