用于可变形图像配准的无监督深度学习的系统和方法技术方案

本发明专利技术题为“用于可变形图像配准的无监督深度学习的系统和方法”。提供了一种方法。该方法包括在扫描持续时间内同时采集受检者的解剖区域的多个磁共振(MR)图像和多个超声图像。该方法还包括训练基于无监督深度学习的可变形配准网络。该训练包括基于多个MR图像训练MR配准子网络以生成MR变形和变换矢量，基于多个超声图像训练超声配准子网络以生成超声变形和变换矢量，以及基于多个MR图像和多个超声图像训练MR到超声子网络以在每个时间点生成MR图像和超声图像的对应对之间的MR到超声的变形和变换矢量。

System and method of unsupervised depth learning for deformable image registration

【技术实现步骤摘要】
用于可变形图像配准的无监督深度学习的系统和方法
技术介绍
本文公开的主题涉及图像配准，更具体地说，涉及在可变形图像配准中利用无监督深度学习的系统和方法。磁共振成像(MRI)对于引导介入和治疗变得越来越重要，因为它提供软组织对比，使得能够在规划/诊断阶段标测病理组织(例如肿瘤)的位置和边界。然而，由于磁体孔中有限的患者空间和低成像帧率，很难将实时MRI集成到介入和治疗工作流程中。因此，实时MR图像在介入/治疗阶段通常是不可用的，这增加了在规划阶段不作为目标的健康组织区域的侵入性进入或治疗的风险。此外，由于缺乏对病理组织边界的实时追踪，临床医生可能无法完全接近或治疗病理组织。虽然在规划阶段从MR图像中分割或手动跟踪病变/肿瘤可以提供基准的初始位置，但是由于生理运动，该初始位置可能不是目标病变/肿瘤的真实位置。超声成像可以提供实时成像。然而，超声成像提供较差的软组织对比度，这限制了定位或勾画病理或目标病变的能力。将实时超声成像与预先采集的MR图像(在不同时间采集的)相链接是耗时的、计算量大的，并且可能具有不利地影响介入程序的精度和结果的不准确性。此外，MRI和超声成像中的图像对比度和空间分辨率不同，这增加了对准或配准MRI和超声图像的难度。因此，需要成像方法，其在介入/治疗阶段提供足够的软组织对比度，同时还提供目标病变的实时位置信息。
技术实现思路
下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。在第一实施方案中，提供了用于为介入程序提供实时图像引导的方法。该方法包括：在介入程序之前，从患者处同时采集在每个时间点匹配的MR成像扫描仪中的时间序列磁共振(MR)图像组和第一时间序列超声图像体积组；将时间序列MR图像组中的每个MR图像在时间上匹配到第一时间序列超声图像组中的对应超声图像体积；执行中间变换，以将利用其他MR图像对比度采集技术采集的病变或结构解剖轮廓转移到时间序列MR图像组中，以补充时间序列MR图像组中可用的结构解剖信息；以及对于时间序列MR图像组和第一时间序列超声图像体积组两者，分别利用在某一时间点的MR图像和对应的超声图像体积作为相应的MR参考图像组和超声参考图像组中的参考点，计算相应的第一组变形和变换矢量，使得在参考点的对象的位置、形状、取向和大小与在不同时间的同一对象的位置、形状、取向和大小匹配。该方法还包括：在介入程序期间，采集第二时间序列超声图像组，使得在每个时间点，超声图像描绘随着时间推移在位置、形状、取向或大小上变化的患者的感兴趣解剖体的变形；利用第二时间序列超声图像组，计算在当前时间点的感兴趣解剖体的超声图像和在参考点的超声参考图像组的超声图像之间的第二组变形和变换矢量；将第一和第二组变形和变换矢量应用于时间序列MR图像组的先前采集的MR图像，以生成变换的MR图像；将变换的MR图像显示为感兴趣解剖体的真实位置、形状和取向的表示；以及使用变换的MR图像进行引导来执行介入程序。在另一个实施方案中，提供了方法。该方法包括在扫描持续时间内同时采集受检者的解剖区域的多个磁共振(MR)图像和多个超声图像。该方法还包括训练基于无监督深度学习的可变形配准网络。该训练包括基于多个MR图像训练MR配准子网络以生成MR变形和变换矢量，基于多个超声图像训练超声配准子网络以生成超声变形和变换矢量，以及基于多个MR图像和多个超声图像训练MR到超声子网络以在每个时间点生成MR图像和超声图像的对应对之间的MR到超声的变形和变换矢量。在另一个实施方案中，提供了介入引导系统。该系统包括编码处理器可执行例程的存储器。该系统还包括被配置为访问存储器和执行处理器可执行例程的处理部件。当由处理部件执行时，例程使得处理部件接收在介入程序之前在扫描持续时间内同时采集的受检者的解剖区域的多个磁共振(MR)图像和第一多个超声图像。当由处理部件执行时，例程还使得处理部件利用第一多个超声图像及其对应的来自多个MR图像的MR图像来确定MR到超声的变换，然后训练基于无监督深度学习的可变形配准网络来生成来自两个时间点的多个超声图像的超声图像之间的变形和变换矢量，以经由变形和变换矢量以及MR到超声的变换来获得MR到超声的映射。当由处理部件执行时，例程进一步使得处理部件在介入程序期间接收受检者的解剖区域的第二多个超声图像。当由处理部件执行时，例程甚至进一步使得处理部件利用训练的基于无监督深度学习的可变形配准网络来确定来自当前时间点的第二多个超声图像的超声图像和来自第一多个超声图像的参考超声图像之间的解剖区域的二次变形和变换矢量，以将MR到超声的变形和变换矢量应用于来自多个MR图像的参考MR图像，并且随后将二次变形和变换矢量应用于参考MR图像，以生成表示在当前时间点的解剖区域的变换的MR图像。当由处理部件执行时，例程还进一步使得处理部件在介入程序期间显示变换的MR图像。附图说明当参考附图阅读以下详细描述时，将更好地理解本专利技术的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：图1A和图1B示出了根据本公开的各方面的组合磁共振(MR)和超声成像系统的实施方案的示意图；图2示出了根据本公开的各方面的神经网络的实施方案的示意图；图3示出了根据本公开的各方面的示出图2的神经网络的训练的实施方案的示意图；并且图4示出了根据本公开的各方面的组合磁共振和超声图像引导的介入程序的实施方案的流程图。具体实施方式在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。提供了一些广义信息，以提供本公开的各方面的一般背景，并且有利于理解和解释本文所述的某些技术概念。如本文所讨论的深度学习方法可基于人工神经网络，因此可能涵盖深度神经网络、全互连网络、卷积神经网络(CNN)、感知器、自动编码器、回归网络、小波滤波器组或其他神经网络架构。这些技术在本文中被称为深度学习技术，但是可也特别地参考深度神经网络的使用来使用该术语，深度神经网络是具有多个层的神经网络。如本文所讨论，深度学习技术(可也称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，本文档来自技高网...

【技术保护点】
1.一种用于为介入程序提供实时图像引导的方法，包括：/n在所述介入程序之前：/n从患者处同时采集在每个时间点匹配的MR成像扫描仪中的时间序列磁共振(MR)图像组和第一时间序列超声图像体积组；/n将所述时间序列MR图像组中的每个MR图像在时间上匹配到所述第一时间序列超声图像组中的对应超声图像体积；/n执行中间变换，以将利用其他MR图像对比度采集技术采集的病变或结构解剖轮廓转移到所述时间序列MR图像组中，以补充所述时间序列MR图像组中可用的所述结构解剖信息；/n对于所述时间序列MR图像组和所述第一时间序列超声图像体积组两者，分别利用在某一时间点的MR图像和对应的超声图像体积作为相应的MR参考图像组和超声参考图像体积组中的参考点，计算相应的第一组变形和变换矢量，使得在所述参考点的对象的位置、形状、取向和大小与在不同时间的同一对象的位置、形状、取向和大小匹配；/n并且在所述介入程序期间：/n采集第二时间序列超声图像组，使得在每个时间点，所述超声图像描绘随着时间推移在位置、形状、取向或大小上变化的所述患者的感兴趣解剖体的变形；/n利用所述第二时间序列超声图像组，计算在所述当前时间点的所述感兴趣解剖体的所述超声图像和在所述参考点的所述超声参考图像组的所述超声图像之间的第二组变形和变换矢量；/n将所述第一组和所述第二组变形和变换矢量应用于所述时间序列MR图像组的先前采集的MR图像，以生成变换的MR图像；/n将所述变换的MR图像显示为感兴趣解剖体的真实位置、形状和取向的表示；以及/n使用所述变换的MR图像进行引导来执行所述介入程序。/n...

【技术特征摘要】
20181108 US 16/184,6901.一种用于为介入程序提供实时图像引导的方法，包括：
在所述介入程序之前：
从患者处同时采集在每个时间点匹配的MR成像扫描仪中的时间序列磁共振(MR)图像组和第一时间序列超声图像体积组；
将所述时间序列MR图像组中的每个MR图像在时间上匹配到所述第一时间序列超声图像组中的对应超声图像体积；
执行中间变换，以将利用其他MR图像对比度采集技术采集的病变或结构解剖轮廓转移到所述时间序列MR图像组中，以补充所述时间序列MR图像组中可用的所述结构解剖信息；
对于所述时间序列MR图像组和所述第一时间序列超声图像体积组两者，分别利用在某一时间点的MR图像和对应的超声图像体积作为相应的MR参考图像组和超声参考图像体积组中的参考点，计算相应的第一组变形和变换矢量，使得在所述参考点的对象的位置、形状、取向和大小与在不同时间的同一对象的位置、形状、取向和大小匹配；
并且在所述介入程序期间：
采集第二时间序列超声图像组，使得在每个时间点，所述超声图像描绘随着时间推移在位置、形状、取向或大小上变化的所述患者的感兴趣解剖体的变形；
利用所述第二时间序列超声图像组，计算在所述当前时间点的所述感兴趣解剖体的所述超声图像和在所述参考点的所述超声参考图像组的所述超声图像之间的第二组变形和变换矢量；
将所述第一组和所述第二组变形和变换矢量应用于所述时间序列MR图像组的先前采集的MR图像，以生成变换的MR图像；
将所述变换的MR图像显示为感兴趣解剖体的真实位置、形状和取向的表示；以及
使用所述变换的MR图像进行引导来执行所述介入程序。


2.根据权利要求1所述的方法，其中，所述时间序列MR图像组和所述第一时间序列超声图像组是在不同时间点采集的二维图像、在不同时间点采集的三维图像或者在不同时间点采集的二维图像的堆叠。


3.根据权利要求1所述的方法，包括提供在所述同时的MR和超声采集期间在介入前治疗阶段中确定的所述第一组变形和变换矢量作为神经网络的训练的输入，所述神经网络确定随生理运动变化的解剖结构的位置、形状、取向或大小的变形和变换的空间。


4.根据权利要求3所述的方法，其中，在所述介入程序期间，所述训练的神经网络被配置为快速确定所述变形和变换矢量，所述变形和变换矢量表征所述解剖结构从参考状态或时间点的位置、形状、取向或大小的变化。


5.根据权利要求4所述的方法，包括提供来自其他患者的变形和变换作为用于训练所述神经网络的附加输入。


6.根据权利要求1所述的方法，其中，当所述感兴趣解剖体的位置、形状、取向或大小随时间变化时，利用描述所述感兴趣解剖体的变形的所述超声图像，提供所述感兴趣解剖体的运动的物理允许范围，从而为任何时间点加速从所述参考时间点的所述变形和变换矢量的所述确定。


7.根据权利要求1所述的方法，其中，在所述介入程序之前，对于给定的解剖结构，独立计算所述MR图像和超声图像两者的变形和变换矢量，并将其用作所述计算的精度和准确度的内部检查。


8.根据权利要求7所述的方法，包括，当在所述超声确定的和MR确定的变形和变换矢量之间存在不一致时，在所述参考时间点将所述MR确定的变形和变换矢量应用于所述MR图像，以生成所述变换的MR图像，所述变换的MR图像是所述当前时间点的感兴趣解剖结构的位置、形状、取向或大小的更正确的表示。


9.根据权利要求1所述的方法，其中，将所述第一组和所述第二组变形和变换矢量应用于所述先前采集的MR图像以生成所述变换的MR图像包括：
将所述第一组变形和变换矢量应用于表示在参考或目标时间点的所述感兴趣解剖体的所述先前采集的MR图像；以及
随后应用所述第二组变形和变换矢量来生成所述变换的MR图像。


10.一...

【专利技术属性】
技术研发人员：王博，托马斯·郭法·福，德斯蒙德·特克·本·杨，吉姆利·米特拉，
申请(专利权)人：通用电气公司，
类型：发明
国别省市：美国;US