提供了多模态医学图像配准和相关联的设备、系统和方法。例如，医学成像方法能够包括：接收在第一成像模态中的患者的解剖结构的第一图像；接收在不同的第二成像模态中的所述患者的解剖结构的第二图像；确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；确定所述第二图像相对于所述参考坐标系的第二姿态；基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到显示器。二图像共配准的所述第一图像输出到显示器。二图像共配准的所述第一图像输出到显示器。
【技术实现步骤摘要】
【国外来华专利技术】多模态医学图像配准和相关联的设备、系统和方法
[0001]本公开内容总体上涉及超声成像。特别地，多模态医学图像配准包括：确定感兴趣解剖结构的超声图像和来自不同医学成像模态(例如，磁共振或MR、计算机断层摄影或CT)的解剖结构图像相对于解剖结构的参考或标准化局部坐标系的位置和/或取向，以及在空间上变换不同的图像。
技术介绍
[0002]超声成像系统广泛用于医学成像。例如，医学超声系统可以包括超声换能器探头，该超声换能器探头被耦合到处理系统和一个或多个显示设备。超声换能器探头可以包括超声换能器元件的阵列，超声换能器元件将声波发射到患者体内并记录从患者体内的内部解剖结构反射的声波，该内部解剖结构可以包括组织、血管和内部器官。发射声波和/或接收反射声波或回波响应的操作能够由同一组超声换能器元件来执行，也能够由不同组超声换能器元件来执行。处理系统能够对接收到的回波响应应用波束形成、信号处理和/或成像处理，以创建患者的内部解剖结构的图像。该图像可以以亮度模式(B模式)图像的形式被呈现给临床医生，其中，该图像的每个像素由对应于回波强度的亮度水平或强度水平来表示。
[0003]虽然超声成像是用于诊断检查、介入和/或处置的安全有用的工具，但是超声成像基于手持式超声探头的运动和定位，因此缺乏绝对的3维(3D)参考系，而其他成像模态(例如，计算机断层摄影(CT)或磁共振成像(MRI))的解剖学背景可以提供绝对的3维(3D)参考系。将二维(2D)超声图像或3D超声图像与其他模态(例如，CT或MRI)进行共配准和/或融合可能要求额外的硬件、设置时间，因此成本可能很高。另外，对于如何使用超声探头执行成像以将超声图像与其他模态进行共配准和/或融合可能存在某些限制。超声图像与另一成像模态之间的共配准通常是通过识别共同基准点、共同解剖界标和/或基于图像内容的相似性测量来执行的。基于特征或基于图像内容的图像配准会很耗时并且可能容易出错。
技术实现思路
[0004]临床上仍然需要改进的用于给医学成像提供多模态图像共配准的系统和技术。本公开内容的实施例提供了用于多模态医学图像共配准的技术。所公开的实施例定义了感兴趣解剖结构中的参考或标准化局部坐标系。可以以一种形式在第一成像模态的第一成像空间中表示参考坐标系，并且以另一形式在与第一成像模态不同的第二成像模态的第二成像空间中表示参考坐标系，以用于进行多模态图像共配准。例如，第一成像模态可以是二维(2D)或三维(3D)超声成像，而第二成像模态可以是3D磁共振(MR)成像。所公开的实施例利用基于姿态的多模态图像共配准技术来配准第一成像模态中的解剖结构的第一图像与第二成像模态中的解剖结构的第二图像。在这一点上，医学成像系统可以使用第一成像系统(例如，超声成像系统)在第一成像模态中采集解剖结构的第一图像，并且使用第二成像系统(例如，MR成像系统)在第二成像模态中采集解剖结构的第二图像。医学成像系统确定第一图像相对于在第一成像模态的成像空间中的参考坐标系的第一姿态。医学成像系统确定
第二图像相对于在第二成像模态的成像空间中的参考坐标系的第二姿态。医学成像系统基于第一图像姿态和第二图像姿态来确定空间变换。医学系统通过对第一图像或第二图像应用空间变换将第一成像模态的第一图像与第二成像模态的第二图像进行共配准。能够显示经共配准或经组合的第一图像与第二图像以辅助医学成像检查和/或医学介入流程。在一些方面，本公开内容可以使用深度学习预测技术来进行解剖结构的局部参考坐标系中的图像姿态回归。所公开的实施例能够应用于对在两种或更多种成像模态中的任何合适的解剖结构的图像的共配准。
[0005]在一些实例中，一种用于医学成像的系统包括：处理器电路，所述处理器电路与第一成像模态的第一成像系统和不同于所述第一成像模态的第二成像模态的第二成像系统通信，其中，所述处理器电路被配置为：从所述第一成像系统接收在所述第一成像模态中的患者的解剖结构的第一图像；从所述第二成像系统接收在所述第二成像模态中的所述患者的解剖结构的第二图像；确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；确定所述第二图像相对于所述参考坐标系的第二姿态；基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到与所述处理器电路通信的显示器。
[0006]在一些实例中，一种医学成像方法包括：在与第一成像模态的第一成像系统通信的处理器电路处接收在所述第一成像模态中的患者的解剖结构的第一图像；在与第二成像模态的第二成像系统通信的所述处理器电路处接收在所述第二成像模态中的所述患者的解剖结构的第二图像；在所述处理器电路处确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；在所述处理器电路处确定所述第二图像相对于所述参考坐标系的第二姿态；在所述处理器电路处基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到与所述处理器电路通信的显示器。
[0007]根据下面的详细描述，本公开内容的额外方面、特征和优点将变得明显。
附图说明
[0008]将参考附图来描述本公开内容的说明性实施例，在附图中：
[0009]图1是根据本公开内容的多个方面的超声成像系统的示意图。
[0010]图2是根据本公开内容的多个方面的多模态成像系统的示意图。
[0011]图3是根据本公开内容的多个方面的多模态成像共配准方案的示意图。
[0012]图4A图示了根据本公开内容的多个方面的超声成像空间中的三维(3D)图像体积。
[0013]图4B图示了根据本公开内容的多个方面的磁共振(MR)成像空间中的3D图像体积。
[0014]图4C图示了根据本公开内容的多个方面的二维(2D)超声图像切片。
[0015]图4D图示了根据本公开内容的多个方面的2D MR图像切片。
[0016]图5是根据本公开内容的多个方面的深度学习网络配置的示意图。
[0017]图6是根据本公开内容的多个方面的深度学习网络训练方案的示意图。
[0018]图7是根据本公开内容的多个方面的多模态成像共配准方案的示意图。
[0019]图8是根据本公开内容的多个方面的多模态成像共配准方案的示意图。
[0020]图9是根据本公开内容的多个方面的用于提供多模态图像配准的医学系统的用户
接口的示意图。
[0021]图10是根据本公开内容的实施例的处理器电路的示意图。
[0022]图11是根据本公开内容的多个方面的具有多模态图像共配准的医学成像方法的流程图。
具体实施方式
[0023]为了促进对本公开内容的原理的理解，现在将参考附图中图示的实施例并使用特定的语言来描述这些实施例。尽管如此，应当理解，这并不旨在限制本公开内容的范围。如本公开内容所涉及的领域技术的人员通常会想到的，对所描述的设备、系统和方法的任本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于医学成像的系统，包括：处理器电路，其与第一成像模态的第一成像系统和不同于所述第一成像模态的第二成像模态的第二成像系统通信，其中，所述处理器电路被配置为：从所述第一成像系统接收在所述第一成像模态中的患者的解剖结构的第一图像；从所述第二成像系统接收在所述第二成像模态中的所述患者的解剖结构的第二图像；确定所述第一图像相对于所述患者的解剖结构的参考坐标系的第一姿态；确定所述第二图像相对于所述参考坐标系的第二姿态；基于所述第一姿态和所述第二姿态来确定所述第一图像与所述第二图像之间的共配准数据；并且将基于所述共配准数据与所述第二图像共配准的所述第一图像输出到与所述处理器电路通信的显示器。2.根据权利要求1所述的系统，其中，所述患者的解剖结构包括器官，并且其中，所述参考坐标系与所述器官的质心相关联。3.根据权利要求1所述的系统，其中：被配置为确定所述第一姿态的所述处理器电路被配置为：将第一预测网络应用于所述第一图像，所述第一预测网络是基于所述第一成像模态的图像的集合和相对于在所述第一成像模态的成像空间中的所述参考坐标系的对应姿态来训练的；并且被配置为确定所述第二姿态的所述处理器电路被配置为：将第二预测网络应用于所述第二图像，所述第二预测网络是基于所述第二成像模态的图像的集合和相对于在所述第二成像模态的成像空间中的所述参考坐标系的对应姿态来训练的。4.根据权利要求1所述的系统，其中，所述第一姿态包括第一变换，所述第一变换包括平移或旋转中的至少一项，其中，所述第二姿态包括第二变换，所述第二变换包括平移或旋转中的至少一项，并且其中，被配置为确定所述共配准数据的所述处理器电路被配置为：基于所述第一变换和所述第二变换来确定共配准变换；并且将所述共配准变换应用于所述第一图像以将所述第一图像变换到所述第二成像模态的成像空间中的坐标系中。5.根据权利要求4所述的系统，其中，被配置为确定所述共配准数据的所述处理器电路被配置为：还基于所述共配准变换和所述第一图像与所述第二图像之间的次级多模态共配准来确定所述共配准数据，其中，所述次级多模态共配准基于图像特征相似性度量或图像姿态预测中的至少一项。6.根据权利要求1所述的系统，其中，所述第一成像模态是超声。7.根据权利要求1所述的系统，其中，所述第一成像模态是以下各项中的一项：超声、磁共振(MR)、计算机断层摄影(CT)、X射线、正电子发射断层摄影(PET)、单光子发射断层摄影
‑
CT(SPECT)或锥束CT(CBCT)，并且其中，所述第二成像模态是以下各项中的不同的一项：所述超声、所述MR、所述CT、所述X射线、所述PET、所述SPECT或所述CBCT。8.根据权利要求1所述的系统，还包括所述第一成像系统和所述第二成像系统。
9.根据权利要求1所述的系统，其中，所述第一图像是二维(2D)图像切片，并且其中，所述第二图像是三维(3D)图像体积。10.根据权利要求1所述的系统，其中，所述第一图像是第一三维(3D)图像体积，并且其中，所述第二图像是第二3D图像体积。11.根据权利要求10所述的系统，其中：所述处理器电路被配置为：根据所述第一3D图像体积来确定第一二维(2D)图像切片；根据所述第二3D图像体积来确定第二2D图像切片；被配置为确定所述第一姿态的所述处...
【专利技术属性】
技术研发人员：G，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。