多模态体积图像的基于模型的融合的方法和系统技术方案

本发明专利技术涉及多模态体积图像的基于模型的融合的方法和系统。公开了一种用于多模态体积图像的融合的方法和系统。接收使用第一成像模态来捕获的第一图像。接收使用第二成像模态来捕获的第二图像。根据第一和第二图像联合地估计模型和目标解剖结构的模型以及变换。该模型表示目标解剖结构在第一图像中的模型，并且变换将目标解剖结构在第二图像中的模型投影到第一图像中的模型。第一和第二图像能够基于经过估计的变换来融合。

【技术实现步骤摘要】

本专利技术涉及多模态体积医学图像的融合，并且更特别地，涉及术前和术中体积医 学图像的基于模型的融合。
技术介绍
近年来，心脏治疗的主要趋势已朝向微创经导管过程，以减少利用传统外科技术 所涉及的风险。不是全胸骨切开术，而是器材和设备通过小切口被引入，通过脉管前进，并 且被定位来执行各种过程。在不需要直接接入和观察受影响的结构的情况下，这样的介入 通常在所谓的混合手术室(配备有高级成像装备的手术室)中被执行。使用这样的高级成 像装备，诸如经导管主动脉瓣置换术(TAV)的过程经由通过C-臂X射线和经食管超声心动 图系统所提供的实时术中图像来引导。照惯例，医学图像分析领域已集中在根据成熟的诊断成像模态(例如，计算机断 层扫描(CT)和磁共振(MR))来构造患者特定的解剖模型，以帮助疾病分析和治疗计划。例 如，在瓣膜病管理的环境中，已提出用于在CT和/或MR图像中构建主动脉和二尖瓣的模型 的技术。然而，这样的技术还未被开发来应对术中图像的降低的质量和对比度特征。因此， 这样的技术的使用被限于术前决策。
技术实现思路
本专利技术提供一种用于通过根据多个成像模态来联合地估计解剖模型而融合术前 和术中图像信息的方法和系统。术前和术中图像信息的融合允许高质量的患者特定的模型 被集成到手术室的成像环境中，以引导心脏介入。本专利技术的实施方式通过依靠机器学习技 术来实现稳健性(robustness)和效率，以驱动联合估计过程，由此利用了多个成像模态之 间的相似性。本专利技术的实施方式采用在概率估计框架之内的统计学解剖模型，以确保生理 适应的结果(physiological compliant result)。在本专利技术的一个实施方式中，接收使用第一成像模态来捕获的第一图像，以及接 收使用第二成像模态来捕获的第二图像。根据第一和第二图像联合地估计模型和目标解剖 结构的模型以及变换。该模型表示目标解剖结构在第一图像中的模型，而变换将目标解剖 结构在第二图像中的模型投影到第一图像中的模型。第一和第二图像能够基于所估计的变 换进行融合。附图说明参照如下详细描述和附图，本专利技术的这些以及其它优点对于本领域普通技术人员 将是显而易见的。图1图示了依照本专利技术实施方式的用于多模态图像的基于模型的融合的方法；图2图示了多模态图像的基于模型的融合的概观；图3图示了依照本专利技术实施方式的用于联合地估计第一和第二多模态图像中的 模型和变换的方法；图4图示了使用图3的方法来估计模型和变换的基于模型的融合方法；图5图示了示例性的多模态图像融合结果；以及图6是能够实施本专利技术的计算机的高级框图。具体实施方式本专利技术涉及多模态体积图像的基于模型的融合。本专利技术的实施方式可以被用于融 合多个成像模态中的图像信息，诸如融合计算机断层扫描(CT)、Dyna CT、超声心动图数据、 突光透视图像(fluoroscopic image)数据以及磁共振成像(MRI)中的图像信息。在此描述 本专利技术的实施方式，以给出对基于模型的图像融合方法的视觉理解。数字图像常常包括一 个或多个对象(或形状)的数字表示。对象的数字表示在此常常在标识和操纵对象方面来 描述。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此， 应理解的是，本专利技术的实施方式可以在计算机系统之内使用存储在该计算机系统之内的数 据来执行。本专利技术的实施方式提供了一种用于多模态体积图像的基于模型的融合的方法。该 方法的益处包括完整性，通过利用被多个模态补充的信息；稳健性，通过利用来自多个模 态的冗余信息来减少估计不确定性；以及融合，通过获得多个模态的模型敏感的集成。本发 明的实施方式可以被应用于经导管瓣膜过程的术前和术中图像的基于模型的融合，但是本 专利技术并不限于此。图1图示了依照本专利技术的实施方式的用于多模态图像的基于模型的融合的方法。 图1的方法在此被描述为融合术前和术中图像信息，但是本专利技术并不限于此。在步骤102， 接收第一医学图像。该第一医学图像通过使用第一成像模态来捕获。该第一医学图像可以 直接从图像捕获设备中接收到，诸如从CT扫描仪接收到。还可能通过从计算机系统的存储 器或内存中加载所存储的医学图像而接收到第一医学图像。在有利的实施方式中，第一医 学图像可以是患者的术前体积(3D)图像。例如，第一医学图像可以是术前CT或MR图像。在步骤104，接收第二医学图像。该第二医学图像通过使用第二成像模态来捕获。 该第二医学图像可以直接从图像捕获设备中接收到，诸如从C-臂图像捕获设备接收到。还 可能通过从计算机系统的存储器或内存中加载所存储的医学图像而接收到第二医学图像。 在有利的实施方式中，第二医学图像可以是患者的术中体积(3D)图像。例如，第二第一医 学图像可以是在诸如经导管主动瓣膜置换术之类的手术期间从图像捕获设备接收到的术 中C-臂CT图像或经食管超声心动图(TEE)图像。在步骤106，在第一和第二图像中联合地估计目标解剖结构的解剖模型。第一和 第二图像中的联合地估计的解剖模型可被表达为模型和变换。模型对应于该目标解剖结构 在第一图像中的经过估计的解剖模型，而变换将第二图像中的经过估计的解剖模型投影到 第一图像中的经过估计的解剖模型。在将术前3D图像和术中3D图像融合的情况下，该步 骤联合地估计目标结构的术前和术中模型，以便提供术前和术中图像信息的模型敏感的集成。图2图示了多模态图像的基于模型的融合的概观。图2的实例联合地估计了术前和术中图像数据中的主动脉瓣模型。如图2中所示，以统计学主动脉瓣模型202开始，目的是根据体积数据集I1和I2估计3D解剖学的患者特定模型M和变换Φ，其中I1是术前图像 204以及I2是术中图像206，所述变换Φ将术中模型M2映射到术前模型Mp在图2中，联合地估计的患者特定模型M在所融合的图像208中被示出。最优的联合地估计的患者特定模型和变换可以被表达为权利要求1.一种用于多模态图像的融合的方法，其包括接收使用第一成像模态来捕获的第一图像；接收使用第二成像模态来捕获的第二图像；以及根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换。2.权利要求1的方法，其中，目标解剖结构的模型包括目标解剖结构在第一图像中的第一模型，以及变换包括将目标解剖结构在第二图像中的第二模型投影到目标解剖结构的第一模型的变换。3.权利要求2的方法，其中，变换包括仿射变换和非线性卷绕变换。4.权利要求1的方法,进一步包括通过使用变换而根据第一和第二图像生成被融合的图像。5.权利要求1的方法，其中，根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换的步骤包括在第一和第二图像中的每个图像中独立地检测界标；使用第一和第二图像中所检测到的界标来估计最初的变换；基于在第一图像中检测到的界标初始化第一图像中的模型；使用最初的变换初始化第二图像中的所投影的模型；以及至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换。6.权利要求5的方法，其中，至少基于针对模型和所投影的模型的相对应的点所检测到的联合概率更新模型和变换的步骤包括基于针对模型和所投影的模型上的每个点所计算的相应单模态概率和针对模型和所投影的模型上的相对应的点所计算的联合概率，更新模型和所投影的模型的点；以及本文档来自技高网...

【技术保护点】
一种用于多模态图像的融合的方法，其包括：接收使用第一成像模态来捕获的第一图像；接收使用第二成像模态来捕获的第二图像；以及根据第一和第二图像联合地估计模型和目标解剖结构的模型以及估计变换。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S·格尔比克，R·I·约纳塞克，王洋，B·乔治斯库，T·曼西，D·科马尼丘，郑冶枫，周少华，M·约翰，J·贝泽，
申请(专利权)人：西门子公司，西门子公司，
类型：发明
国别省市：