当前位置: 首页 > 专利查询>西门子公司专利>正文

2D/2.5D腹腔镜和内窥镜图像数据与3D立体图像数据配准的方法和系统技术方案

技术编号:17038867 阅读:24 留言:0更新日期:2018-01-13 23:13
本发明专利技术公开了一种用于将2D/2.5D腹腔镜或内窥镜图像数据配准至3D立体图像数据的方法和系统。接收目标器官的多个2D/2.5D术中图像以及用于术中图像的对应的相关方位测量值。通过计算位姿参数将该目标器官的3D医学图像体配准至多个2D/2.5D术中图像,从而将3D医学图像体的模拟投影图像匹配至多个2D/2.5D术中图像,并且配准受到术中图像的相关方位测量值的约束。

Method and system for registration of 2D/2.5D laparoscopic and endoscope image data and 3D stereoscopic image data

The present invention discloses a method and system for registration of 2D/2.5D laparoscope or endoscope image data to 3D stereoscopic image data. The images of multiple 2D/2.5D operations for receiving the target organs and the corresponding relative azimuth measurements for the intraoperative images are measured. By calculating the pose parameters, the 3D medical image of the target organ is registered into multiple 2D/2.5D intraoperative images, so that the simulated projection images of 3D medical images can be matched to many 2D/2.5D images, and registration is constrained by the relative orientation measurement values of intraoperative images.

【技术实现步骤摘要】
【国外来华专利技术】2D/2.5D腹腔镜和内窥镜图像数据与3D立体图像数据配准的方法和系统
技术介绍
本专利技术涉及腹腔镜或内窥镜图像数据与3D立体图像数据的配准,并且更具体而言,涉及将术中2D/2.5D腹腔镜或内窥镜图像数据配准至术前3D立体图像数据,以将来自术前3D立体图像数据的信息覆盖在术中腹腔镜或内窥镜图像数据之上。微创手术治疗期间,获取腹腔镜或内窥镜图像的序列来指导手术过程。可获取多个2D图像并且拼接起来以重建所观察器官的3D术中模型;然后,该重建的术中模型可以与术前或术中立体图像数据,如核磁共振(MR)、计算机断层扫描(CT)、或正电子发射断层成像(PET)等融合,从而为执行手术治疗的临床医生提供额外的指导。然而,由于参数空间较大并缺乏对配准问题的约束,配准颇具挑战性。用于执行此种配准的一种策略是将术间相机附着于外部光学或电磁跟踪系统上,从而建立相机相对于患者的绝对位姿。这种基于跟踪器的方法确实有助于在术中图像流(视频)和立体图像数据之间建立初始配准,但却为临床工作流程带来了额外硬件组件的负担。
技术实现思路
本专利技术提供了一种用于术中图像(例如,腹腔镜或内窥镜图像)与术前体图像数据配准的方法和系统。本专利技术实施例通过根据虚拟相机的视角和方向模拟3D立体中的虚拟投影图像来将3D立体配准至2D/2.5D术中图像,然后利用附着于术中相机上的方位传感器(例如,陀螺仪或加速度计)的术中图像相关的相关方位测量值来约束配准的同时,计算配准参数以将模拟投影图像匹配至真实的术中图像。进一步地,本专利技术实施例基于手术方案的在前信息来约束配准。在本专利技术的一个实施例中,接收目标器官的多个2D/2.5D术中图像以及用于术中图像的对应的相关方位测量值;通过计算位姿参数将目标器官的3D医学图像体配准至多个2D/2.5D术中图像,从而将3D医学图像体的模拟投影图像匹配至多个2D/2.5D术中图像,其中,配准受到术中图像的相关方位测量值的约束。通过参考以下详细描述和附图,本专利技术的这些和其它优点对于本领域的普通技术人员来说将变得显而易见。附图说明图1示出了根据本专利技术实施例的用于将目标解剖对象的3D术前医学图像体配准至目标解剖对象的2D/2.5D术中图像的方法;图2示出了将术前3D医学图像体中的模拟投影图像匹配至术中图像的实例;图3示出了根据本专利技术实施例的、将目标解剖对象的3D术前医学图像体配准至目标解剖对象的术中图像的手术规划和配准的方法;图4示出了根据由手术方案获得的在前知识确定的示例性约束;及图5为能够实施本专利技术的计算机的高级框图。具体实施方式本专利技术涉及一种用于将术中图像(例如,腹腔镜或内窥镜图像)配准至3D立体医学图像的方法和系统。在此所描述的本专利技术实施例在于从视觉上理解该配准方法。数字图像通常由一个或多个物体(或形状)的数字化表现组成。在此通常根据识别和操作物体来描述某一物体的数字化表现。这些操作均为在计算机系统的存储器或其他电路/硬件内完成的虚拟操作。相应地,应当理解的是,本专利技术实施例可以在计算机系统内使用计算机系统存储的数据来执行。可通过首先执行初始刚性对准,然后再进行更为精细的非刚性对准来实现3D医学图像数据与术中图像(例如,内窥镜或腹腔镜视频帧)的融合。本专利技术实施例利用附着于术中相机的加速计或陀螺仪的稀疏相关方位数据和手术规划信息,在3D立体医学图像数据和术中图像数据之间提供刚性配准,从而限制对配准参数的优化,使所观察到的术中图像数据和3D术前医学图像体实现最佳对准。本专利技术实施例还提供了优选手术规划流程,可将手术规划信息用于生物力学模型中,以在手术方案内预测组织的运动,从而向用户提供针对预测配准质量相关的反馈以及手术方案可做出哪些改变的指导,以改善配准。本专利技术实施例执行3D术前医学图像体和2D术中图像(例如腹腔镜或内窥镜图像,具有相应的、与每个图像相关的2.5D深度信息)的共同配准。应当理解的是,术语“腹腔镜图像”和“内窥镜图像”在此可互换使用,并且术语“术中图像”指手术治疗或介入期间获取的任何医学图像数据,包括腹腔镜图像和内窥镜图像。图1示出了根据本专利技术实施例的、用于将目标解剖对象的3D术前医学图像体配准至目标解剖对象的2D/2.5D术中图像的方法。图1的方法对表示了患者解剖结构的术中图像数据进行变换,以执行每一帧术中图像数据的语义分割并生成目标解剖对象的3D模型。在示例性实施例中,图1的方法可用于配准术前3D医学图像体,其中,肝脏已分割成肝脏的术中图像序列帧以指导肝脏的手术治疗如肝脏切除术,进而移除肝脏肿瘤或损伤。参见图1,在步骤102中,接收术前3D医学图像体。在手术治疗之前获取该术前3D医学图像体。可使用任意显像模式如计算机断层扫描(CT)、核磁共振(MR)或正电子发射断层成像(PET)来获取3D医学图像体。可直接接收来自图像获取设备如CT扫描仪或MR扫描仪的术前3D医学图像体,或可通过从计算机系统的存储器或存储装置中加载之前存储的3D医学图像体来获取术前3D医学图像体。在优选实施方式中,在术前规划阶段,可利用图像获取设备来获取术前3D医学图像体并将其存储在计算机系统的存储器或存储装置中。然后,在手术治疗期间,可从存储器或存储系统加载该术前3D医学图像体。术前3D医学图像体包括目标解剖对象如目标器官。在优选实施方式中,该目标器官可以为肝脏。与术中图像如腹腔镜和内窥镜图像相比,术前体成像数据可以提供目标解剖对象更详细的视图。在术前3D医学图像体中,可分割目标解剖对象和其他解剖对象。表面目标(例如,肝脏)、关键结构(例如,肝脏门静脉、肝脏脏系统、胆道及其他目标(例如,原发及转移肿瘤)可根据术前成像数据利用任意分割算法进行分割。比如,该分割算法可为基于机器学习的分割算法。在一个实施例中,可采用基于边缘空间学习(MSL)的框架,如利用题为“在三维图像中分割心脏腔室的系统和方法”的第7,916,919号美国专利中所描述的方法,上述专利通过引用将其全部内容结合于本文中。在另外一个实施例中,可以使用半自动分割技术,例如图像分割或随机游走分割。在步骤104中,接收术中图像序列以及对应的相关方位测量值。术中图像序列也可以是一个视频,每个术中图像即为该视频的一帧。例如,术中图像序列可以为通过腹腔镜获取的腹腔镜图像序列或通过内窥镜获取的内窥镜图像序列。根据优选实施例,术中图像序列的每一帧都是2D/2.5D图像。即术中图像序列的每一帧包括分别为每个像素提供典型2D图像外观信息的2D图像通道和在2D图像通道中提供与每个像素相对应的深度信息的2.5D深度通道。例如,术中图像序列的每一帧都可包括RGB-D(红色、绿色、蓝色+深度)图像数据。该图像数据包括RGB图像,其中每一像素分别具有一RGB值;以及深度图像(深度图),其中,每一像素值对应于图像获取设备(例如,腹腔镜或内窥镜)的像机中心到参考像素的深度或距离。用于获取术中图像的术中图像获取设备(例如,腹腔镜或内窥镜)可配置相机或摄像机来获取每一时间帧的RGB图像,也可配置飞行时间或结构光传感器来获取每一时间帧的深度信息。该术中图像获取设备也可配置方位传感器诸如加速计或陀螺仪,其提供了每帧的相关方位测量值。可直接从图像获取设备接收术中图像序列的帧。例如,在优选实施例中,当通过图像获取设备获取术中图像序列帧本文档来自技高网...
2D/2.5D腹腔镜和内窥镜图像数据与3D立体图像数据配准的方法和系统

【技术保护点】
一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的方法,包括:接收所述目标器官的多个2D/2.5D术中图像及用于所述术中图像的对应的相关方位测量值;以及通过计算位姿参数,将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像,其中,所述配准受到所述术中图像的所述相关方位测量值的约束。

【技术特征摘要】
【国外来华专利技术】1.一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的方法,包括:接收所述目标器官的多个2D/2.5D术中图像及用于所述术中图像的对应的相关方位测量值;以及通过计算位姿参数,将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像,其中,所述配准受到所述术中图像的所述相关方位测量值的约束。2.根据权利要求1所述的方法,其中,通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像,其中,所述配准受到所述术中图像的所述相关方位测量值的约束,包括:优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将多个所述2D/2.5D术中图像的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化,其中,所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束。3.根据权利要求2所述的方法,其中,从安装于术中图像获取设备的方位传感器接收所述相关方位测量值,该术中图像获取设备用于获取多个术中图像,并且所述相关方位测量值表示所述术中图像获取设备相对于该多个术中图像中的每个术中图像的相关方位,其中,所述3D医学图像体的所述模拟投影图像的位姿参数包括所述模拟投影图像中的每个模拟投影图像的虚拟相机位置和方位参数,并且其中,用于所述模拟投影图像的虚拟相机方位参数受到约束,使得用于所述模拟投影图像的虚拟相机的所述相关方位与该多个术中图像的所述相关方位匹配。4.根据权利要求2所述的方法,其中,多个所述2D/2.5D术中图像中的每个2D/2.5D术中图像包括2D图像数据和对应的2.5D深度数据,所述3D医学图像体中的所述模拟投影图像中的每个模拟投影图像都为包括2D图像数据和对应的2.5D深度数据的2D/2.5D投影图像,并且,优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将多个所述2D/2.5D术中图像中的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化,其中,所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束,包括:优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将代价函数最大化,该代价函数包括多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2D图像数据和对应的、所述模拟投影图像中的其中一个模拟投影图像之间的基于外观的相似性度量值以及多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2.5D深度数据和对应的、所述模拟投影图像的其中一个模拟投影图像之间的几何拟合度量值。5.根据权利要求1所述的方法,其中,所述配准进一步基于已知手术方案的在前信息而受到约束,该已知手术方案用于获取多个所述2D/2.5D术中图像。6.根据权利要求5所述的方法,其中,所述在前信息包括患者相对于手术台的位姿。7.根据权利要求1所述的方法,其中,接收所述目标器官的多个2D/2.5D术中图像及用于术中图像的对应的相关方位测量值包括:从术中图像获取设备接收多个所述2D/2.5D术中图像,其中,该术中图像获取设备为腹腔镜或内窥镜中的其中一个;以及从安装至所述术中图像获取设备的方位传感器接收用于术中图像的所述对应的相关方位测量值,其中,所述方位传感器为陀螺仪或加速度计中的其中一个。8.根据权利要求1所述的方法,还包括:在接收多个所述2D/2.5D术中图像之前:使用所述目标器官的生物力学模型基于手术方案模拟所述目标器官的变形;使用所述目标器官的模拟的变形生成用于所述手术方案的模拟术中图像;将所述目标器官的3D医学图像体配准至所述模拟术中图像;以及基于所述目标器官的所述3D医学图像体配准至所述模拟术中图像,计算用于所述手术方案的预测的配准质量测量值。9.根据权利要求8所述的方法,还包括:在接收多个所述2D/2.5D术中图像之前,响应于基于所述预测的配准质量测量值确定所述手术方案的预测的配准质量不充分,改进所述手术方案的参数。10.根据权利要求8所述的方法,其中,接收所述目标器官的多个2D/2.5D术中图像及用于术中图像的对应的相关方位测量值包括:接收使用所述手术方案获取的所述目标器官的多个所述2D/2.5D术中图像,其中,基于所述手术方案的一个或多个参数进一步约束所述配准。11.根据权利要求10所述的方法,其中,所述手术方案的所述一个或多个参数包括患者相对于手术台的位姿、腹腔镜入口端的位置或用于获取多个所述2D/2.5D术中图像的术中图像获取设备的角度范围中的至少一个。12.一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的装置,包括:用于接收所述目标器官的多个所述2D/2.5D术中图像及用于术中图像的对应的相关方位测量值的装置;以及用于通过计算位姿参数将所述目标器官的所述3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像的装置,其中,所述配准受到所述术中图像的所述相关方位测量值的约束。13.根据权利要求12所述的装置,其中,所述用于通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像的装置包括:用于优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将多个所述的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化的装置,其中所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束。14.根据权利要求13所述的装置,其中,从安装于术中图像获取设备的方位传感器接收所述相关方位测量值,该术中图像获取设备用于获取所述多个术中图像,并且所述相关方位测量值表示所述术中图像获取设备相对于多个术中图像的每个术中图像的相关方位,其中,所述3D医学图像体的所述模拟投影图像的位姿参数包括所述模拟投影图像的每个模拟投影图像的虚拟相机位置和方位参数,并且其中,用于所述模拟投影图像的虚拟相机方位参数受约束,使得所述模拟投影图像的虚拟相机的所述相关方位与多个术中图像的所述相关方位匹配。15.根据权利要求13所述的装置,其中,多个所述2D/2.5D术中图像的每个2D/2.5D术中图像包括2D图像数据和对应的2.5D深度数据,所述3D医学图像体的所述模拟投影图像的每个模拟投影图像都为包括2D图像数据和对应的2.5D深度数据的2D/2.5D投影图像,并且,用于优化所述3D医学图像体的所述模拟投影...

【专利技术属性】
技术研发人员:托马斯·法伊弗斯特凡·克卢克纳彼得·蒙特尼阿里·卡门
申请(专利权)人:西门子公司
类型:发明
国别省市:德国,DE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1