The present invention discloses a method and system for registration of 2D/2.5D laparoscope or endoscope image data to 3D stereoscopic image data. The images of multiple 2D/2.5D operations for receiving the target organs and the corresponding relative azimuth measurements for the intraoperative images are measured. By calculating the pose parameters, the 3D medical image of the target organ is registered into multiple 2D/2.5D intraoperative images, so that the simulated projection images of 3D medical images can be matched to many 2D/2.5D images, and registration is constrained by the relative orientation measurement values of intraoperative images.
【技术实现步骤摘要】
【国外来华专利技术】2D/2.5D腹腔镜和内窥镜图像数据与3D立体图像数据配准的方法和系统
技术介绍
本专利技术涉及腹腔镜或内窥镜图像数据与3D立体图像数据的配准,并且更具体而言,涉及将术中2D/2.5D腹腔镜或内窥镜图像数据配准至术前3D立体图像数据,以将来自术前3D立体图像数据的信息覆盖在术中腹腔镜或内窥镜图像数据之上。微创手术治疗期间,获取腹腔镜或内窥镜图像的序列来指导手术过程。可获取多个2D图像并且拼接起来以重建所观察器官的3D术中模型;然后,该重建的术中模型可以与术前或术中立体图像数据,如核磁共振(MR)、计算机断层扫描(CT)、或正电子发射断层成像(PET)等融合,从而为执行手术治疗的临床医生提供额外的指导。然而,由于参数空间较大并缺乏对配准问题的约束,配准颇具挑战性。用于执行此种配准的一种策略是将术间相机附着于外部光学或电磁跟踪系统上,从而建立相机相对于患者的绝对位姿。这种基于跟踪器的方法确实有助于在术中图像流(视频)和立体图像数据之间建立初始配准,但却为临床工作流程带来了额外硬件组件的负担。
技术实现思路
本专利技术提供了一种用于术中图像(例如,腹腔镜或内窥镜图像)与术前体图像数据配准的方法和系统。本专利技术实施例通过根据虚拟相机的视角和方向模拟3D立体中的虚拟投影图像来将3D立体配准至2D/2.5D术中图像,然后利用附着于术中相机上的方位传感器(例如,陀螺仪或加速度计)的术中图像相关的相关方位测量值来约束配准的同时,计算配准参数以将模拟投影图像匹配至真实的术中图像。进一步地,本专利技术实施例基于手术方案的在前信息来约束配准。在本专利技术的一个实施例中,接收目标器官的多 ...
【技术保护点】
一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的方法,包括:接收所述目标器官的多个2D/2.5D术中图像及用于所述术中图像的对应的相关方位测量值;以及通过计算位姿参数,将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像,其中,所述配准受到所述术中图像的所述相关方位测量值的约束。
【技术特征摘要】
【国外来华专利技术】1.一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的方法,包括:接收所述目标器官的多个2D/2.5D术中图像及用于所述术中图像的对应的相关方位测量值;以及通过计算位姿参数,将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像,其中,所述配准受到所述术中图像的所述相关方位测量值的约束。2.根据权利要求1所述的方法,其中,通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像,其中,所述配准受到所述术中图像的所述相关方位测量值的约束,包括:优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将多个所述2D/2.5D术中图像的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化,其中,所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束。3.根据权利要求2所述的方法,其中,从安装于术中图像获取设备的方位传感器接收所述相关方位测量值,该术中图像获取设备用于获取多个术中图像,并且所述相关方位测量值表示所述术中图像获取设备相对于该多个术中图像中的每个术中图像的相关方位,其中,所述3D医学图像体的所述模拟投影图像的位姿参数包括所述模拟投影图像中的每个模拟投影图像的虚拟相机位置和方位参数,并且其中,用于所述模拟投影图像的虚拟相机方位参数受到约束,使得用于所述模拟投影图像的虚拟相机的所述相关方位与该多个术中图像的所述相关方位匹配。4.根据权利要求2所述的方法,其中,多个所述2D/2.5D术中图像中的每个2D/2.5D术中图像包括2D图像数据和对应的2.5D深度数据,所述3D医学图像体中的所述模拟投影图像中的每个模拟投影图像都为包括2D图像数据和对应的2.5D深度数据的2D/2.5D投影图像,并且,优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将多个所述2D/2.5D术中图像中的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化,其中,所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束,包括:优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将代价函数最大化,该代价函数包括多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2D图像数据和对应的、所述模拟投影图像中的其中一个模拟投影图像之间的基于外观的相似性度量值以及多个所述2D/2.5D术中图像的每个2D/2.5D术中图像中的2.5D深度数据和对应的、所述模拟投影图像的其中一个模拟投影图像之间的几何拟合度量值。5.根据权利要求1所述的方法,其中,所述配准进一步基于已知手术方案的在前信息而受到约束,该已知手术方案用于获取多个所述2D/2.5D术中图像。6.根据权利要求5所述的方法,其中,所述在前信息包括患者相对于手术台的位姿。7.根据权利要求1所述的方法,其中,接收所述目标器官的多个2D/2.5D术中图像及用于术中图像的对应的相关方位测量值包括:从术中图像获取设备接收多个所述2D/2.5D术中图像,其中,该术中图像获取设备为腹腔镜或内窥镜中的其中一个;以及从安装至所述术中图像获取设备的方位传感器接收用于术中图像的所述对应的相关方位测量值,其中,所述方位传感器为陀螺仪或加速度计中的其中一个。8.根据权利要求1所述的方法,还包括:在接收多个所述2D/2.5D术中图像之前:使用所述目标器官的生物力学模型基于手术方案模拟所述目标器官的变形;使用所述目标器官的模拟的变形生成用于所述手术方案的模拟术中图像;将所述目标器官的3D医学图像体配准至所述模拟术中图像;以及基于所述目标器官的所述3D医学图像体配准至所述模拟术中图像,计算用于所述手术方案的预测的配准质量测量值。9.根据权利要求8所述的方法,还包括:在接收多个所述2D/2.5D术中图像之前,响应于基于所述预测的配准质量测量值确定所述手术方案的预测的配准质量不充分,改进所述手术方案的参数。10.根据权利要求8所述的方法,其中,接收所述目标器官的多个2D/2.5D术中图像及用于术中图像的对应的相关方位测量值包括:接收使用所述手术方案获取的所述目标器官的多个所述2D/2.5D术中图像,其中,基于所述手术方案的一个或多个参数进一步约束所述配准。11.根据权利要求10所述的方法,其中,所述手术方案的所述一个或多个参数包括患者相对于手术台的位姿、腹腔镜入口端的位置或用于获取多个所述2D/2.5D术中图像的术中图像获取设备的角度范围中的至少一个。12.一种用于将目标器官的3D医学图像体配准至所述目标器官的2D/2.5D术中图像的装置,包括:用于接收所述目标器官的多个所述2D/2.5D术中图像及用于术中图像的对应的相关方位测量值的装置;以及用于通过计算位姿参数将所述目标器官的所述3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像的装置,其中,所述配准受到所述术中图像的所述相关方位测量值的约束。13.根据权利要求12所述的装置,其中,所述用于通过计算位姿参数将所述目标器官的3D医学图像体配准至多个所述2D/2.5D术中图像,从而将所述3D医学图像体的模拟投影图像匹配至多个所述2D/2.5D术中图像的装置包括:用于优化所述3D医学图像体的所述模拟投影图像的位姿参数,以将多个所述的每个2D/2.5D术中图像和对应的、所述3D医学图像体的所述模拟投影图像的其中一个模拟投影图像之间的相似性度量值最大化的装置,其中所述3D医学图像体的所述模拟投影图像的位姿参数受到术中图像的所述相关方位测量值的约束。14.根据权利要求13所述的装置,其中,从安装于术中图像获取设备的方位传感器接收所述相关方位测量值,该术中图像获取设备用于获取所述多个术中图像,并且所述相关方位测量值表示所述术中图像获取设备相对于多个术中图像的每个术中图像的相关方位,其中,所述3D医学图像体的所述模拟投影图像的位姿参数包括所述模拟投影图像的每个模拟投影图像的虚拟相机位置和方位参数,并且其中,用于所述模拟投影图像的虚拟相机方位参数受约束,使得所述模拟投影图像的虚拟相机的所述相关方位与多个术中图像的所述相关方位匹配。15.根据权利要求13所述的装置,其中,多个所述2D/2.5D术中图像的每个2D/2.5D术中图像包括2D图像数据和对应的2.5D深度数据,所述3D医学图像体的所述模拟投影图像的每个模拟投影图像都为包括2D图像数据和对应的2.5D深度数据的2D/2.5D投影图像,并且,用于优化所述3D医学图像体的所述模拟投影...
【专利技术属性】
技术研发人员:托马斯·法伊弗,斯特凡·克卢克纳,彼得·蒙特尼,阿里·卡门,
申请(专利权)人:西门子公司,
类型:发明
国别省市:德国,DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。