内窥镜图像与超声图像的基于图像的融合制造技术

技术编号:20121635 阅读:26 留言:0更新日期:2019-01-16 12:45
一种用于由内窥镜(31)生成的解剖区域的内窥镜图像(33)与由腹腔镜超声探头(41)生成的所述解剖区域的超声图像(43)的基于图像的融合的图像融合工作站。所述图像融合工作站采用图像融合控制器(50),所述图像融合控制器基于所述内窥镜(31)的内窥镜图像空间与根据由所述图像融合控制器(50)对所述解剖区域的所述内窥镜(31)的视场(32)内的所述腹腔镜超声探头(41)的检测而导出的所述腹腔镜超声探头(41)的超声图像空间之间的图像变换来控制所述内窥镜图像(33)与所述超基于声图像(43)之间的所述融合。所述图像融合工作站还采用显示控制器(60),所述显示控制器控制由所述图像融合控制器(50)对所述内窥镜图像(33)与所述超声图像(43)的所述融合的显示。

Image-based Fusion of Endoscopic and Ultrasound Images

An image fusion workstation for image fusion between an endoscope image (33) of an anatomical area generated by an endoscope (31) and an ultrasound image (43) of the anatomical area generated by a laparoscopic ultrasound probe (41). The image fusion workstation adopts an image fusion controller (50), which derives the image space of the laparoscopic ultrasound probe (41) based on the endoscope image space of the endoscope (31) and on the detection of the laparoscopic ultrasound probe (41) in the field of view (32) of the endoscope (31) of the anatomical region by the image fusion controller (50). The image transformation between the two controls the fusion between the endoscope image (33) and the supersonic image (43). The image fusion workstation also adopts a display controller (60), which controls the display of the fused endoscope image (33) and the ultrasound image (43) by the image fusion controller (50).

【技术实现步骤摘要】
【国外来华专利技术】内窥镜图像与超声图像的基于图像的融合
本公开总体涉及:涉及解剖区域的腹腔镜成像的内窥镜视图的微创流程(例如,心脏外科手术、腹腔镜外科手术、自然孔口经腔外科手术、单切口腹腔镜外科手术、肺部/支气管镜外科手术以及诊断介入)。本公开更具体涉及解剖区域的内窥镜图像与超声图像的基于图像的融合。
技术介绍
内窥镜和腹腔镜是允许临床医师观察患者的内部解剖结构而无需外科手术地暴露解剖结构以用于直接观察的细的细长相机组件。内窥镜能够适配通过狭窄的自然孔口或者皮肤中的小切口,因此相比于开放性外科手术导致对患者的减少的创伤。腹腔镜超声(LUS)指代通过端口(或自然孔口)被引入到患者的内部解剖结构中并且被用于对内部器官进行成像的任何超声成像设备。LUS探头的两个范例包括PhilipsL10-4lap探头和PhilipsC9-3io探头。更具体地,LUS被用于评价内部器官,并且识别外科手术目标(例如,肿瘤)并且识别那些器官内部的敏感结构(例如,血管)。在现今的临床实践中,LUS探头通过用于外科手术器械的端口中的一个端口被引入到身体中。(一个或多个)器官被扫描以评价各种结构和目标的位置。在评价之后,LUS探头从端口被移除,并且器械通过(一个或多个)端口被引入到身体内以完成该流程。如果随后需要的话,LUS探头能够在不同的时间被再次引入到身体中。如在本领域中实践的基于跟踪的融合主要依赖于外部跟踪设备(例如,光学跟踪和/或电磁跟踪)以用于跟踪腹腔镜超声探头和超声-内窥镜图像融合两者,因此,使该实践在微创流程期间使用起来非常复杂并且笨重。另外,对于LUS的外科手术使用存在若干主要问题。首先,操作者仅在当内窥镜和LUS探头正在被跟踪时操作者通过LUS探头扫描解剖区域的时间知晓内窥镜图像与(一幅或多幅)超声图像之间的基于跟踪的对应关系。一旦LUS扫描完成并且LUS探头从身体被移除,则内窥镜图像与(一幅或多幅)超声图像之间的关系就丢失。第二,由于LUS探头的细长性质和允许LUS探头围绕单个入口点的有限运动的支点效应,对LUS探头的操纵是复杂的。第三,对LUS探头的跟踪能够解决所述问题中的一些问题,但是其引入了对于外科手术室中更多设备的需要,损害了工作流。另外,如果使用光学跟踪,则难以使用外部标记准确地推测LUS探头的位置。
技术实现思路
为了基于微创流程期间的解剖区域的腹腔镜成像的优点和益处进行改善,本公开提供了整合解剖区域的内窥镜图像与所述解剖区域的(一幅或多幅)腹腔镜超声(LUS)图像并且在解剖区域的操作者扫描期间或在所述流程期间的任何其他时间显示整合的信息的系统、工作站、控制器和方法。本公开的系统、工作站、控制器和方法实施内窥镜图像与(一幅或多幅)超声图像的基于图像的融合,这消除了对于额外跟踪设备(例如,光学跟踪和/或电磁跟踪)的需要。本公开的基于图像的融合将实现对LUS探头的更直观的使用,并且将实现在所述流程(例如,心脏外科手术、腹腔镜外科手术、自然孔口经腔外科手术、单切口腹腔镜外科手术、肺部/支气管镜外科手术以及诊断介入)期间的更好的对准。本公开的专利技术的一种形式是一种用于由内窥镜生成的解剖区域的内窥镜图像(例如,所述解剖区域内的解剖器官的内窥镜视图)与由腹腔镜超声探头生成的所述解剖区域的超声图像(例如,所述解剖区域内的解剖器官的超声视图)的基于图像的融合的图像融合工作站。所述图像融合工作站采用图像融合控制器,所述图像融合控制器基于所述内窥镜的内窥镜图像空间与根据由所述图像融合控制器对所述内窥镜的视场内的所述腹腔镜超声探头的检测而导出的所述腹腔镜超声探头的超声图像空间之间的图像变换来控制所述内窥镜图像与所述超声图像之间的所述融合。所述工作站还采用显示控制器,所述显示控制器控制由所述图像融合控制器对所述内窥镜图像和所述超声图像的所述融合的显示(例如,超声图像在内窥镜图像上的配准的叠加、或者所述超声图像相对于内窥镜图像的显示的配准的窗口显示)。本公开的专利技术的第二形式是所述图像融合控制器,所述图像融合控制器采用探头检测器、图像变换器和图像整合器。所述探头检测器控制对所述内窥镜的视场内的所述腹腔镜超声探头的检测。所述图像变换器控制所述内窥镜的内窥镜图像空间与根据由所述探头检测器对所述内窥镜的视场内的所述腹腔镜超声探头的所述检测而导出的所述腹腔镜超声探头的超声图像空间之间的图像变换的计算。所述图像整合器基于由所述图像变换器计算的所述图像变换来控制所述内窥镜图像与所述超声图像的所述融合。本公开的专利技术的第三形式是一种用于由内窥镜生成的解剖区域的内窥镜图像(例如,所述解剖区域内的解剖器官的内窥镜视图)与由腹腔镜超声探头生成的所述解剖区域的超声图像(例如,所述解剖区域内的解剖器官的超声视图)的基于图像的融合的方法。所述方法涉及图像融合工作站,所述图像融合工作站检测所述内窥镜的视场内的所述腹腔镜超声探头;并且计算所述内窥镜的内窥镜图像空间与所述腹腔镜超声探头的超声图像空间之间的图像变换,其中,所述图像融合工作站根据对所述内窥镜的所述视场内的所述腹腔镜超声探头的所述检测来导出所述图像变换。所述方法还涉及所述图像融合工作站基于所述图像变换对所述内窥镜图像与所述超声图像进行融合。本公开的所有专利技术都可以额外地将内窥镜/超声图像的融合并入到以下形式的解剖模型:(1)通过成像模态生成的解剖区域的体积图像(例如,解剖区域内的解剖器官的计算机断层摄影(CT或XperCT)、磁共振图像(MRI)、正电子发射断层摄影(PET)等视图),或者(2)解剖区域内的解剖器官的解剖图集。根据解剖模型配准,内窥镜/超声图像的融合的显示可以包括:(1)所述解剖模型与所述内窥镜图像一起被显示(例如,所述解剖模型的参考平面在所述内窥镜图像上的配准的叠加),(2)所述解剖模型与所述超声图像一起被显示(例如,超声图像在解剖模型上的配准的叠加),和/或(3)所述解剖模型与内窥镜/超声图像的融合一起显示(例如,超声图像和解剖模型的参考平面两者在内窥镜图像上的配准的叠加)。出于本公开的目的,包括但不限于“融合”、“解剖区域”、“解剖器官”、“内窥镜”、“内窥镜图像”、“视场”、“腹腔镜超声探头”、“超声图像”、“图像变换”、“配准”、“图像空间”、“显示器”、“体积图像”、“成像模态”和“解剖图集”的技术术语应当被解读为在本公开的领域中进行理解,并且如在本文中示范性描述的。。更具体地出于本公开的目的,术语“内窥镜”宽泛地涵盖在结构上被配置为具有从身体内部进行成像的能力的任何设备,如在本公开的领域中所理解的并且如在本文中示范性描述的。内窥镜的范例包括但不限于任何类型的观察器械,柔性的或刚性的(例如,内窥镜、关节镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、胃镜、子宫镜、腹腔镜、喉镜、神经镜、耳镜、推鼻镜、鼻窦镜、乙状结肠镜、鼻窦镜、胸腔镜、阴道镜、胸腔镜、S状结肠镜,神经内镜等)以及类似于配备有图像系统的观察器械的任何设备。成像是局部的,并且表面图像可以利用光纤、透镜和小型化(例如,基于CCD的)成像系统(例如,腹腔镜超声波)来光学地获得。出于本公开的目的,术语“控制器”宽泛地涵盖被容纳在工作站或者链接到工作站的专用主板或专用集成电路的所有结构配置,以用于控制如随后在本文中所描述的本公开的本文档来自技高网
...

【技术保护点】
1.一种用于由内窥镜(31)生成的解剖区域的内窥镜图像(33)与由腹腔镜超声探头(41)生成的所述解剖区域的超声图像(43)的基于图像的融合的图像融合工作站,所述图像融合工作站包括:图像融合控制器(50),其中,响应于对所述内窥镜图像(33)和所述超声图像(43)的通信,所述图像融合控制器(50)基于所述内窥镜(31)的内窥镜图像空间与根据由所述图像融合控制器(50)对所述解剖区域的所述内窥镜(31)的视场(32)内的所述腹腔镜超声探头(41)的检测而导出的所述腹腔镜超声探头(41)的超声图像空间之间的图像变换来控制所述内窥镜图像(33)与所述超声图像(43)之间的所述融合;以及显示控制器(60),其中,所述显示控制器(60)控制由所述图像融合控制器(50)对所述内窥镜图像(33)与所述超声图像(43)的所述融合的显示。

【技术特征摘要】
【国外来华专利技术】2016.05.31 US 62/343,3391.一种用于由内窥镜(31)生成的解剖区域的内窥镜图像(33)与由腹腔镜超声探头(41)生成的所述解剖区域的超声图像(43)的基于图像的融合的图像融合工作站,所述图像融合工作站包括:图像融合控制器(50),其中,响应于对所述内窥镜图像(33)和所述超声图像(43)的通信,所述图像融合控制器(50)基于所述内窥镜(31)的内窥镜图像空间与根据由所述图像融合控制器(50)对所述解剖区域的所述内窥镜(31)的视场(32)内的所述腹腔镜超声探头(41)的检测而导出的所述腹腔镜超声探头(41)的超声图像空间之间的图像变换来控制所述内窥镜图像(33)与所述超声图像(43)之间的所述融合;以及显示控制器(60),其中,所述显示控制器(60)控制由所述图像融合控制器(50)对所述内窥镜图像(33)与所述超声图像(43)的所述融合的显示。2.根据权利要求1所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还控制对来自所述腹腔镜超声探头(41)的所述超声图像(43)的深度的用户交互式选择。3.根据权利要求1所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还控制对所述超声图像(43)相对于被插入到所述解剖区域中的器械的显示。4.根据权利要求1所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还控制所述超声图像(43)的所示显示的透视视图。5.根据权利要求1所述的图像融合工作站,其中,响应于对所述解剖区域的解剖模型的通信,所述图像融合控制器(50)基于所述解剖模型的体积图像空间与所述内窥镜(31)的所述内窥镜图像空间之间的图像变换来控制所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的配准。6.根据权利要求5所述的图像融合工作站,其中,所述解剖模型是由成像模态生成的所述解剖区域的体积图像。7.根据权利要求5所述的图像融合工作站,其中,所述解剖模型是所述解剖区域内的解剖结构的解剖图集。8.根据权利要求5所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还控制被叠加在所述内窥镜图像(33)、所述超声图像(43)以及所述内窥镜图像(33)与所述超声图像(43)的所述融合中的至少一个的显示上的所述解剖模型的至少一个参考平面视图的显示。9.根据权利要求5所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还基于所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的所述配准来控制对由所述腹腔镜超声探头(41)生成的所述解剖区域的多幅超声图像之中的目标超声图像的显示。10.根据权利要求5所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还基于所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的所述配准来控制配合所述解剖模型的显示对虚拟腹腔镜探头和所述超声图像的显示。11.根据权利要求1所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还控制对指示在所述解剖区域内执行的外科手术流程的状态的所述超声图像的显示。12.根据权利要求5所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还控制对指示在所述解剖区域内执行的外科手术流程的状态的所述解剖模型的至少一个参考平面视图的显示。13.根据权利要求5所述的图像融合工作站,其中,所述图像融合控制器(50)和所述显示控制器(60)还基于所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的所述配准来控制所述腹腔镜超声探头(41)相对于所述解剖模型的至少一个期望位置的虚拟显示。14.一种用于由内窥镜(31)生成的解剖区域的内窥镜图像(3...

【专利技术属性】
技术研发人员:A·波波维奇P·西恩帕波G·A·托波雷克
申请(专利权)人:皇家飞利浦有限公司
类型:发明
国别省市:荷兰,NL

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1