通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-D刀具跟踪的方法与系统技术方案

在机械微创外科手术中实现刀具跟踪的方法和系统。使用三角测量技术或贝叶斯滤波器，从非内窥镜导出刀具状态信息和内窥镜导出刀具状态信息中的两者或任意一个或者从非视觉导出刀具状态信息和视觉导出刀具状态信息中的两者或任意一个，来确定刀具状态。所述非内窥镜导出刀具状态信息从传感器数据中导出，所述传感器数据由与用来操纵刀具的机构有关的传感器提供，或由能够检测从刀具发射或反射并指示其位置的可识别信号的传感器提供，或由用来观测从身体延伸出的刀具的末端的外部照相机提供。所述内窥镜导出刀具状态信息从图像数据中导出，所述图像数据由插入在身体中以观测刀具的内窥镜提供。

【技术实现步骤摘要】

本专利技术主要涉及微创外科手术，且具体地说涉及利用机械微创外科手术过程中传感器和/或照相机导出数据(例如刀具位置、速度)的联合实现3-D刀具跟踪的方法与系统。
技术介绍
微创外科手术技术旨在减少在诊断或手术过程中破坏的外源组织的数量，从而缩短患者康复时间，减轻不适感，降低毒副作用。因此，使用微创外科手术技术，可以使标准外科手术的医院驻留平均时长显著缩短。同样地，微创外科手术也可以降低患者康复时间和离开工作的时间，减轻患者不适，降低手术副作用。微创外科手术的常见形式是内窥镜检查，内窥镜的常见形式是腹腔镜检查，其为对腹腔内部的微创检查和外科手术。在标准腹腔镜检查手术中，向患者的腹部注入气体，通过小(大约1/2英寸或更小)切口传递套袖来提供腹腔镜手术器械的入口。腹腔镜检查手术器械主要包含腹腔镜或内窥镜(用于观测手术区域)以及工作刀具。所述工作刀具与用于传统(开腹)手术的刀具相似，区别是，每个刀具的工作端或末端执行器与其把手用延长管分离开。在这里使用的术语“末端执行器”是指手术器械的实际工作部分且可以包含例如夹子 、抓紧器、剪刀、订书机、图像采集透镜以及测针夹持器。要完成手术，外科医生将这些工作刀具或器械通过套袖传递到内部手术部位并从腹部外操纵它们。外科医生利用监视器来观测过手术，所述监视器显示腹腔镜所拍摄的手术部位的图像。相似的内窥镜检查技术应用于例如关节镜检查、后腹膜腔镜检查、骨盆镜检查、肾镜检查、膀胱镜检查、脑镜检查(cisternoscopy)、鼻内窥镜检查(sinoscopy)、子宫镜检查、尿道镜检查等类似检查技术。微创远程外科机械系统正被开发以提高外科医生在内部手术部位工作的灵活性，也允许外科医生在较远的地方对患者进行手术。在远程外科系统中，经常在计算机工作站将手术部位的图像提供给外科医生。当在观察器或显示器观测手术部位的三维图像时，夕卜科医生通过控制主输入或工作站控制设备来完成对患者的手术。每个主输入设备都控制自动控制装置运行的手术器械的运动。在手术过程中，远程外科系统可以提供含有末端执行器的各种手术器械或刀具的机械驱动和控制，所述末端执行器为手术执行各种功能，例如把持或推动针、抓紧血管或解剖组织或者类似功能以响应主输入设备的控制。然而，在手术过程中，外科医生可以操纵刀具以使得其末端执行器移到内窥镜的视野之外，或者所述末端执行器可能因为流体或其他干涉物的阻塞而变得不易看到。在这些情况下，能够在定位和/或识别工作站的显示屏上的末端执行器方面给外科医生提供帮助，将是有用的。各种用于识别照相机图像中刀具的技术已被开发。例如，一种这样的技术在Guo-Qing We1、Klaus Arbter 和 Gerd Hizinger 的 “Real-Time Visual Servoing forLaparoscopic Surgery,，，IEEE Engineering in Medicine and Biology, Vol.16, N0.1,PP.40-45,1997中描述，其中颜色标记用来识别照相机中的刀具，以便照相机可以被自动操作，从而保持刀具位于器视觉图像的中间。再例如，另一种这样的机构在Xiaoli Zhang和 Shahram Payandeh 的“Application of Visual Tracking for Robot-AssistedLaparoscopic Surgery,，，Journal of Robotics Systems,Vol.19,N0.7,pp.315-328,2002中描述，其中有条纹的标记用于识别照相机中的刀具及其深度，以使得照相机可以被自动操作以直观地跟踪刀具。然而，当末端执行器在内窥镜的视野之外时或当其被流体或某物体阻塞时，这些技术一般就没用了。在这两种中的任何一种情况下，这种标志都不能被发现，刀具不可能被识别。第二，简单的颜色标记和其他置于刀具上的方向独立标记都不便确定刀具方向和位姿。第三，识别和跟踪刀具标记的计算复杂性可使得实时跟踪困难。具体地，处理每个视频采集画面所增加的时间将会降低视频采集发生的频率，可能导致从一个图像突然转移到另一个图像。第四，未校正的照相机校准和/或其他系统测量误差在根据照相机的视觉图像确定刀具位置和方向时可能引起误差。
技术实现思路
要使多种刀具中的每一种对于外科医生在工作站显示屏上和对于患者旁边的工作人员容易区分，则可使用许多计算机辅助技术，例如:预测刀具的位置和方向，并将刀具的计算机辅助设计(“CAD”)模型，或其他虚拟标记或指示器，覆盖在 显示屏中刀具的预测位置和方向；预测刀具的位置和方向，并惟一标识每个刀具在其预测位置和方向以使其在显示屏上可与其他刀具区别开来；以及预测刀具的位置和方向，并且当以某种方式突出显示刀具的末端执行器以便末端执行器在显示屏上看上去浮动并突出时，擦除或刷除掉刀具的轴。例如，惟一标识每个刀具在其预测位置和方向使其在显示屏上可于其他刀具区别开来的一个优势，是其:a)使外科医生(只看见身体内的刀具)更易于与患者一侧的工作人员(只看见身体外的刀具)就具体刀具进行交流，b)确保外科医生意识到可能在视野之外的刀具。当有多于两个刀具时，这是特别重要的，因为外科医生只可能看到两个，假定那两个是他用两只手控制的两个，而实际上他在视野之外控制(即移动)着另一个刀具，潜在地破坏着组织。同样地，例如，预测刀具的位置和方向并在以某种方式突出显示刀具的末端执行器以便末端执行器在显示屏上看上去浮动并突出显示时擦除或刷除掉刀具的轴，这样的一个优势是它使更多的潜在组织能被外科医生观测到。然而，注意，这种潜在组织的视图是定义合成的，因为组织的当前状态被刀具弄得模糊。因此擦除刀具的轴需要存储手术部位的先前图像，以便模糊的区域或许以一种昏暗或变灰的方式(又叫战争雾)可被该区域的最后可知的不模糊视图替代，以指示数据不是当前的。刀具跟踪是指刀具状态随时间的确定。刀具状态一般包括其在参考系中的位置和方向以及其他相关参数例如其平动和转动速度。在优选实施例中，刀具跟踪在照相机参考系中完成。刀具跟踪使得在刀具在内窥镜视图中不可见或阻塞时的时间点上有助于刀具位置和方向的预测，这是利用刀具可见或可识别时的先前时间的位置和方向、和/或使用在那个时间点及之前的时间从内窥镜源导出的位置和方向估计实现的。对刀具位置和方向的确定，除对刀具在工作站的显示屏上定位之外，还有很多方面的用处。例如，刀具位置和方向信息可用来生成图形覆盖，其包含外科医生所关心的信息。这些覆盖可包含:动态或静态视频图象(telestration)、刀具间的距离、刀具与患者解剖之间的距离、在照相机参考系中解剖构造的测量、或在另一参考系中解剖结构的测量。此夕卜，刀具的位置和方向可用来根据在固定或世界参考系中提供的术前或计划数据，对齐当前的刀具和照相机位置，或大体提高操纵刀具的机械机构的安全性和可控性。但对于又一个示例，对刀具位置和方向的确定，也对在外科手术过程中从传感器收集的数据的注册有用，所述传感器安装在刀具本身，例如超声传感器。在这种情况下，如果支持传感器的刀具的位置和方向公知在照相机参考系中(即内窥镜的参考系)，那么从安装在刀具上的超声传感器收集的任何数据的位置和方向可被显示在工作本文档来自技高网...

【技术保护点】
一种刀具跟踪方法，其包括：确定刀具的计算机模型；接收包含所述刀具的视图的采集图像；从所述采集图像中确定所述刀具的估计位置和方向，并根据所述采集图像将所述计算机模型定位和定向成该估计位置和方向；以及相对于所述采集图像中所述刀具的图像，修改所述计算机模型的估计位置和方向直到所述计算机模型近似覆盖所述图像，从而为所述采集图像校正所述刀具的估计位置和方向。

【技术特征摘要】
2005.05.16 US 11/130,4711.一种刀具跟踪方法，其包括: 确定刀具的计算机模型； 接收包含所述刀具的视图的采集图像； 从所述采集图像中确定所述刀具的估计位置和方向，并根据所述采集图像将所述计算机模型定位和定向成该估计位置和方向；以及 相对于所述采集图像中所述刀具的图像，修改所述计算机模型的估计位置和方向直到所述计算机模型近似覆盖所述图像，从而为所述采集图像校正所述刀具的估计位置和方向。2.根据权利要求1所述的方法，其中相对于所述采集图像中所述刀具的图像对所述计算机模型的估计位置和方向的修改包括: 通过最小化所述计算机模型与所述刀具的图像之间的差异，确定近似覆盖所述刀具的图像的所述计算机模型的修改后的位置和方向。3.根据权利要求1所述的方法，其中所述采集图像由插入到所述身体区域中的立体式内窥镜米集。4.根据权利要求1所述的方法，其进一步包括: 提取所述刀具的计算机模型的轮廓； 提取在所述采集图像中的所述刀具的图像的边缘；以及 定位和旋转所述计算机模型的所述轮廓直到所述计算机模型的所述轮廓近似覆盖所述采集图像内的所述刀具的图像的边缘。5.根据权利要求4所述的方法，其进一步包括:在定位和旋转所述计算机模型的所述轮廓直到所述计算机模型的所述轮廓近似覆盖所述采集图像内的所述刀具的图像的边缘之前，去掉在所述刀具的所述计算机模型的所述轮廓中的线，其对应于在所述采集图像内的所述刀具的图像中的隐线。6.根据权利要求4所述的方法，其中所述定位和旋转所述计算机模型的所述轮廓直到所述轮廓近似覆盖所述采集图像内的所述刀具的图像的边缘，包括: 确定所述计算机模型的所述轮廓与所述采集图像中的所述刀具的图像之间的差异；以及 定位和旋转所述计算机模型的所述轮廓直到所述差异最小化。7.根据权利要求6所述的方法，其中待最小化的所述差异是从所述刀具图像和其最近轮廓边缘中提取的边缘像素之间的绝对差异的总和。8.根据权利要求6所述的方法，其中所述刀具插入的区域的视图，由插入在所述区域的至少一个照相机以网格像素的方式采集。9.一种刀具跟踪方法包括: 确定指示刀具状态的传感器数据是否在某一时间点可用； 确定指示所述刀具状态的图像数据是否在所述时间点可用；以及 如果所述传感器数据和所述图像数据都在所述时间点可用则使用这两者来确定所述刀具状态，如果只有所述传感器数据可用则只使用所述传感器数据来确定，如果只有所述图像数据可用则只使用所述图像数据来确定。10.根据权利要求9所述的方法，进一步包括:确定用户是否正在所述时间点操纵所述刀具；以及 只有在所述用户被确定正在所述时间点操纵所述刀具时才进行所述传感器数据和图像数据的可用性确定。11.根据权利要求9所述的方法，其中进一步包括: 使用所述传感器数据，确定所述刀具的状态相对于先前时间点是否已改变；以及 只有在所述刀具的状态被确定为已改变时才进行所述图像数据可用性和刀具状态确定。12.根据权利要求9所述的方法，其中由所述传感器数据指示的所述刀具状态，包含所述刀具在固定参考系中的位置和方向。13.根据权利要求12所述的方法，其中所述图像数据由照相机装置生成，所述传感器数据进一步指示在所述固定参考系中所述照相机装置的位置和方向，并且由所述图像数据指示的所述刀具状态包含在关于所述照相机装置的参考系中所述刀具的位置和方向。14.根据权利要求13所述的方法，其中使用所述传感器数据和所述图像数据对所述刀具状态的确定，包括: 在当用所述传感器数据和所述图像数据来确定所述刀具状态之前，将由所述传感器数据指示的所述刀具的位置和方向从所述固定参考系转换到与所述照相机装置有关的所述参考系。15.一种刀具跟踪方法，其包括: 使用指示在时间点的刀具状态的第一传感器数据，确定与所述时间点的界标有关的第一估计所述刀具状态； 使用指示在所述时间点的照相机状态的第二传感器数据，确定与所述时间点的所述界标有关的估计照相机状态； 使用由所述照相机生成的且指示在所述时间点的所述刀具状态的图像数据，确定与所述时间点的所述照相机有关的第二估计刀具状态； 转换所述第一估计刀具状态以使其与所述照相机有关而不是与所述界标有关；以及 计算在转换后的第一与第二估计刀具状态之间的误差转换，使得在后续时间点如果指示在所述后续时间点的所述刀具状态的图像数据不可用，则所述刀具状态通过应用所述误差转换到用传感器数据所确定的第三估计刀具状态来确定，所述传感器数据指示在所述后续时间点转换后的所述刀具状态，以使其与所述照相机有关而不是与所述界标有关。16.根据权利要求15所述的方法，其进一步包括如果指示在所述后续时间点的所述刀具状态的所述图像数据可用，则: 使用由所述照相机生成的且指示在所述后续时间点的所述刀具状态的图像数据，确定在所述后续时间点与所述照相机有关的第四估计刀具状态；以及 确定在所述后续时间点的所述刀具状态为所述第四估计刀具状态。17.根据权利要求16所述的方法，进一步包括如果指示在所述后续时间点的所述刀具状态的所述图像数据可用，则: 计算在转换后的第三与第四估计刀具状态之间的第二误差转换，使得在再后续时间点如果指示在所述再后续时间点的所述刀具状态的所述图像数据不可用，则所述刀具状态通过应用所述第二误差转换到第五估计刀具状态来确定，所述第五估计刀具状态使用传感器数据来确定，所述传感器数据指示在所述再后续时间点的转换后的刀具状态，以使其与所述照相机有关而不是与所述界标有关。18.一种刀具跟踪方法，其包括: 确定在给定时间的刀具的非内窥镜导出估计状态信息； 确定在所述给定时间的所述刀具的内窥镜估计的状态信息；以及 提供所述刀具的所述非内窥镜和内窥镜导出估计状态到贝叶斯滤波器，所述贝叶斯滤波器被配置以生成所述刀具的状态的最优估计。19.根据权利要求18所述的方法，其中将非内窥镜导出刀具状态与内窥镜导出刀具状态之间的平均差异的初始估计提供给所述贝叶斯滤波器。20.根据权利要求19所述的方法，其中所述贝叶斯滤波器更新所述非内窥镜导出刀具状态与所述内窥镜导出刀具状态之间的所述平均差异的所述估计，同时使用所述非内窥镜导出刀具状态和所述内窥镜导出刀具状态来估计所述刀具的状态。21.根据权利要求18所述的方法，其中所述非内窥镜导出估计状态信息是根据传感器数据生成的，所述传感器数据指示至少在所述给定时间所述刀具在固定参考系中的位置。22.根据权利要求21所述的方法，其中所述内窥镜导出估计状态信息是根据图像数据生成的，所述图像数据从至少一个照相机接收，所述照相机在所述刀具插入到所述身体时采集所述身体区域的图像信息。23.根据权利要求18所述的方法，其中所述贝叶斯滤波器是卡尔曼滤波器。24.根据权利要求23所述的方法，其中所述卡尔曼滤波器是扩展卡尔曼滤波器。25.根据权利要求18所述的方法，其中所述贝叶斯滤波器是粒子滤波器。26.一种刀具跟踪和校准方法，其包括: 根据从观测刀具的照相机所接收的图像数据，生成视觉导出状态信息； 通过将一组照相机参数的初始值与所述视觉导出状态信息组合，来生成状态向量信息；以及 提供所述状态向量信息到贝叶斯滤波器进行处理，以生成所述刀具的状态的最优估计和该组照相机参数的校正值。27.根据权利要求26所述的方法，进一步包括: 根据从一个或更多传感器接收的传感器数据，生成非视觉导出状态信息，所述传感器数据包含指示所述刀具的位置的信息；以及 通过将所述非视觉导出状态信息与该组照相机参数的所述初始值和所述视觉导出状态信息组合，生成所述状态向量信息。28.根据权利要求27所述的方法，其中所述照相机是内窥镜。29.根据权利要求27所述的方法，其中所述一个或更多传感器与机械机构有关，所述机械机构用来通过身体中的微创切口操纵所述刀具。30.一种照相机跟踪方法，其包括: 根据非视觉导出刀具状态信息确定在固定参考系中刀具的位置，所述非视觉导出刀具状态信息根据指示所述刀具的所述位置的传感器数据生成； 使用视觉导出刀具状态信息来确定在可随照相机移动的照相机参考系中所述刀具的位置，所述视觉导出刀具状态信息根据所述照相机在观测所述刀具时所提供的图像数据生成；以及 使用在所述固定参考系中所述刀具的位置和在可移动照相机参考系中所述刀具的位置，来确定在所述固定参考系中所述照相机的位置。31.一种刀具跟踪方法，其包括: 根据非视觉导出照相机状态信息确定在固定参考系中照相机的位置，所述非视觉导出照相机状态信息根据指示所述照相机的位置的传感器数据生成； 使用视觉导出刀具状态信息来确定在可随照相机移动的照相机参考系中刀具的位置，所述视觉导出刀 具状态信息根据所述照相机在观测所述刀具时所提供的图像数据生成；以及 使用在所述固定参考系中所述照相机的位置和在可移动照相机参考系中所述刀具的位置，来确定在所述固定参考系中所述刀具的位置。32.一种刀具跟S示系统，其包括: 用于通过处理非内窥镜导出刀具状态信息和内窥镜导出刀具状态信息跟踪刀具的装置，这两种刀具状态信息是当所述刀具通过身体中的微创切口被插入并进行操纵时生成的。33.根据权利要求32所述的系统，其中所述非内窥镜导出刀具状态信息和内窥镜导出刀具状态信息的处理是用贝叶斯滤波器实现的。34.根据权利要求33所述的系统，其中与所述非内窥镜导出刀具状态信息相比，所述内窥镜导出刀具状态信息较不频繁地被提供给所述贝叶斯滤波器。35.根据权利要求33所述的系统，其中所述非内窥镜导出刀具状态信息被以抽样速率连续地提供给所述贝叶斯滤波器加以处理，并且所述内窥镜导出状态信息被非连续地提供给所述贝叶斯滤波器加以处理。36.根据权利要求33所述的系统，其中将非内窥镜导出刀具状态与内窥镜导出刀具状态之间的平均差异的初始估计提供给所述贝叶斯滤波器。37.根据权利要求36所述的系统，其中所述贝叶斯滤波器更新所述非内窥镜导出刀具状态与所述内窥镜导出刀具状态之间的平均差异的所述估计，同时使用所述非内窥镜导出刀具状态和所述内窥镜导出刀具状态来估计所述刀具的状态。38.根据权利要求32所述的系统，其中所述非内窥镜导出刀具状态信息由传感器数据生成，所述传感器数据指示所述刀具在固定参考系中的至少一个位置。39.根据权利要求38所述的系统，其中所述传感器数据指示所述刀具在所述固定参考系中的方向。40.根据权利要求38所述的系统，其中所述传感器数据由位置传感器提供，所述位置传感器耦合到一种...

【专利技术属性】
技术研发人员：B·D·霍夫曼，D·Q·拉金，G·普里斯科，G·G·张，R·库马尔，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：