通过联合传感器和/或照相机导出数据实现3-D刀具跟踪的方法与系统技术方案

在机械微创外科手术中实现刀具跟踪的方法和系统。使用三角测量技术或贝叶斯滤波器，从非内窥镜导出刀具状态信息和内窥镜导出刀具状态信息中的两者或任意一个或者从非视觉导出刀具状态信息和视觉导出刀具状态信息中的两者或任意一个，来确定刀具状态。所述非内窥镜导出刀具状态信息从传感器数据中导出，所述传感器数据由与用来操纵刀具的机构有关的传感器提供，或由能够检测从刀具发射或反射并指示其位置的可识别信号的传感器提供，或由用来观测从身体延伸出的刀具的末端的外部照相机提供。所述内窥镜导出刀具状态信息从图像数据中导出，所述图像数据由插入在身体中以观测刀具的内窥镜提供。

【技术实现步骤摘要】
通过联合传感器和/或照相机导出数据实现3-D刀具跟踪的方法与系统本申请是于2013年2月20日提交的名称为“通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-D刀具跟踪的方法与系统”的中国专利申请201310054782.2的分案申请，且前述专利申请是于2006年5月8日提交的名称为“通过机械微创外科手术过程中联合传感器和/或照相机导出数据实现3-D刀具跟踪的方法与系统”的中国专利申请200680025913.2的分案申请。本专利技术是在美国政府的支持下根据由美国国家标准与技术研究所(NIST)授予的70NANB1H3048号合作协议进行的。美国政府对本专利技术拥有一定权力。
本专利技术主要涉及微创外科手术，且具体地说涉及利用机械微创外科手术过程中传感器和/或照相机导出数据(例如刀具位置、速度)的联合实现3-D刀具跟踪的方法与系统。
技术介绍
微创外科手术技术旨在减少在诊断或手术过程中破坏的外源组织的数量，从而缩短患者康复时间，减轻不适感，降低毒副作用。因此，使用微创外科手术技术，可以使标准外科手术的医院驻留平均时长显著缩短。同样地，微创外科手术也可以降低患者康复时间和离开工作的时间，减轻患者不适，降低手术副作用。微创外科手术的常见形式是内窥镜检查，内窥镜的常见形式是腹腔镜检查，其为对腹腔内部的微创检查和外科手术。在标准腹腔镜检查手术中，向患者的腹部注入气体，通过小(大约1/2英寸或更小)切口传递套袖来提供腹腔镜手术器械的入口。腹腔镜检查手术器械主要包含腹腔镜或内窥镜(用于观测手术区域)以及工作刀具。所述工作刀具与用于传统(开腹)手术的刀具相似，区别是，每个刀具的工作端或末端执行器与其把手用延长管分离开。在这里使用的术语“末端执行器”是指手术器械的实际工作部分且可以包含例如夹子、抓紧器、剪刀、订书机、图像采集透镜以及测针夹持器。要完成手术，外科医生将这些工作刀具或器械通过套袖传递到内部手术部位并从腹部外操纵它们。外科医生利用监视器来观测过手术，所述监视器显示腹腔镜所拍摄的手术部位的图像。相似的内窥镜检查技术应用于例如关节镜检查、后腹膜腔镜检查、骨盆镜检查、肾镜检查、膀胱镜检查、脑镜检查(cistemoscopy)、鼻内窥镜检查(sinoscopy)、子宫镜检查、尿道镜检查等类似检查技术。微创远程外科机械系统正被开发以提高外科医生在内部手术部位工作的灵活性，也允许外科医生在较远的地方对患者进行手术。在远程外科系统中，经常在计算机工作站将手术部位的图像提供给外科医生。当在观察器或显示器观测手术部位的三维图像时，外科医生通过控制主输入或工作站控制设备来完成对患者的手术。每个主输入设备都控制自动控制装置运行的手术器械的运动。在手术过程中，远程外科系统可以提供含有末端执行器的各种手术器械或刀具的机械驱动和控制，所述末端执行器为手术执行各种功能，例如把持或推动针、抓紧血管或解剖组织或者类似功能以响应主输入设备的控制。然而，在手术过程中，外科医生可以操纵刀具以使得其末端执行器移到内窥镜的视野之外，或者所述末端执行器可能因为流体或其他干涉物的阻塞而变得不易看到。在这些情况下，能够在定位和/或识别工作站的显示屏上的末端执行器方面给外科医生提供帮助，将是有用的。各种用于识别照相机图像中刀具的技术已被开发。例如，一种这样的技术在Guo-QingWei、KlausArbter和GerdHizinger的“Real-TimeVisualServoingforLaparoscopicSurgery，”IEEEEngineeringinMedicineandBiology，Vol.16，No.1，pp.40-45，1997中描述，其中颜色标记用来识别照相机中的刀具，以便照相机可以被自动操作，从而保持刀具位于器视觉图像的中间。再例如，另一种这样的机构在XiaoliZhang和ShahramPayandeh的“ApplicationofVisualTrackingforRobot-AssistedLaparoscopicSurgery，”JournalofRoboticsSystems，Vol.19，No.7，pp.315-328，2002中描述，其中有条纹的标记用于识别照相机中的刀具及其深度，以使得照相机可以被自动操作以直观地跟踪刀具。然而，当末端执行器在内窥镜的视野之外时或当其被流体或某物体阻塞时，这些技术一般就没用了。在这两种中的任何一种情况下，这种标志都不能被发现，刀具不可能被识别。第二，简单的颜色标记和其他置于刀具上的方向独立标记都不便确定刀具方向和位姿。第三，识别和跟踪刀具标记的计算复杂性可使得实时跟踪困难。具体地，处理每个视频采集画面所增加的时间将会降低视频采集发生的频率，可能导致从一个图像突然转移到另一个图像。第四，未校正的照相机校准和/或其他系统测量误差在根据照相机的视觉图像确定刀具位置和方向时可能引起误差。
技术实现思路
要使多种刀具中的每一种对于外科医生在工作站显示屏上和对于患者旁边的工作人员容易区分，则可使用许多计算机辅助技术，例如：预测刀具的位置和方向，并将刀具的计算机辅助设计(“CAD”)模型，或其他虚拟标记或指示器，覆盖在显示屏中刀具的预测位置和方向；预测刀具的位置和方向，并惟一标识每个刀具在其预测位置和方向以使其在显示屏上可与其他刀具区别开来；以及预测刀具的位置和方向，并且当以某种方式突出显示刀具的末端执行器以便末端执行器在显示屏上看上去浮动并突出时，擦除或刷除掉刀具的轴。例如，惟一标识每个刀具在其预测位置和方向使其在显示屏上可于其他刀具区别开来的一个优势，是其：a)使外科医生(只看见身体内的刀具)更易于与患者一侧的工作人员(只看见身体外的刀具)就具体刀具进行交流，b)确保外科医生意识到可能在视野之外的刀具。当有多于两个刀具时，这是特别重要的，因为外科医生只可能看到两个，假定那两个是他用两只手控制的两个，而实际上他在视野之外控制(即移动)着另一个刀具，潜在地破坏着组织。同样地，例如，预测刀具的位置和方向并在以某种方式突出显示刀具的末端执行器以便末端执行器在显示屏上看上去浮动并突出显示时擦除或刷除掉刀具的轴，这样的一个优势是它使更多的潜在组织能被外科医生观测到。然而，注意，这种潜在组织的视图是定义合成的，因为组织的当前状态被刀具弄得模糊。因此擦除刀具的轴需要存储手术部位的先前图像，以便模糊的区域或许以一种昏暗或变灰的方式(又叫战争雾)可被该区域的最后可知的不模糊视图替代，以指示数据不是当前的。刀具跟踪是指刀具状态随时间的确定。刀具状态一般包括其在参考系中的位置和方向以及其他相关参数例如其平动和转动速度。在优选实施例中，刀具跟踪在照相机参考系中完成。刀具跟踪使得在刀具在内窥镜视图中不可见或阻塞时的时间点上有助于刀具位置和方向的预测，这是利用刀具可见或可识别时的先前时间的位置和方向、和/或使用在那个时间点及之前的时间从内窥镜源导出的位置和方向估计实现的。对刀具位置和方向的确定，除对刀具在工作站的显示屏上定位之外，还有很多方面的用处。例如，刀具位置和方向信息可用来生成图形覆盖，其包含外科医生所关心的信息。这些覆盖可包含：动态或静态视频图象(telestration)、刀具间的距离、刀具与患者解剖之间本文档来自技高网...

【技术保护点】
1.一种刀具(110)跟踪和校准系统(100)，其包括：用于根据从观测刀具(110)的照相机(112)所接收的图像数据生成所述刀具(110)的视觉导出状态信息的装置(101)；并且其特征在于：用于通过将一组照相机参数的初始值与所述刀具(110)的所述视觉导出状态信息组合来生成状态向量信息的装置(101)；以及用于通过使用贝叶斯滤波器处理所述状态向量信息来生成所述刀具(110)的状态的最优估计和该组照相机值的校正值的装置(101)。

【技术特征摘要】
2005.05.16 US 11/130,4711.一种刀具(110)跟踪和校准系统(100)，其包括：用于根据从观测刀具(110)的照相机(112)所接收的图像数据生成所述刀具(110)的视觉导出状态信息的装置(101)；并且其特征在于：用于通过将一组照相机参数的初始值与所述刀具(110)的所述视觉导出状态信息组合来生成状态向量信息的装置(101)；以及用于通过使用贝叶斯滤波器处理所述状态向量信息来生成所述刀具(110)的状态的最优估计和该组照相机值的校正值的装置(101)。2.根据权利要求1所述的系统(100)，进一步包括：用于根据从一个或更多传感器接收的传感器数据生成非视觉导出状态信息的装置(101)，所述传感器数据包含指示所述刀具(110)的位置的信息；以及用于通过将所述非视觉导出状态信息与该组照相机参数的所述初始值和所述视觉导出状态信息组合以生成所述状态向量信息的装置(101)。3.根据权利要求2所述的系统(100)，其中所述照相机(112)是内窥镜。4.根据权利要求2所述的系统(100)，其中所述一个或更多传感器与机械机构(114)有关，所述机械机构(114)用来通过身体中的微创切口操纵所述刀具(110)。5.一种计算机实施的刀具跟踪和校准方法，其包括：根据从观测刀具(110)的照相机(112)接收的图像数据生成视觉导出状态信息；并且其特征在于：通过将一组照相机参数的初始值与所述视觉导出状态信息组合来生成状态向量信息；以及通过提供所述状态向量信息到贝叶斯滤波器来生成所述刀具(110)的状态的最优估计和该组照相机参数的校正值。6.一种照相机跟踪系统(100)，其包括：用于生成传感器数据的一个或更多传感器，所述传感器数据指示用于操纵刀具(110)的机械机构(114)的状态；用于观测所述刀具(110)的照相机(112)；用于通过使用所述传感器数据来确定所述刀具(110)在固定参考系中的位置的装置(101)；用于通过使用由所述照相机(112)在观测所述刀具(110)时所采集的图像数据来确定所述刀具(110)在照相机参考系中的位置的装置(101)；以及用于通过使用所确定的所述刀具(110)在所述固定参考系中的位置和所确定的所述刀具(110)在所述照相机参考系中的位置来确定所述照相机(112)在所述固定参考系中的位置的装置(101)。7.根据权利要求6所述的系统(100)，其中所述照相机(112)包括内窥镜(112)。8.根据权利要求6-7中任一项所述的系统(100)，其中所述用于通过使用所述传感器数据来确定所述刀具(110)在固定参考系中的位置的装置(101)、所述用于通过使用由所述照相机(112)在观测所述刀具(110)时所采集的图像数据来确定所述刀具(110)在照相机参考系中的位置的装置(101)，以及所述用于通过使用所确定的所述刀具(110)在所述固定参考系中的位置和所确定的所述刀具(110)在所述照相机参考系中的位置来确定所述照相机(112)在所述固定参考系中的位置的装置(101)由处理器提供，所述处理器被编程以...

【专利技术属性】
技术研发人员：B·D·霍夫曼，D·Q·拉金，G·普里斯科，G·G·张，R·库马尔，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国,US