具有增强现实显示的手术系统技术方案

一种手术系统包括检测器，该检测器包括像素阵列，该像素阵列被配置为能够检测由手术装置反射的光并生成第一信号。该第一信号包括表示手术装置的可见图像的第一数据集。该手术系统还包括处理器，该处理器被配置为能够接收该第一信号和表示手术装置的一个或多个操作参数的第二信号。该处理器还被配置为能够生成手术装置的修改的图像，该修改的图像包括与一个或多个操作参数有关的信息。

Surgical system with augmented reality display

【技术实现步骤摘要】
【国外来华专利技术】具有增强现实显示的手术系统
提供了用于微创手术，尤其是用于提供手术环境的增强现实显示的方法和装置。
技术介绍
由于术后恢复时间减少且瘢痕形成最小化，因此微创外科手术(MIS)器械通常优于传统的开放式手术器械。腹腔镜式外科手术是一种类型的MIS手术，其中在腹部形成一个或多个小切口，并且通过切口插入套管针以形成进入腹腔的通路。套管针用于将各种器械和工具引入腹腔中，而且提供注气使腹壁升高到器官上方。器械和工具可用于以多种方式接合和/或处理组织以达到诊断或治疗效果。内窥镜式外科手术是另一种类型的MIS手术，其中将细长的柔性轴通过自然孔口引入体内。尽管传统的微创外科器械和技术已证明是高度有效的，但较新的系统可提供甚至更多的优点。例如，传统的微创外科器械通常不能为外科医生提供存在于开放式外科手术中的工具布置的灵活性。用器械通过小切口接近手术环境时会遇到困难。另外，典型的内窥镜式器械的长度的增加通常会降低外科医生感觉由组织和器官施加在端部执行器上的力的能力。此外，如电视监视器上的图像中所观察到的器械的端部执行器的运动与端部执行器的实际运动的协调是特别困难的，因为如图像中所感知的运动通常不与端部执行器的实际运动直觉地对应。因此，通常缺乏对外科器械运动输入的直觉响应。已经发现，直觉性、灵巧性和灵敏度的此类缺乏使得增加微创外科手术的使用受阻。多年以来，已经开发出多种微创机器人系统以增加外科手术的灵巧性，并允许外科医生以直觉方式对患者进行手术。远程手术是使用系统进行的外科手术的一般术语，其中外科医生使用一些形式的远程控制(例如，伺服机构等)来操纵外科器械运动，而不是用手直接握持和移动工具。在此类远程手术系统中，通常在远离患者的位置处在视觉显示器上为外科医生提供外科手术环境的图像。外科医生通常可在远离患者的位置处执行外科手术，同时在外科手术期间观察视觉显示器上的端部执行器运动。通常在视觉显示器上观察手术环境的三维图像时，外科医生通过操纵远程位置处的主控制装置来对患者执行外科手术，该主控制装置控制远程受控器械的动作。虽然在微创手术领域已经取得了显著进步，但仍然需要用于为手术环境提供增强现实显示的改进方法、系统和装置。
技术实现思路
提供了一种用于显示手术环境的图像的方法、装置和系统，包括在手术环境内部署的手术装置的至少一部分，其中所显示的图像是在外科手术期间实际检测到的手术环境的修改的版本。在一个实施方案中，除了手术装置的一部分之外，修改的图像还显示与系统和/或手术装置的一个或多个操作参数有关的信息。在另一个实施方案中，修改的图像显示手术装置的至少一部分，同时用手术装置的被替换部分下面的手术环境处的组织的图像替换手术装置的另一部分。一种手术系统包括检测器，该检测器包括像素阵列，该像素阵列被配置为能够检测由手术装置反射的光并生成第一信号。第一信号包括表示手术环境和手术装置的图像的第一数据集。该手术系统还包括处理器，该处理器被配置为能够接收第一信号和表示手术装置的一个或多个操作参数的第二信号。处理器还被配置为能够生成手术装置的修改的图像，该修改的图像包括手术环境和手术装置的至少一部分，以及与一个或多个操作参数有关的信息。在一个实施方案中，修改的图像替换手术装置的至少一部分和手术区域的至少一部分中的一个或多个。在一个实施方案中，手术系统包括被配置为能够显示修改的图像的显示装置。显示装置包括集成到由外科医生佩戴的头戴式耳机或其他附件(诸如眼镜)中的监视器和显示器中的至少一个。在另一个实施方案中，在修改的图像中与手术装置相邻地显示与一个或多个参数有关的信息。在又一个实施方案中，在修改的图像中在手术装置上显示与一个或多个参数有关的信息。在一个实施方案中，第一数据集包括表示由第一像素阵列的一个或多个像素检测到的光的颜色的值。在另一个实施方案中，处理器被配置为能够从第一数据集识别表示手术装置的数据，以基于检测器相对于手术装置的位置确定手术装置的取向。在一个实施方案中，手术装置包括一个或多个标记，所述一个或多个标记中的每一个都被配置为能够反射预定频率的光。在另一个实施方案中，处理器过滤第一信号以基于一个或多个标记的位置通过图像识别算法确定手术装置的取向。在一个实施方案中，手术系统是机器人手术系统，并且机器人手术系统包括至少一个机器人臂，该机器人臂被配置为能够保持并操纵手术装置。在另一个实施方案中，手术装置具有包括切割、缝合和能量输送中的至少一种的功能。在一个实施方案中，一个或多个参数包括关节运动角度、轴旋转角度、刀具的位置、刀具的运动、组织位置和重新加载信息中的至少一个。在另一个方面，手术系统包括第一检测器，该第一检测器包括第一像素阵列，该第一像素阵列被配置为能够检测由手术环镜反射的光。手术环境包括手术部位和位于手术部位处的手术装置，其中手术装置包括具有预定颜色的一个或多个区域。第一检测器生成第一信号，该第一信号包括表示手术区域的第一图像的第一数据集。手术系统还包括第二检测器，该第二检测器包括第二像素阵列，该第二像素阵列被配置为能够检测由手术环境反射的光并生成第二信号。第二信号生成表示手术环境的第二图像的第二数据集。手术系统还包括处理器，该处理器被配置为能够接收第一信号和第二信号，从第一数据集和第二数据集识别表示不包括具有预定颜色的手术装置的一个或多个区域的手术区域的数据，以及基于所识别的数据生成手术区域的修改的图像。在一个实施方案中，预定颜色是绿色。在另一个实施方案中，第一数据集包括表示由第一像素阵列的一个或多个像素检测到的光的颜色的值，并且第二数据集包括表示由第二像素阵列的一个或多个像素检测到的光的颜色的值。在另一个实施方案中，修改的图像不包括具有预定颜色的手术装置的一个或多个区域。在又一个实施方案中，修改的图像用手术环境内的组织的图像的一部分替换手术环境内的手术装置的图像的一部分。在一个方面中，组织的图像是在手术装置的图像的被替换部分下面的组织的图像。在一个实施方案中，手术系统包括被配置为能够显示修改的图像的显示装置。在另一个方面中，一种手术方法包括检测由手术装置反射的光；生成第一信号，该第一信号包括表示手术装置的图像的第一数据集；接收第一信号和表示手术装置的一个或多个操作参数的第二信号；并且生成手术装置的修改的图像，所述修改的图像包括与一个或多个操作参数有关的信息。附图说明结合附图阅读下述详细说明将更全面地理解本专利技术，其中：图1示出了包括患者侧部分和用户侧部分的手术机器人系统的实施方案的透视图；图2示出了被配置为能够生成手术环境的修改的图像的手术系统的实施方案的示意图。图3示出了手术系统中的相机模块中的检测器的示意图；图4示出了根据本文描述的手术系统的手术器械的修改的图像的实施方案；图5示出了定位在具有多个标记的区域中的手术器械；图6示出了手术环境和在手术环境中使用的手术器械的图像；图7A示出了手术环境的一部分的透视图；图7B示出了图7A的手术环境的另一个透视图；图8示意性地示出了图7A的手术环境的一部分的组合图像；图9A示出了包括手术器械的一部分的图像的手术环境的图像的示例；图9B示出了图9A的图像的修改的版本，其中手术器械的轴的一部分是不可见的；以及图10是计算机系统的示意图，该计算机系统被配置为能够生成与本文描述的控制系本文档来自技高网...

【技术保护点】
1.一种手术系统，包括：检测器，所述检测器包括像素阵列，所述像素阵列被配置为能够检测由包括手术装置的手术环境反射的光，并且生成包括表示所述手术环境和所述手术装置的可见图像的第一数据集的第一信号；和处理器，所述处理器被配置为能够：接收所述第一信号和表示所述手术装置的一个或多个操作参数的第二信号，生成所述手术装置的修改的图像，所述修改的图像包括所述手术环境和所述手术装置的至少一部分以及与所述一个或多个操作参数有关的信息。

【技术特征摘要】
【国外来华专利技术】2016.12.19 US 15/383,0041.一种手术系统，包括：检测器，所述检测器包括像素阵列，所述像素阵列被配置为能够检测由包括手术装置的手术环境反射的光，并且生成包括表示所述手术环境和所述手术装置的可见图像的第一数据集的第一信号；和处理器，所述处理器被配置为能够：接收所述第一信号和表示所述手术装置的一个或多个操作参数的第二信号，生成所述手术装置的修改的图像，所述修改的图像包括所述手术环境和所述手术装置的至少一部分以及与所述一个或多个操作参数有关的信息。2.根据权利要求1所述的系统，还包括显示装置，所述显示装置被配置为能够显示所述修改的图像，其中所述显示装置包括集成到外科医生所佩戴的附件中的监视器和显示器中的至少一个。3.根据权利要求1所述的系统，其中，在所述修改的图像中与所述手术装置相邻地显示与所述一个或多个参数有关的所述信息。4.根据权利要求1所述的系统，其中，在所述修改的图像中在所述手术装置上显示与所述一个或多个参数有关的所述信息。5.根据权利要求1所述的系统，其中，所述修改的图像替换所述手术装置的至少一部分和手术区域的至少一部分中的一个或多个。6.根据权利要求1所述的手术系统，其中，所述第一数据集包括表示由所述第一像素阵列的一个或多个像素检测到的所述光的颜色的值。7.根据权利要求1所述的系统，其中，所述处理器被配置为能够从所述第一数据集识别表示手术器械的数据，以基于所述检测器相对于所述手术器械的位置确定所述手术指令的取向。8.根据权利要求1所述的系统，其中，所述手术装置包括一个或多个标记，所述一个或多个标记中的每一个都被配置为能够反射预定频率的光。9.根据权利要求8所述的系统，其中，所述处理器过滤所述第一信号以基于所述一个或多个标记的位置通过图像识别算法确定所述手术装置的取向。10.根据权利要求1所述的系统，其中，所述手术系统是机器人手术系统，并且所述机器人手术系统包括至少一个机器人臂，所述机器人臂被配置为能够保持并操纵所述手术装置。11.根据权利要求1所述的系统，其中，所述手术装置具有包括切割、缝合和能量输送中的至少...

【专利技术属性】
技术研发人员：J·S·斯韦兹，J·杨，G·S·斯特罗布尔，A·贝克曼，
申请(专利权)人：爱惜康有限责任公司，
类型：发明
国别省市：美国,US