集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法制造方法及图纸

本文描述的是一种眼球跟踪系统，眼球跟踪系统包括经配置向使用者显示术野的图像的图像显示器。图像显示器经配置发射在第一波长范围中的光。系统还包括右眼球跟踪器，右眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的右眼球的第一凝视点的数据。系统还包括左眼球跟踪器，左眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的左眼球的第二凝视点的数据。系统还包括设置在图像显示器和使用者的右眼球和左眼球之间的光学组件。光学组件经配置指示第一波长范围的光和第二波长范围的光，使得第一波长和第二波长共享左眼球和图像显示器之间的左光学路径的至少一部分并共享右眼球和图像显示器之间的右光学路径的至少一部分，而右眼球跟踪器和左眼球跟踪器对使用者不可见。系统还包括至少一个处理器，其经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。

【技术实现步骤摘要】
【国外来华专利技术】集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
技术介绍
外科手术程序能够以微创方式使用远程操作医疗系统执行。微创外科手术的好处是众所周知的，并且当与传统的开放式切口外科手术相比时包括较少的患者创伤、较少的失血和较快的恢复时间。另外，诸如由加利福尼亚森尼韦尔的直观外科手术公司(IntuitiveSurgical，Inc.)商业化的DA手术系统的远程操作医疗系统的使用是已知的。当与手动微创手术相比时，此类远程操作医疗系统可以允许外科医生用直观控制和增加的精确性操作。远程操作医疗系统可以包括联接到一个或更多个机器臂的一个或更多个器械。如果所述系统用于执行微创手术，则所述器械可以通过诸如小切口的患者体内的一个或更多个小开口或诸如例如口、尿道或肛门的自然腔道进入手术区域。在一些情况下，不通过(一个或更多个)开口直接插入(一个或更多个)器械，套管或其他引导元件能够插入每个开口中，并且器械能够通过套管插入以进入手术区域。诸如内窥镜的成像工具能够用于观看手术区域，并且由成像工具捕获的图像能够显示在图像显示器上，以在外科手术期间由外科医生观看。提供远程操作医疗系统是可取的，远程操作医疗系统能够有效地并精确地采用眼球凝视跟踪用于在微创医疗程序期间的各种应用。本文公开的系统和方法克服现有技术的缺点中一个或更多个。
技术实现思路
在一个示例性方面，本公开涉及一种包括图像显示器、右眼球跟踪器、左眼球跟踪器和至少一个处理器的眼球跟踪系统。图像显示器经配置向使用者显示术野的图像。在一方面，右眼球跟踪器经配置测量关于使用者的右眼球的第一凝视点的数据。在一方面，右眼球跟踪器包括右立体成像装置。在一方面，左眼球跟踪器经配置测量关于使用者的左眼球的第二凝视点的数据。在一方面，左眼球跟踪器包括左立体成像装置。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。在另一个示例性方面，本公开涉及一种包括图像显示器、右眼球跟踪器、左眼球跟踪器、光学组件和至少一个处理器的眼球跟踪系统。图像显示器经配置向使用者显示术野的图像并经配置发射在第一波长范围中的光。在一方面，右眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的右眼球的第一凝视点的数据。在一方面，左眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的左眼球的第二凝视点的数据。在一方面，光学组件设置在图像显示器和使用者的右眼球和左眼球之间。在一方面，光学组件经配置指示第一波长范围的光和第二波长范围的光，使得第一波长和第二波长共享左眼球和图像显示器之间的左光学路径的至少一部分并共享右眼球和图像显示器之间的右光学路径的至少一部分，而右眼球跟踪器和左眼球跟踪器对使用者不可见。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。在另一个示例性方面，本公开涉及一种用于执行医疗程序的远程操作医疗系统。在一方面，远程操作医疗系统包括眼球跟踪系统和控制单元。在一方面，眼球跟踪系统包括图像显示器、至少一个右眼球跟踪器、至少一个左眼球跟踪器和至少一个处理器。图像显示器经配置向使用者显示术野的图像。在一方面，至少一个右眼球跟踪器经配置测量关于使用者的右眼球的第一凝视点的数据，并且至少一个左眼球跟踪器经配置测量关于使用者的左眼球的第二凝视点的数据。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。在一方面，控制单元经配置基于所确定的观看位置控制远程操作医疗系统的至少一个功能。在另一个示例性方面，本公开涉及一种包括图像显示器、至少一个右眼球跟踪器、至少一个左眼球跟踪器、右眼球光发射器和左眼球光发射器、光学组件和至少一个处理器的眼球跟踪系统。图像显示器经配置向使用者显示术野的立体图像。在一方面，至少一个右眼球跟踪器经配置测量关于使用者的右眼球的第一凝视点的数据，并且至少一个左眼球跟踪器经配置测量关于使用者的左眼球的第二凝视点的数据。在一方面，右眼球光发射器经配置向使用者的右眼球发射第一波长范围的光，并且左眼球光发射器经配置向使用者的左眼球发射第一波长范围的光。在一方面，光学组件定位在图像显示器和使用者的眼球之间。在一方面，光学组件包括经布置提供在使用者的眼球、眼球跟踪器和光发射器之间的光学连通的右眼球反射镜组和左眼球反射镜组。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的立体图像中的观看位置。这些实施例和其他实施例相对于下列附图在下面进一步讨论。附图说明当结合附图阅读时，本公开的各方面从下列具体实施方式最好地理解。强调的是，根据本行业中的标准惯例，各种特征部不按比例绘制。实际上，为了便于讨论，各种特征部的尺寸可以任意地增大或减小。另外，本公开可以在各种示例中重复参考标号和/或字母。此重复是为了简单和清楚起见并且本身不指示所讨论的各种实施例和/或配置之间的关系。图1A根据本公开的一个实施例示出示例性远程操作医疗系统。图1B、图1C和图1D根据本公开的各种实施例示出远程操作医疗系统的示例性部件。具体地，图1B根据本公开的一个实施例示出示例性远程操作组件的正视图。图1C根据本公开的一个实施例示出示例性操作员输入系统的正视图。图1D根据本公开的一个实施例示出示例性视觉手推车(visioncart)部件的前视图。图2A根据本公开的一个实施例示出相对于示例性图像显示器和术野的使用者的3D坐标框架的方框图。图2B是根据本公开的一个实施例示出使用眼球跟踪单元来影响远程操作系统和/或手术器械的示例性方法的流程图。图3A-3D根据本公开示意性地示出由图1A、图1B和图1C的远程操作医疗系统使用的立体观看器的眼球跟踪系统的各种实施例。图4A根据本公开的一个实施例示出用于使用图3A-3D的眼球跟踪系统确定外科医生的3D凝视点的方法。图4B是根据本公开的一个实施例示出当预定目标T在校准过程期间在显示器上示出时眼球跟踪单元跟踪外科医生的角膜反射和瞳孔的示例的示意图。图4C是根据本公开的一个实施例示出与外科医生的角膜反射和瞳孔位置对应的2D坐标框架的示例的示意图。具体实施方式为了促进对本公开的原理的理解，现在将参考附图中所示的实施例，并且将使用具体语言来描述相同的实施例。然而，将理解的是，不意在限制本公开的范围。在下列具体实施方式中，许多具体细节将详细阐述，以便提供对所公开的实施例的全面理解。然而，将对本领域的技术人员明显的是，本公开的实施例可以在无这些具体细节的情况下实践。在其他情况下，众所周知的方法、过程、组件和电路尚未详细描述，以便不会不必要地模糊本公开的实施例的各方面。对所描述的装置、器械、方法和本公开的原理的任何进一步应用的任何变化和进一步修改被充分地设想为将通常被本公开涉及的本领域的技术人员容易想到。具体地，充分地设想到，相对于一个实施例描述的特征部、组件和/或步骤可以与相对于本公开的其他实施例描述的特征部、组件和/或步骤组合。另外，本文提供的尺寸是用于具体示例并设想到不同大小、尺寸和/或比例可以用于实施本公开的概念。为了避免不需要的描述性重复本文档来自技高网...

【技术保护点】
一种眼球跟踪系统，所述眼球跟踪系统包括：图像显示器，其经配置向使用者显示术野的图像；右眼球跟踪器，其经配置测量关于所述使用者的右眼球的第一凝视点的数据，所述右眼球跟踪器包括右立体成像装置；左眼球跟踪器，其经配置测量关于所述使用者的左眼球的第二凝视点的数据，所述左眼球跟踪器包括左立体成像装置；和至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定其中所述使用者的所述凝视点指示的所显示的图像中的观看位置。

【技术特征摘要】
【国外来华专利技术】1.一种眼球跟踪系统，所述眼球跟踪系统包括：图像显示器，其经配置向使用者显示术野的图像；右眼球跟踪器，其经配置测量关于所述使用者的右眼球的第一凝视点的数据，所述右眼球跟踪器包括右立体成像装置；左眼球跟踪器，其经配置测量关于所述使用者的左眼球的第二凝视点的数据，所述左眼球跟踪器包括左立体成像装置；和至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定其中所述使用者的所述凝视点指示的所显示的图像中的观看位置。2.根据权利要求1所述的眼球跟踪系统，其中所述右立体成像装置包括经配置从所述右眼球接收光的至少两个摄像机，并且所述左立体成像装置包括经配置从所述左眼球接收光的至少两个摄像机。3.根据权利要求1所述的眼球跟踪系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以基于与恒定瞳孔间距对应的恒定因素确定所述观看位置。4.根据权利要求1所述的眼球跟踪系统，其中所述右眼球跟踪器经配置检测所述右眼球的2D角膜反射数据，并且所述左眼球跟踪器经配置检测所述左眼球的2D角膜反射数据。5.根据权利要求1所述的眼球跟踪系统，其中所述右眼球跟踪器经配置检测所述右眼球的2D瞳孔位置数据，并且所述左眼球跟踪器经配置检测所述左眼球的2D瞳孔位置数据。6.根据权利要求1所述的眼球跟踪系统，其中所述右眼球跟踪器和所述左眼球跟踪器经配置跟踪关于与所述使用者的头部特征对应的固定参考点的位置数据。7.根据权利要求6所述的眼球跟踪系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据并补偿所述使用者的头部运动，以基于关于所述固定参考点的所述位置数据确定所述观看位置。8.根据权利要求1所述的眼球跟踪系统，还包括右眼球光发射器和左眼球光发射器，所述右眼球光发射器经配置向所述使用者的所述右眼球发射第一波长范围的光，并且所述左眼球光发射器经配置向所述使用者的所述左眼球发射所述第一波长范围的光。9.根据权利要求8所述的眼球跟踪系统，还包括定位在所述图像显示器和所述使用者的所述眼球之间的光学组件，所述光学组件包括经布置提供在所述使用者的所述眼球、所述眼球跟踪器和所述光发射器之间的光学连通的右眼球反射镜组和左眼球反射镜组。10.根据权利要求9所述的眼球跟踪系统，其中所述右眼球反射镜组经配置指示来自所述图像显示器的第二波长范围的光至所述使用者的所述右眼球，指示来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及指示来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述右眼球跟踪器，并且所述左眼球反射镜组经配置指示来自所述图像显示器的第二波长范围的光至所述使用者的所述左眼球，指示来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及指示来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述左眼球跟踪器。11.根据权利要求9所述的眼球跟踪系统，其中所述光学组件经配置反射来自所述图像显示器的所述第二波长范围的光，并传送来自所述光发射器的所述第一波长范围的光。12.根据权利要求11所述的眼球跟踪系统，其中所述右眼球反射镜组包括右分束器，所述右分束器经配置反射来自所述图像显示器的第二波长范围的光至所述使用者的所述右眼球，传送来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及传送来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述右眼球跟踪器，并且所述左眼球反射镜组包括左分束器，所述左分束器经配置反射来自所述图像显示器的第二波长范围的光至所述使用者的所述左眼球，传送来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及传送来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述左眼球跟踪器。13.根据权利要求12所述的眼球跟踪系统，其中所述右眼球光发射器和所述右眼球跟踪器设置在所述右分束器和所述图像显示器之间，并且所述左眼球光发射器和所述左眼球跟踪器设置在所述左分束器和所述图像显示器之间。14.根据权利要求12所述的眼球跟踪系统，其中所述左眼球光发射器和所述左眼球跟踪器设置在所述左分束器的侧面并在所述图像显示器和所述左眼球之间的平面中，并且所述右眼球光发射器和所述右眼球跟踪器设置在所述右分束器的侧面并在所述图像显示器和所述右眼球之间的平面中。15.一种眼球跟踪系统，所述眼球跟踪系统包括：图像显示器，其经配置向使用者显示术野的图像，所述图像显示器经配置发射在第一波长范围中的光；右眼球跟踪器，其经配置发射在第二波长范围中的光并测量关于所述使用者的右眼球的第一凝视点的数据；左眼球跟踪器，其经配置发射在所述第二波长范围中的光并测量关于所述使用者的左眼球的第二凝视点的数据；光学组件，其设置在所述图像显示器和所述使用者的所述右眼球和左眼球之间，所述光学组件经配置指示所述第一波长范围的光和第二波长范围的光，使得所述第一波长和第二波长共享左眼球和所述图像显示器之间的左光学路径的至少一部分并共享所述右眼球和所述图像显示器之间的右光学路径的至少一部分，而所述右眼球跟踪器和左眼球跟踪器对所述使用者不可见；和至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定其中所述使用者的凝视点指示的所显示的图像中的观看位置。16.根据权利要求15所述的眼球跟踪系统，其中所述光学组件包括分束器，所述分束器经配置反射在所述第一波长范围中的光并允许在所述第二波长范围中的光的穿过。17.根据权利要求16所述的眼球跟踪系统，其中所述分束器包括分色镜。18.根据权利要求16所述的眼球跟踪系统，其中所述光学组件还包括经配置接收从所述分束器反射的光的镜。19.根据权利要求15所述的眼球跟踪系统，其中所述右眼球跟踪器包括右立体成像装置，并且所述左眼球跟踪器包括左立体成像装置。20.根据权利要求15所述的眼球跟踪系统，其中所述右立体成像装置和左立体成像装置均包括多个眼球跟踪摄像机。21.一种用于执行医疗程序的远程操作医疗系统，所述远程操作医疗系统包括：眼球跟踪系统，其包括：图像显示器，其经配置向使用者显示术野的图像；至少一个右眼球跟踪器，其经配置测量关于所述使用者的右眼球的第一凝视点的数据；至少一个左眼球跟踪器，其经配置测量关于所述使用者的左眼球的第二凝视点的数据；和至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定其中所述使用者的所述凝视点指示的所显示的图像中的观看位置；和控制单元，其经配置基于所确定的观看位置控制所述远程操作医疗系统的至少一个功能。22.根据权利要求21所述的远程操作医疗系统，其中所述图像显示器是经配置向所述使用者显示所述术野的3D图像的3D图像显示器。23.根据权利要求21所述的远程操作医疗系统，还包括手术器械，其中所述控制单元经配置基于所显示的图像中的所确定的观看位置控制所述术野中的所述手术器械的至少一个功能。24.根据权利要求21所述的远程操作医疗系统，其中所述图像显示器经配置向所述使用者显示包括多个功能选项的使用者接口的图像。25.根据权利要求24所述的远程操作医疗系统，其中如果所确定的观看位置匹配至少一个功能选项在所述使用者接口的所述显示图像中的位置，所述控制单元经配置启动所述多个功能选项中的所述至少一个。26.根据权利要求21所述的远程操作医疗系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以基于与恒定瞳孔间距对应的恒定因素确定所述观看位置。27.根据权利要求21所述的远程操作医疗系统，其中所述至少一个右眼球跟踪器经配置检测所述右眼球的2D角膜反射数据，并且所述至少一个左眼球跟踪器经配置检测所述左眼球的2D...

【专利技术属性】
技术研发人员：A·M·扎克，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国,US