用于约束虚拟现实手术系统的系统和方法技术方案

本申请公开一种操作手术控制系统的方法，该方法包括在显示系统上显示来自成像器械的视场的手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测来自用户的成像控制输入，并且响应于成像控制输入的检测，启用手术控制系统的成像控制模式。该方法还包括检测用户头部的移动。当手术控制系统处于成像控制模式并且响应于用户的头部移动时，显示来自成像器械的改变的视场的手术环境的图像。改变的视场对应于检测到的用户头部的移动。

The system and method for constrained virtual reality surgery system

The present application discloses a method for operating an operation control system, which includes displaying an image of an operation environment from a field of view of an imaging device on a display system. The display system is configured to install to the user's head. The method also includes detecting the imaging control input from the user, and enabling the imaging control mode of the surgical control system in response to the detection of the imaging control input. The method also includes detecting the movement of the user's head. When the surgical control system is in the imaging control mode and responds to the head movement of the user, an image of the surgical environment from the changed field of view of the imaging device is displayed. The changed field of view corresponds to the detected movement of the user's head.

【技术实现步骤摘要】
【国外来华专利技术】用于约束虚拟现实手术系统的系统和方法相关申请的交叉引用本申请要求2017年4月20日提交的美国临时申请62/487,833的权益，该美国临时申请通过引用以其整体并入本文。
本公开涉及用于使用虚拟现实显示系统执行医疗程序或医疗程序的训练的系统和方法，并且更具体地涉及用于在使用虚拟现实显示系统时在手术系统或手术训练系统内提供约束的系统和方法。
技术介绍
微创医疗技术旨在减少在侵入性医疗程序期间受损的组织的量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的天然孔口或通过一个或多个手术切口来执行。通过这些天然孔口或切口，临床医生可以插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械的器械。微创医疗工具还可以包括诸如内窥镜器械的成像器械，该成像器械为用户提供患者解剖结构内的视场。一些微创医疗工具和成像器械可以是远程操作的或以其他方式计算机辅助的。当执行远程操作程序或为远程操作程序提供训练模拟时，头戴式显示系统可以被用于为临床医生提供沉浸式/拟真(immersive)增强现实或虚拟现实体验。当使用沉浸式显示系统时，需要系统控制来提供远程操作系统的安全可靠操作。
技术实现思路
通过随附的权利要求概述了本专利技术的实施例。应当理解，前面的一般性描述和以下的详细描述本质上都是示例性的和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这方面，从以下的详细描述中，本公开的其他方面、特征和优点对于本领域技术人员而言将是显而易见的。在一个实施例中，操作手术控制系统的方法包括在显示系统上显示来自成像器械的视场的手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测来自用户的成像控制输入，并且响应于成像控制输入的检测，启用手术控制系统的成像控制模式。该方法还包括检测用户头部的移动。当手术控制系统处于成像控制模式并且响应于用户头部的移动时，显示来自成像器械的改变的视场的手术环境的图像。改变的视场对应于检测到的用户头部的移动。在另一实施例中，操作手术控制系统的方法包括生成来自具有视场的成像工具的视点的手术环境的图像。手术器械被定位在手术环境内。该方法还包括在显示系统上显示手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测用户头部的移动并且确定用户头部的移动是否在与成像工具视场对应的边界内。如果用户头部的移动在边界内，则通过生成在成像工具视场中的与检测到的用户头部的移动对应的改变的视点来改变显示系统上的手术环境的图像。在另一实施例中，一种操作手术控制系统的方法，该方法包括生成手术环境的图像。手术器械被定位在手术环境内并且耦连到具有一定运动范围的操纵器臂。该方法还包括在显示系统上显示手术环境的图像。显示系统被配置为安装到用户的头部。该方法还包括检测来自用户的操纵器臂输入运动并且确定操纵器臂输入运动是否对应于操纵器臂在运动范围内的移动。如果操纵器臂输入运动的移动对应于操纵器臂的运动范围之外的移动，则生成手术器械的重影图像(ghostimage)，其中重影图像对应于操纵器臂输入运动而移动。附图说明当结合附图阅读时，从以下的详细描述中可以最好地理解本公开的各方面。需要强调的是，根据工业上的标准实践，各种特征未按比例绘制。实际上，为了清楚讨论，可以任意增加或减少各种特征的尺寸。另外，本公开可以在各种示例中重复参考数字和/或字母。这种重复是为了简单和清楚的目的，并且本身并不表示所讨论的各种实施例和/或配置之间的关系。图1a提供包括远程操作手术系统的手术环境的视图，该远程操作手术系统包括沉浸式显示系统。图1b提供包括远程操作手术系统的模拟手术环境的视图，该远程操作手术系统包括沉浸式显示系统。图2提供来自成像器械的视场图像。图3示出远程操作手术系统的手动控制器。图4是提供用于进入和退出远程操作手术系统的虚拟探索模式的方法的流程图。图5至图8示出手术环境、外部环境以及沉浸式显示系统上的显示图像。图9是提供用于操作在远程操作手术系统的成像控制模式内的方法的流程图。图10示出手术环境、外部环境以及沉浸式显示系统上的显示图像。图11示出用于进入和操作在远程操作系统的虚拟操纵器臂模式内的方法。具体实施方式为了促进对本公开的原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解的是，不旨在限制本公开的范围。在以下对本专利技术各方面的详细描述中，阐述了许多具体细节以便提供对所公开实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述公知的方法、程序、部件和电路，以免不必要地模糊本专利技术的实施例的各方面。如本公开涉及的本领域技术人员通常会想到的，对所描述的装置、器械、方法以及本公开的原理的任何进一步应用的任何改变和进一步修改都是充分考虑的。特别地，充分预期到，关于一个实施例所描述的特征、部件和/或步骤可以与关于本公开的其他实施例所描述的特征、部件和/或步骤组合。另外，本文提供的尺寸是针对特定示例，并且可以预期到不同的大小、尺寸和/或比率可以被用来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以在适用时从其他说明性实施例使用或省略。为简洁起见，将不单独描述这些组合的多次迭代。为简单起见，在某些情况下，在所有附图中使用相同的附图标记来表示相同或相似的部分。以下实施例将根据各种器械和器械的部分在三维空间中的状态来对其进行描述。如本文所使用的，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏转)。如本文所使用的，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(总共多达六个自由度)。参考附图中的图1a，手术环境10包括在例如包括诊断程序、治疗程序或手术程序的医疗程序中使用的远程操作医疗系统11。远程操作医疗系统通常包括安装在手术台O上或附近的远程操作组件，患者P定位在手术台O上。远程操作组件可以包括一个或多个模块化操纵器臂12。医疗器械系统14或成像系统15可以可操作地耦连到远程操作组件的远程操作操纵器(例如，臂)。成像系统可以是例如立体内窥镜成像系统。操作者输入系统16允许外科医生S或其他类型的临床医生控制医疗器械系统14和/或成像系统15的操作。一个或多个助理外科医生、麻醉师或支持人员也可以在手术环境中存在。远程操作医疗系统还包括显示系统17，显示系统17可以呈现由成像系统15捕获的图像、手术导航和引导图像和/或字母数字或符号信息，以帮助外科医生或助手进行手术程序。显示系统可以是例如外科医生S佩戴的沉浸式显示系统。更具体地，沉浸式显示本文档来自技高网...

【技术保护点】
1.一种操作手术控制系统的方法，所述方法包括：/n在显示系统上显示来自成像视场的手术环境的图像，所述显示系统被配置为与用户的头部一起移动；/n进入所述手术控制系统的成像控制模式；以及/n检测所述用户的头部的移动；/n当所述手术控制系统处于所述成像控制模式并且响应于所述用户的头部的移动时，显示来自改变的成像视场的所述手术环境的图像，所述改变的成像视场对应于检测到的所述用户的头部的移动。/n

【技术特征摘要】
【国外来华专利技术】20170420 US 62/487,8331.一种操作手术控制系统的方法，所述方法包括：
在显示系统上显示来自成像视场的手术环境的图像，所述显示系统被配置为与用户的头部一起移动；
进入所述手术控制系统的成像控制模式；以及
检测所述用户的头部的移动；
当所述手术控制系统处于所述成像控制模式并且响应于所述用户的头部的移动时，显示来自改变的成像视场的所述手术环境的图像，所述改变的成像视场对应于检测到的所述用户的头部的移动。


2.根据权利要求1所述的方法，其中进入所述成像控制模式包括检测来自所述用户的成像控制输入，所述成像控制输入在通信地耦连到所述手术控制系统的手动控制器上被接收。


3.根据权利要求1所述的方法，进一步包括：
当所述手术控制系统处于所述成像控制模式时，禁止所述手术环境中的所述手术器械的操作。


4.根据权利要求1所述的方法，其中进入所述成像控制模式包括检测来自所述用户的成像控制输入，并且其中所述成像控制输入是连续输入。


5.根据权利要求1所述的方法，进一步包括：
确定所述用户的头部的移动是否在与具有所述成像视场的成像器械的运动范围对应的边界内；并且
如果所述用户的头部的移动不在与所述成像器械的运动范围对应的所述边界内，则启用所述手术控制系统的虚拟探索模式。


6.根据权利要求5所述的方法，进一步包括：
当所述手术控制系统处于所述虚拟探索模式并且响应于所述用户的头部的移动时，显示患者解剖结构外部的环境的图像。


7.根据权利要求5所述的方法，进一步包括：
当所述手术控制系统处于所述虚拟探索模式并且响应于所述用户头部的移动时，显示交互式虚拟用户界面。


8.根据权利要求5所述的方法，进一步包括：
提供用于退出所述虚拟探索模式的指导，其中所述指导将所述用户的头部移动引导到与所述成像视场匹配的方向。


9.根据权利要求8的方法，其中所述指导是可听指导。


10.根据权利要求8的方法，其中所述指导是在所述显示系统上呈现的视觉图像。


11.根据权利要求8所述的方法，进一步包括：
向所述用户提供所述手术控制系统已经退出所述虚拟探索模式的指示。


12.根据权利要求1所述的方法，其中所述手术环境是模拟手术环境，并且所述图像来自模拟器成像工具。


13.根据权利要求1所述的方法，进一步包括：
在所述成像控制模式下，检测通信地耦连到所述手术控制系统的手动控制器的移动，并且
当所述手术控制系统处于所述成像控制模式并且响应于检测到的所述手动控制器的移动时，显示来自改变的图像视场的所述手术环境的图像，所述改变的图像视场对应于检测到的所述手动控制...

【专利技术属性】
技术研发人员：H·C·林，M·QM·刘，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国;US