用于机器人外科手术的使用虚拟现实设备的系统、控制器和方法技术方案

提供了一种用于外科手术机器人系统的控制单元，所述外科手术机器人系统包括被配置为操作患者的外科手术部位中的末端执行器的机器人。所述控制单元包括处理器，所述处理器被配置为：将从图像采集设备接收的患者的采集的实况图像传输到虚拟现实(VR)设备以用于显示；从所述VR设备接收输入数据，包括基于用户对被显示在所述VR设备的显示单元的观察器上的所述实况图像的响应的、来自所述VR设备的VR跟踪系统的跟踪数据；处理从所述VR设备接收的所述输入数据以确定所述患者中的目标；基于所述实况图像和经处理的输入数据确定所述末端执行器到达所述目标的路径；并且传输控制信号，以使所述机器人将所述末端执行器经由所确定的路径引导到所述目标。

System, controller and method for using virtual reality equipment in robot surgery

A control unit for a surgical robot system comprising a robot configured to operate an end effector in a patient's surgical site is provided. The control unit includes a processor configured to transmit a live image of a patient received from an image acquisition device to a virtual reality (VR) device for display, and to receive input data from the VR device, including an observer based on a user's view of a display unit displayed on the VR device. The tracking data of the VR tracking system from the VR device responding to the live image is described; the input data received from the VR device is processed to determine the target in the patient; the path of the end effector to the target is determined based on the live image and the processed input data; and the transmission control is performed. Signal so that the robot guides the end effector to the target via a determined path.

【技术实现步骤摘要】
【国外来华专利技术】用于机器人外科手术的使用虚拟现实设备的系统、控制器和方法
本方案涉及外科手术领域，具体涉及用于使用医学影像和来自虚拟现实设备的跟踪数据来控制具有刚性近侧部分和柔性远侧部分的机器人的系统、控制器和方法。
技术介绍
外科手术一般依赖于外科医生的个体技能。灵巧度通常受限于外科医生的手和刚性仪器。这些限制在微创外科手术或自然孔口外科手术中是特别明显的，其中，操作的空间被进入点并且被解剖结构限制。在微创外科手术中，视觉反馈通常由内窥镜提供。外科手术机器人和/或可操控设备可以在微创外科手术中用来改善在患者内部的外科手术部位处的外科医生的灵巧度。外科手术机器人的范例包括多臂系统(例如da机器人)或柔性机器人(例如Medrobotics机器人系统)。这些机器人系统由外科医生(或用户)使用不同的接口机构来控制，包括用于操作机器人系统的手部控制器或输入手柄和用于捕获内窥镜视频并且显示机器人系统的各种控制模式的图像显示器。对手持式灵巧设备的控制是具有挑战性的。用户必须组合通常在支点(到身体的进入点)附近的非灵巧近端的运动与身体内部的复杂灵巧运动。这种问题的解决方案是灵巧设备的机器人定位，这增加了手术室中的占用空间并且增加了外科手术的成本和持续时间。如果近端不在成像设备的视场内(例如内窥镜仅在患者的内部上获取图像，并且便携式成像系统(例如C型臂)的视场太小以致于不能获取整个设备的图像，并且能够对操作者造成辐射暴露)，这种问题被放大。此外，一旦位置利用灵巧设备来取得，手部颤动和手部的意外运动能够造成不对准。为了改善外科医生的灵巧度，外科手术机器人可以具有多于六个自由度，使它们不直观并且要不然难以控制。这种问题被受约束空间中的操作(例如在微创外科手术或自然孔口外科手术期间遇到的那些)并且被超冗余机器人(例如蛇形机器人)的使用所放大。对这些机器人的控制通常使用操作起来复杂并且通常与陡峭的学习曲线相关联的手柄来执行。用户正在使用内窥镜图像来导航外科手术视野，并且利用图像绘制手柄的运动是困难的。因此，希望提供用于使用实况影像与从虚拟现实设备提供的跟踪信息的组合来控制外科手术机器人的装置、系统、方法和计算机可读存储介质，所述虚拟现实设备实现了使用运动检测的目标选择而一般不依赖于用户的手部的使用或灵巧度。
技术实现思路
根据说明性实施例，一种用于包括被配置为操作患者的外科手术部位中的至少一个末端执行器的机器人的外科手术机器人系统的控制单元包括处理器。所述处理器被配置为将从至少一图像采集设备接收的患者的采集的实况图像传输到虚拟现实(VR)设备，以用于显示在显示单元上；从所述VR设备接收输入数据，所述输入数据包括基于用户对被显示在所述VR设备的所述显示单元上的所述患者的所述采集的实况图像的响应的、来自所述VR设备的VR跟踪系统的跟踪数据；处理从所述VR设备接收的所述输入数据以确定所述患者中的目标；基于所述采集的实况图像和经处理的输入数据确定能由所述机器人操作的所述至少一个末端执行器到达所述目标的路径；并且传输机器人控制信号，以使所述机器人将所述至少一个末端执行器经由所确定的路径引导到所述目标。根据另一说明性实施例，一种外科手术机器人系统包括：机器人，其被配置为操作被定位在患者内的外科手术部位处的至少一个末端执行器；至少一个图像采集设备，其被配置为采集所述外科手术部位处的实况图像；虚拟现实(VR)设备，其被配置为显示所采集的实况图像，并且确定通过用户的动作经由所述VR设备提供的跟踪数据；以及控制单元，其包括输入/输出(I/O)电路和处理器。所述输入/输出(I/O)电路被配置为从所述至少一个图像采集设备接收所采集的实况图像，向所述VR设备提供所采集的实况图像以用于显示，从所述VR设备接收所确定的跟踪数据，并且向所述机器人提供机器人控制信号。所述处理器被配置为：将经由所述I/O电路从所述至少一个图像采集设备接收的所采集的实况图像传输到所述VR设备；处理来自所述VR设备的所确定的跟踪数据，以选择所述患者内的所述外科手术部位处的目标；基于所采集的实况图像和经述处理的所确定的跟踪数据确定所述至少一个末端执行器到达所选择的目标的路径；并且将所述机器人控制信号传输到所述机器人，以将所述至少一个仪器经由所确定的路径移动到所选择的目标。根据另一说明性实施例，提供了一种非瞬态计算机可读存储介质，其存储有能由处理器运行以操作外科手术机器人系统的机器可读指令。所述外科手术机器人系统包括至少一个机器人、至少一个图像采集设备和头戴式显示器(HMD)设备，所述至少一个机器人被配置为操作要被定位在患者内的外科手术部位处的至少一个末端执行器，所述至少一个图像采集设备被配置为采集所述外科手术部位处的实况图像，所述头戴式显示器(HMD)设备由用户穿戴并且被配置为显示所采集的实况图像并且确定所述用户的头部的运动或所述用户的眼睛的移动中的至少一个。所述非瞬态计算机可读介质包括：用于使从所述至少一个图像采集设备接收的所采集的实况图像传输到所述HMD设备的传输代码；用于处理来自所述HMD设备的头部跟踪数据和眼睛跟踪数据中的所处理的至少一个以选择所述患者内的所述外科手术部位处的目标的处理代码；用于基于所采集的实况图像和经处理的所确定的头部跟踪数据和/或眼睛跟踪数据确定包括所述至少一个末端执行器的所述机器人的远侧部分到达所述患者内的所述外科手术部位处的所选择的目标的路径的确定代码；以及用于使机器人控制信号传输到所述机器人以将所述至少一个末端执行器经由所确定的路径移动到所述患者内的所述外科手术部位处的所选择的目标的机器人控制代码。附图说明根据在下面呈现的结合如下附图考虑的示范性实施例的详细描述，本专利技术将会更加容易理解。图1是示出根据本专利技术的说明性实施例的外科手术机器人系统的示意方框图。图2是示出根据本专利技术的说明性实施例的外科手术机器人系统的示意方框图。图3是示出作为根据本专利技术的说明性实施例的外科手术机器人系统的部分的具有头部跟踪能力的头戴式显示器(HMD)设备的示意图。图4A是示出作为根据本专利技术的说明性实施例的外科手术机器人系统的部分的HMD设备的示意图。图4B是示出根据本专利技术的说明性实施例的用于使用HMD设备穿过自然孔口的蛇形或导管状机器人的部分的示意图。图5是示出控制根据本专利技术的说明性实施例的外科手术机器人系统的方法的流程图。图6是示出作为根据本专利技术的说明性实施例的外科手术机器人系统的部分的具有眼睛跟踪能力的HMD设备的示意图。具体实施方式现在将会在下文中参考示出本专利技术的实施例的附图来更加完整地描述本专利技术。然而，本专利技术可以以不同的形式来实现，并且不应被解释为被限制于在本文中阐述的实施例。相反，这些实施例作为本专利技术的教导范例而被提供。一般地，根据各种实施例，提供了一种虚拟现实(VR)设备，用户(例如，外科医生)使用所述虚拟现实(VR)设备通过由外科医生的物理移动(例如，除了操纵常规手动控制的用户的手部的使用外)控制机器人，以基于由VR设备接收的实况图像识别并选择组合针对机器人的目标。实况图像可以是例如通过被安装到内窥镜的远端的相机(其例如可以由专用的内窥镜控制器操作)或通过前视相机(其例如可以由机器人操作)的内窥镜图像。例如，VR设备可以是在由用户穿戴的头戴件中的显示器上显示示出例如本文档来自技高网...

【技术保护点】
1.一种用于外科手术机器人系统的控制单元，所述外科手术机器人系统包括被配置为操作患者的外科手术部位中的至少一个末端执行器的机器人，所述控制单元包括：处理器，其被配置为：将从至少一个图像采集设备接收的患者的采集的实况图像传输到虚拟现实(VR)设备，以用于显示在显示单元的观察器上；从所述VR设备接收输入数据，所述输入数据包括基于用户对被显示在所述VR设备的所述显示单元的所述观察器上的所述患者的所述采集的实况图像的响应的、来自所述VR设备的VR跟踪系统的跟踪数据；处理从所述VR设备接收的所述输入数据以确定所述患者中的目标；基于所述采集的实况图像和经处理的输入数据确定能由所述机器人操作的所述至少一个末端执行器到达所述目标的路径；并且传输机器人控制信号，以使所述机器人将所述至少一个末端执行器经由所确定的路径引导到所述目标。

【技术特征摘要】
【国外来华专利技术】2015.12.29 US 62/272,5121.一种用于外科手术机器人系统的控制单元，所述外科手术机器人系统包括被配置为操作患者的外科手术部位中的至少一个末端执行器的机器人，所述控制单元包括：处理器，其被配置为：将从至少一个图像采集设备接收的患者的采集的实况图像传输到虚拟现实(VR)设备，以用于显示在显示单元的观察器上；从所述VR设备接收输入数据，所述输入数据包括基于用户对被显示在所述VR设备的所述显示单元的所述观察器上的所述患者的所述采集的实况图像的响应的、来自所述VR设备的VR跟踪系统的跟踪数据；处理从所述VR设备接收的所述输入数据以确定所述患者中的目标；基于所述采集的实况图像和经处理的输入数据确定能由所述机器人操作的所述至少一个末端执行器到达所述目标的路径；并且传输机器人控制信号，以使所述机器人将所述至少一个末端执行器经由所确定的路径引导到所述目标。2.根据权利要求1所述的控制单元，其中，所述VR设备是包括由所述用户穿戴的头戴件的头戴式显示器(HMD)设备。3.根据权利要求2所述的控制单元，其中，所述VR跟踪系统包括头部跟踪系统；并且其中，所述处理器还被配置为处理来自所述头部跟踪系统的头部跟踪数据以选择所述目标，所述头部跟踪数据对应于所述用户的头部移动。4.根据权利要求2所述的控制单元，其中，所述VR跟踪系统包括眼睛跟踪系统；并且其中，所述处理器还被配置为处理来自所述眼睛跟踪系统的眼睛跟踪数据以选择所述目标，所述眼睛跟踪数据对应于所述用户的眼睛移动。5.根据权利要求1所述的控制单元，其中，能由所述机器人操作的所述至少一个末端执行器包括外科手术工具和内窥镜相机中的至少一个。6.根据权利要求1所述的控制单元，还包括输入/输出(I/O)电路，所述输入/输出(I/O)电路包括：第一输入端，其被配置为从所述图像采集设备接收所述采集的实况图像；第一输出端，其被配置为向所述处理器和所述VR设备中的至少一个提供所述采集的实况图像；第二输入端，其被配置为从所述VR设备接收所述输入数据；以及第二输出端，其被配置为向所述机器人提供所述机器人控制信号。7.根据权利要求1所述的控制单元，其中，所述VR设备的所述显示单元提供用于突出被显示在所述观察器上的所述采集的实况图像的特征的可移动光标。8.根据权利要求1所述的控制单元，其中，所述处理器还被配置为处理来自输入设备的承认信号以确认所选择的目标。9.根据权利要求2所述的控制单元，其中，所述处理器还被配置为处理来自所述HMD的输入端的激活信号，以激活眼睛跟踪模式和头部跟踪模式中的一个模式，所述一个模式相应地包括对眼睛移动和对应的眼睛跟踪数据的确定或对头部运动和对应的头部跟踪数据的确定。10.根据权利要求1所述的控制单元，其中，所述处理器还被配置为利用虚拟指示符扩充用于传输到所述VR设备的所述采集的实况图像。11.根据权利要求9所述的控制单元，其中，所述至少一个图像采集设备包括能由所述至少一个机器人操作的前视相机；并且其中，所述处理器还被配置为处理来自所述前视相机的前视图像，以连续行进模式处理来自所述HMD的所确定的眼睛跟踪数据或头部跟踪数据，并且传输所述机器人控制信号以基于所述前视图像和所确定的眼睛跟踪数据或头部跟踪数据使所述机器人以所述连续行进模式在所述患者中移动所述前视相机。12.一种外科手术机器人系统，包括：机器人，其被配置为操作被定位在患者内的外科手术部位处的至少一个末端执行器；至少一个图像采集设备，其被配置为采集所述外科手术部位处的实况图像；虚拟现实(VR)设备，其被配置为显示所采集的实况图像，并且确定通过用户的动作经由所述VR设备提供的跟踪数据；以及控制单元，其包括：输入/输出(I/O)电路，其被配置为从所述至少一个图像采集设备接收所采集的实况图像，向所述VR设备提供所采集的实况图像以用于显示，从所述VR设备接收所确定的跟踪数据，并...

【专利技术属性】
技术研发人员：A·波波维奇，D·P·努南，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL