生成虚拟现实引导的系统和方法技术方案

一种系统包括处理器和其上存储有计算机可读指令的存储器。计算机可读指令在由处理器执行时使系统接收医疗环境的图像并识别医疗环境的图像中的医疗部件。该医疗部件可以以第一配置设置。计算机可读指令在由处理器执行时还使系统接收关于医疗部件的运动学信息，并且基于运动学信息生成虚拟引导。该虚拟引导可包括以第二配置设置的医疗部件的虚拟图像。括以第二配置设置的医疗部件的虚拟图像。

【技术实现步骤摘要】
【国外来华专利技术】生成虚拟现实引导的系统和方法
[0001]交叉引用的申请
[0002]本申请要求2020年12月1日提交的美国临时申请63/120,175的权益，该申请的全部内容通过引用并入本文。
[0003]本申请通过引用将2020年12月1日提交的标题为“SYSTEMS AND METHODS FOR PLANNING A MEDICAL ENVIRONMENT”的美国临时申请No.63/120,140和2020年12月1日提交的标题为“SYSTEMS AND METHODS FOR GENERATING AND EVALUATING A MEDICAL PROCEDURE”的美国临时申请No.63/120,191以其整体并入本文。


[0004]本公开涉及用于机器人辅助医疗程序的系统和方法，并且更具体地，涉及识别医疗环境图像中的部件并使用关于所识别部件的运动学信息来生成虚拟现实图像形式的引导。

技术介绍

[0005]远程操作机器人或机器人辅助系统的设置、操作、故障排除、维护和存储通常涉及复杂的培训和参考培训材料。通常，通用的培训说明和培训材料可能无法预测特定医疗环境的独特情况，包括操作空间的尺寸、环境中可用的机器人辅助系统设备、环境中可用的外围设备、环境中公用设施的方位、环境中的人员以及与机器人辅助系统相关联的其他参数。需要系统和方法，以通过提供根据特定医疗环境的部件和约束定制的虚拟引导来协助医务人员。

技术实现思路

[0006]本专利技术的实施例由所附权利要求最佳地概括。
[0007]根据某些实施例，系统可以包括处理器和存储器，存储器上存储有计算机可读指令。当被处理器执行时，计算机可读指令使得系统能够接收医疗环境的图像并且识别医疗环境的图像中的医疗部件。该医疗部件可以以第一配置设置。计算机可读指令在被处理器执行时还使得系统能够接收关于医疗部件的运动学信息，并且基于运动学信息生成虚拟引导。虚拟引导可以包括以第二配置设置的医疗部件的虚拟图像。
[0008]在一些实施例中，系统可以包括显示系统和机器人辅助操纵器组件，机器人辅助操纵器组件被配置用于在医疗环境中操作医疗器械。机器人辅助操纵器组件可以具有操纵器参照系。该系统还可以包括控制系统，该控制系统包括处理单元，该处理单元包括一个或多个处理器。处理单元可以被配置为接收医疗环境的图像并且识别医疗环境的图像中的医疗部件。医疗部件可以以第一配置设置。处理单元还可以被配置为接收关于医疗部件的运动学信息，并且基于运动学信息生成虚拟引导。虚拟引导可以包括以第二配置设置的医疗部件的虚拟图像。
[0009]应当理解的是，上述一般描述和以下详细描述本质上都是示例性和解释性的，并
且旨在提供对本公开的理解而不限制本公开的范围。在这方面，对于本领域技术人员来说，本公开的其它方面、特征和优点将从以下详细描述中显而易见。
附图说明
[0010]图1是示出根据一些实施例生成虚拟引导的方法的流程图。
[0011]图2是根据一些实施例的机器人辅助医疗系统的示意图。
[0012]图3是根据一些实施例的医疗环境的初始图像。
[0013]图4是根据一些实施例的医疗环境的引导图像。
[0014]通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。应当理解的是，相同参考标记用于标识在一个或多个附图中说明的相同元件，其中的显示是为了说明本公开的实施例，而不是为了限制本公开的实施例。
具体实施方式
[0015]引导信息可以有助于在医疗环境中高效、安全并且有效地使用机器人辅助系统。如下所述，包含医疗环境中特定部件信息的引导信息可以提供更详细和定制的引导。图1是示出根据一些实施例生成虚拟引导的方法100的流程图。本文描述的方法被说明为一组操作或过程，并且在继续参考附图的情况下进行描述。并非所有图示过程都可以在方法的所有实施例中执行。此外，在图示过程之前、之后、中间或作为图示过程的一部分，可以包括一个或多个未明确图示的过程。在一些实施例中，一个或多个过程可以以至少部分地以存储在非临时、有形、机器可读介质上的可执行代码的形式实现，当由一个或多个处理器(例如，控制系统的处理器)运行时，可执行代码可以使得一个或多个处理器执行一个或多个过程。在一个或多个实施例中，这些过程可由控制系统执行。
[0016]在过程102中，接收医疗环境的图像。图2示出了具有医疗环境参照系(X
M
，Y
M
，Z
M
)的医疗环境200，该医疗环境包括机器人辅助医疗系统202，该机器人辅助医疗系统202可以包括诸如具有部件参照系(X
C
，Y
C
，Z
C
)的机器人辅助操纵器组件204、操作者界面系统206和控制系统208的部件。在一个或多个实施例中，系统202可以是在外科医生远程操作控制下的机器人辅助医疗系统。在可替代实施例中，医疗系统202可以在被编程以执行医疗程序或子程序的计算机的部分控制下。在其他可替代实施例中，医疗系统202可以是全自动医疗系统，该医疗系统受计算机的完全控制，该计算机被编程为通过医疗系统202执行医疗程序或子程序。可用于实施本公开中描述的系统和技术的医疗系统202的一个示例是由加利福尼亚州桑尼维尔市的直观外科手术操作公司(Intuitive Surgical Operations)制造的da外科手术系统。医疗环境200可以是手术室、外科套间、医疗程序室或进行医疗程序或医疗培训的其他环境。
[0017]控制系统208可以包括至少一个存储器210和处理单元，处理单元包括至少一个处理器212，用于实现医疗环境中部件之间的通信、控制和数据传输。多种集中式或分布式数据处理架构中的任一种可以在控制系统208中采用。同样，编程指令可以作为许多单独的编程或子例程来实现，也可以集成到本文所述系统(包括远程操作系统)的许多其他方面中。在一个实施例中，控制系统208可以支持各种有线通信协议或无线通信协议中的任何一种，诸如蓝牙、IrDA(红外数据通讯)、HomeRF(家庭射频)、IEEE 802.11、DECT(数字增强无绳通
信)和无线遥测。在一些实施例中，控制系统208可以位于不同的环境中，部分或完全远离操纵器组件204和操作者界面系统206，包括共同外科手术环境的不同区域、不同房间或不同建筑物。
[0018]操纵器组件204可以称为患者侧推车。一个或多个医疗器械214(也称为工具)可以被操作地耦接到操纵器组件204。医疗器械214可以包括具有单个工作构件的末端执行器，单个工作构件诸如手术刀、钝刀、针、成像传感器、光纤、电极等。其他末端执行器可以包括多个工作构件，例如包括镊子、抓取器、剪刀、施夹器、吻合器、双极电灼器械等。一次使用的医疗器械214的数量通常将取决于医疗程序和手术室内的空间约束等因素。医疗器械214还可以包括成像装置。成像器械可以包括使用光学成像技术的内窥镜成像系统，或包括使用其他技术(例如超声波、荧光检查等)本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：处理器；以及存储器，其上存储有计算机可读指令，所述计算机可读指令在由所述处理器执行时使得所述系统：接收医疗环境的图像；识别所述医疗环境的所述图像中的医疗部件，所述医疗部件以第一配置设置；接收关于所述医疗部件的运动学信息；以及基于所述运动学信息生成虚拟引导，所述虚拟引导包括以第二配置设置的所述医疗部件的虚拟图像。2.根据权利要求1所述的系统，其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统：接收引导类型的指示符。3.根据权利要求1所述的系统，其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统：提供与所述虚拟引导相比的实施的评估。4.根据权利要求1所述的系统，其中所述医疗部件是机器人辅助操纵器组件。5.根据权利要求1所述的系统，其中接收所述图像包括从移动装置接收所述图像。6.根据权利要求1所述的系统，其中接收所述图像包括从安装在所述医疗环境中的摄像机系统接收所述图像。7.根据权利要求1所述的系统，其中所述图像具有图像参照系，并且所述医疗部件具有部件参照系，并且其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统将所述图像参照系配准到所述部件参照系。8.根据权利要求7所述的系统，其中将所述图像参照系配准到所述部件参照系包括在所述图像参照系和所述部件参照系两者中识别所述医疗部件的靶标部分。9.根据权利要求7所述的系统，其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统在所述图像参照系中显示所述虚拟图像。10.根据权利要求1所述的系统，其中接收关于所述医疗部件的运动学信息包括接收来自所述医疗部件的传感器信息。11.根据权利要求1所述的系统，其中所述第二配置是收纳配置，并且所述虚拟图像包括所述医疗部件被布置在所述收纳配置中的虚拟动画。12.根据权利要求1所述的系统，其中所述第二配置是悬垂配置，并且所述虚拟图像包括所述医疗部件布置在所述悬垂配置中的虚拟动画。13.根据权利要求1所述的系统，其中所述虚拟图像包括程序步骤的虚拟动画。14.根据权利要求1所述的系统，其中所述虚拟图像包括辅助部件的虚拟图像。15.根据权利要求14所述的系统，其中所述虚拟图像包括所述医疗部件和所述辅助部件的设置程序的虚拟动画。16.根据权利要求1所述的系统，其中所述虚拟图像包括患者的虚拟图像，其中所述虚拟图像包括包含所述患者和所述医疗部件的虚拟动画。17.根据权利要求1所述的系统，其中显示所述虚拟图像包括在所述第一配置中的所述
医疗部件的图像上叠加所述虚拟图像。18.一种系统，包括：显示系统；机器人辅助操纵器组件，其配置为在医疗环境中操作医疗器械，所述...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：