用于引导进程的系统技术方案

公开了使用对象的图像来辅助对该对象的隐藏部分进行可视化的系统。系统可以利用可穿戴显示器来示出该图像。可以以增强现实或混合现实的方式来显示该图像。

A system for booting processes

【技术实现步骤摘要】
【国外来华专利技术】用于引导进程的系统
本主题公开涉及图像查看系统，并且具体地涉及用于查看相对于图像所涉及的真实物体而显示的图像或在图像所涉及的真实物体上叠加的图像的系统。
技术介绍
这个部分提供了与本公开相关的不一定是现有技术的背景信息。在进程(procedure)期间，计算机辅助外科手术(CAS)系统可用于辅助用户，诸如，外科医生。该进程可以包括外科手术进程，诸如，肿瘤切除和/或对脑部中的组织的消融。CAS系统还可以被称为外科手术导航系统，并且允许在显示器上显示患者的一部分的图像。例如，外科手术导航系统可以包括由在美国科罗拉多州有营业地的美敦力导航有限公司(MedtronicNavigation，Inc.)销售的外科手术导航系统。外科手术导航系统允许用户使用配准技术(诸如，在患者上和图像中标识基准点)将图像空间配准到真实空间或患者空间。配准可以应用于在被定位成远离患者的屏幕上显示的图像。显示器可以是监测器，诸如，阴极射线管(CRT)监测器和/或平板监测器，包括背光显示器，诸如，由ViewSonic公司销售的视频监测器。显示器被定位成远离患者，使得用户可能难以同时查看显示器上的图像和患者，包括至少在相同的真实空间中。
技术实现思路
这个部分提供了本公开的大体
技术实现思路
，并且不是对其完整范围或其所有特征的详尽公开。根据各种实施例，外科手术导航系统包括全息或增强现实显示器。增强现实显示器可以包括混合现实显示器或设备，如本文所讨论的。混合现实(MR)设备可以由选定的真实空间中的一个或多个用户安装，诸如，穿戴。MR设备允许用户查看真实空间和物体以及相对于真实空间中的真实物体而显示的或在真实空间中的真实物体上叠加的所生成的图像(例如，图标)。MR设备还可以包括被配置成允许MR设备标识和记住MR设备在真实空间中的物理位置的特征。MR设备可以包括显示器，该显示器可操作用于被配置成显示叠加在真实空间或对象空间上的图像。该对象空间可以包括有生命或无生命的对象。例如，有生命的对象可以包括人类患者或动物患者，而无生命的对象可以包括机械或电子系统。在各种实施例中，人类对象可能正在经历外科手术进程，并且MR设备可用于示出或显示叠加在患者上的患者的图像。在关于无生命物体的进程中，MR设备可以用于叠加由外层或外壳覆盖的系统的内部组件的图像。在各种实施例中，MR设备可以是被配置成显示如本文所讨论的图像的设备，可由用户查看与真实世界物体和特征组合的该图像。能够显示图像以供用户观看的示例性设备包括：在美国华盛顿具有营业场所的微软公司的Holo和在美国加利福尼亚州具有营业场所的Meta公司出售的数字显示器以及其他适当的混合现实显示设备。通常，可以包括各种增强现实显示设备的MR设备是头戴式显示设备，该头戴式显示设备可以由用户直接查看并且可用于在真实空间上叠加图像或图标。如本文所讨论的，MR设备可以用于针对选定的进程显示选定的图标和图像。在各种实施例中，MR设备还可以被称为增强现实系统的元件或包括增强现实系统的元件。在混合现实系统中，查看者可以查看真实世界或真实空间(例如，患者空间)两者并进一步查看叠加在真实世界上的显示。例如，用户可以查看以下两者：(1)通过MR设备中的透明的显示部分来查看真实世界，以及(2)查看在不透明或半透明元件的显示部分(例如，投影或嵌入式液晶显示器)上所显示的(其也可由用户查看)。在各种实施例中，用户可以同时查看真实世界和所显示的元素两者。如本文进一步讨论的，混合现实系统可以允许将预先获取的图像配准到在通过MR设备被查看时的被配准到对象的显示。因此，用户可以同时查看真实空间和图像空间两者，并且使图像空间被配准到真实空间，以用于查看在图像空间中所标识的各种特征和物品，就好像它们存在于真实空间中一样。此外，增强或混合现实系统允许用户查看叠加在真实空间和/或图像空间上的其他图像或图标。当利用增强现实设备显示图标时，图标可以基于仪器相对于对象的经计划的或经导航的定位。通过本文中提供的说明书，进一步的可用性领域将变得显而易见。本
技术实现思路
中的描述以及特定示例仅旨在说明的目的，并且不旨在限制本公开的范围。附图说明本文中所描述的附图仅出于对选定实施例的说明性目的而非针对所有可能的实现方式，并且不旨在限制本公开的范围。图1是包括MR设备的外科手术导航系统的示意图；图2是用户利用MR设备查看图像和真实物体的示意图；图2A是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；图3是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；图4是示出用于将图像空间配准到真实空间的方法的流程图；图5是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；图6是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图；以及图6A是根据各种实施例的使用MR设备查看真实物体和图像的用户角度的视图。贯穿附图的若干视图，对应的附图标记指示对应的部分。具体实施方式现在将参考附图更全面地描述示例实施例。根据各种实施例，操作(operating)间或操作室10可以由诸如外科医生之类的用户12使用，以对诸如人类对象14之类的对象执行选定的进程。然而，如上所述，对象14不需要是人类对象，并且该进程不必是外科手术进程。根据各种实施例，对象14可以是无生命的物体，诸如，壳体内的电子或机械系统。包括如本文所讨论的增强或混合现实系统的各种组件可用于查看对象14的外部以及在对象14内部或对象14的壳体内的各种组件，以用于执行进程。在操作间10中，可以提供各种组件以帮助用户12执行手术进程。根据各种实施例，查看系统可包括混合现实显示设备或系统16。混合现实显示设备16可以是可穿戴混合现实显示设备，诸如，类似于眼镜或护目镜之类的头戴式设备。混合现实设备16还可以是被定位在接近或邻近用户12和/或可与用户12一起移动的设备。用户12可以使用混合现实显示设备16来查看对象14和其他信息，诸如，作为MR图像18a(图2和图2A中所示的)的图像和/或对象14的其他信息和/或与相对于对象14的各个部分相关的图标22。此外，外部或非混合现实显示设备20还可以用于利用显示器20将图像显示为图像18。MR图像18a可以是可利用MR显示器16查看的，以供用户12查看，如本文进一步讨论的。如本文所讨论的，可查看的图像18、18a可以基于利用成像系统(诸如，成像系统25)获取的图像数据。应当理解，可以还如本文所讨论的将图像18、18a配准到对象，并且图像18、18a可基于来自成像系统25的图像数据。如本文所讨论的，图像18通常可以指代基于图像数据的图像，并且具体地讨论的MR图像18a是利用MR设备16查看的图像。成像系统25可以包括如本文所讨论的成像系统，其获取图像数据(例如，基于通过对象14的x射线透射)以生成图像18。还应理解，其他图像数据也可用于生成用于通过显示设备20查看的图像18或用于利用MR显示器16查看的MR图像18a。此外，可以在显示设备20和MR显示器16上示出一个或多个图标22。根据各种实施例，图标22可以叠加在显示设备20上的图像18上。此外，可以利用MR设备16显示被叠加在MR图像18a上和/或叠加在对象14上的图标22。如本文所讨论的，可以将图标2本文档来自技高网...

【技术保护点】
1.一种用于相对于对象查看图像的系统，包括：显示设备，所述显示设备具有显示部分和透明部分，所述透明部分被配置成使得通过所述显示设备查看的用户能够查看所述对象以及相对于所述对象查看图像；跟踪系统，所述跟踪系统具有定位器和跟踪设备，其中所述定位器被配置成跟踪在真实的三维空间中的所述跟踪设备；以及处理系统，所述处理系统被配置成执行指令，以确定所述跟踪设备的跟踪位置，并利用所述显示设备显示图标以表示所述跟踪设备相对于所述对象的所述跟踪位置。

【技术特征摘要】
【国外来华专利技术】2016.09.22 US 15/272,8081.一种用于相对于对象查看图像的系统，包括：显示设备，所述显示设备具有显示部分和透明部分，所述透明部分被配置成使得通过所述显示设备查看的用户能够查看所述对象以及相对于所述对象查看图像；跟踪系统，所述跟踪系统具有定位器和跟踪设备，其中所述定位器被配置成跟踪在真实的三维空间中的所述跟踪设备；以及处理系统，所述处理系统被配置成执行指令，以确定所述跟踪设备的跟踪位置，并利用所述显示设备显示图标以表示所述跟踪设备相对于所述对象的所述跟踪位置。2.如权利要求1所述的系统，其特征在于，所述显示设备被并入到被配置成由所述用户穿戴的可穿戴设备中；其中，所述显示设备的所述显示部分包括可变显示器，所述可变显示器被配置成由所述处理系统驱动。3.如权利要求2所述的系统，其特征在于，进一步包括：不可穿戴的显示器；其中，所述可穿戴设备被头戴式安装在所述用户上，并且所述不可穿戴显示器与所述用户间隔一定距离。4.如权利要求2或3中任一项所述的系统，其特征在于，所述可穿戴设备被配置成相对于所述对象将所述图像显示为三维图像。5.如权利要求4所述的系统，其特征在于，所述三维图像是混合现实图像，所述混合现实图像被配置成被感知为出现在与所述对象相同的空间中。6.如权利要求2-5中任一项所述的系统，其特征在于，所述图像被配置成至少通过所述处理系统执行指令以执行所述对象空间中的三维坐标与所述图像中的三维坐标之间的刚性变换，来被配准到所述对象；其中，相对于所述可穿戴设备确定所述对象空间中的所述三维坐标。7.如权利要求6所述的系统，其特征在于，所述可穿戴设备包括测距设备；其中，所述测距设备被配置成获得所述对象的点云以定义所述对象的所述三维坐标。8.一种用于相对于对象查看图像的系统，包括：可穿戴混合现实显示设备，所述可穿戴混合现实显示设备具有显示部分和测距部分，其中所述显示部分具有透明部分，所述透明部分被配置成使得穿戴所述可穿戴混合现实显示设备的用户能够查看所述对象以及相对于所述对象查看所述图像，其中所述测距部分被配置成确定相对于所述可穿戴混合现实显示设备的多个对象空间三维坐标；处理系统，所述处理系统被配置成执行指令以基于图像三维坐标和所述多个对象空间三维坐标来选择性地将所述图像配准到所述对象；以及其中，所述处理系统被进一步配置成执行指令以确定设备可跟踪部分的跟踪位置，并且利用所述可穿戴混合现实显示设备来显示图标以表示所述设备可跟踪部分相对于所述对象的所述跟踪位置。9.如权利要求8所述的系统，其特征在于，所述可穿戴混合现实显示设备的所述显示部分可操作用于被配置成在所述图像到所述对象的配准之前或之后显示与所述对象分开的所述图像。10.如权利要求8或9中任一项所述的系统，其特征在于，所述图标可操作用于准备外科手术计划；其中，存储系统被配置成存储所述外科手术计划，所述外科手术计划包括至少是所述设备可跟踪部分的仪器的轨迹；其中，所述处理系统被配置成调用所述外科手术计划。11.如权利要求8-10中任一项所述的系统，其特征在于，所述测距部分是跟踪系统，所述跟踪系统被配置成跟踪所述设备可跟踪部分，以用于确定所述设备可跟踪部分的所述跟踪位置。12.如权利要求8-11中任一项所述的系统，其特征在于，进一步包括：音频输入；其中，所述处理系统被配置成操作至少所述可穿戴混合现实显示设备的所述显示部分和所述测距部分；其中，所述...

【专利技术属性】
技术研发人员：T·J·沙韦，Y·派特尔，N·F·斯特拉卡，B·威尔逊，
申请(专利权)人：美敦力导航股份有限公司，
类型：发明
国别省市：美国,US