增强现实(AR)系统和方法涉及交互式头戴式装置(HMD)、外部显示器以及与所述HMD和所述外部显示器通信的医学图像计算机。所述外部显示器显示由所述医学图像计算机提供的医学图像或3D模型的一个或多个平面。佩戴所述HMD的用户可以通过将用户的注视聚焦在控制对象和/或所述交互式HMD的显示器上显示的医学图像或3D模型的一部分上来操纵所述外部显示器上显示的医学图像或3D模型。示的医学图像或3D模型。示的医学图像或3D模型。
【技术实现步骤摘要】
使用增强现实耳机控制手术室显示器的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年5月8日提交的美国临时专利申请第63/022,219号的权益和优先权，其全部公开内容通过引用并入本文。
[0003]本公开涉及手术室设备领域，并且更具体地涉及使用增强现实耳机控制手术室显示器。
技术介绍
[0004]在外科手术期间，患者扫描(例如，计算机断层摄影(CT)扫描，磁共振成像(MRI)扫描或正电子发射断层摄影(PET)扫描)通常显示在手术室(OR)中的监视器上，以引导外科医生进行外科手术，例如，将导管尖端引导到在患者扫描中识别的目标。通常，外科医生需要操纵在OR监视器上示出的患者扫描，例如，在患者扫描的切片之间移动或使显示器中的目标居中，以便更好地查看患者解剖结构的相关部分。当外科医生参加手术时，外科医生难以操纵OR监视器中的患者扫描以在进行外科手术时聚焦在患者体积的相关部分上。因此，需要允许外科医生在显示器上操纵患者扫描的方法和系统，而不必执行除外科手术步骤之外的过多步骤。
技术实现思路
[0005]本公开的技术总体上涉及使用增强现实耳机控制手术室显示器，使得参加手术的外科医生能够轻松、准确且无菌地操纵显示在手术室显示器上的患者扫描信息。
[0006]在一个总体方面，本公开的特征在于一种方法，其包括：在外部显示器上显示扫描信息；基于外部显示器上显示的扫描信息在增强现实(AR)头戴式装置(HMD)的显示器上显示扫描信息的至少一个平面；监视用户的注视的焦点的位置；以及基于所监视的用户的注视的焦点的位置的移动来更新外部显示器上的扫描信息。该方面的其它实施方式包括记录在一个或多个计算机存储装置上的对应计算机系统、设备和计算机程序，其各自被配置成执行该方法的动作。
[0007]实施方式可以包括以下一个或多个特征。该方法可以包括在AR HMD上显示的扫描信息之外显示控制对象；检测到用户的注视聚焦在控制对象上；响应于检测到用户的注视聚焦在控制对象上，确定用户的注视满足预定条件；以及响应于确定与用户的注视相关联的特性满足预定条件，记录对控制对象的选择。确定与用户的注视相关联的特性满足预定条件可以包括确定用户的注视保持大于预定时间段。确定与用户的注视相关联的特性满足预定条件可以包括确定用户眨眼大于预定时间段。
[0008]该方法可以包括响应于记录对控制对象的选择，显示扫描信息的至少一个平面来代替显示在AR HMD的显示器上的控制对象。控制对象可以是虚拟操纵杆、滚动条、按钮或可选图标。控制对象可以是滚动条的滑块。该方法可以包括检测用户的注视到滚动条上的另
一位置的移动，并显示对应于滚动条上的另一位置的扫描信息平面。该方法可以包括在AR HMD的显示器上连续地显示扫描信息的至少一个平面。扫描信息的至少一个平面可以基于所确定的扫描信息平面的数量而显示在AR HMD的显示器上。扫描信息的至少一个平面可以基于所确定的扫描信息平面的数量而显示在AR HMD的显示器上。
[0009]扫描信息可以包括计算机断层摄影(CT)扫描信息、磁共振成像(MRI)扫描信息、正电子发射断层摄影(PET)扫描信息或其任何组合。该方法可以包括检测到用户的注视聚焦在扫描信息平面上，并且响应于检测到用户的注视聚焦在扫描信息平面上，突出显示扫描信息平面并显示与突出显示的扫描信息平面相关联的控制对象。突出显示扫描信息平面可以包括改变扫描信息平面的填充颜色、填充图案、边框颜色或边框样式。显示与突出显示的扫描信息平面相关联的控制对象可以包括在突出显示的扫描信息平面的相对侧上显示移动方向控制按钮。移动方向控制按钮可以包括上下控制按钮或前向控制按钮和后向控制按钮。
[0010]该方法可以包括检测到用户的注视聚焦在控制对象上，并且响应于检测到用户的注视聚焦在控制对象上，确定对控制对象的选择并在与所选控制对象相关联的方向上移动突出显示的扫描信息平面。突出显示的扫描信息平面可以以预定速率移动。该方法可以包括确定检测到用户的注视聚焦在控制对象上的时间长度，以及基于所确定的时间长度来增加移动突出显示的扫描信息平面的移动速率。增加移动速率可以包括线性地或以预定步长增加移动速率。显示扫描信息可以包括显示基于医学扫描构建的三维(3D)模型。该方法可以包括检测到用户的注视聚焦在3D模型的一部分上，并且响应于检测到用户的注视聚焦在3D模型的该部分上，显示对应于3D模型的该部分的扫描信息平面。
[0011]在另一总体方面，本公开的特征在于一种方法，其包括从与外部显示器通信的医学图像计算机接收扫描信息；显示扫描信息的至少一个平面；显示与扫描信息的至少一个平面相关联的至少一个控制对象；检测到用户的注视聚焦在至少一个控制对象上；以及响应于检测到用户的注视聚焦在控制对象上，向医学图像计算机发送第一控制消息以改变扫描信息在外部显示器上的显示。该方法还包括从医学图像计算机接收第二控制消息以改变扫描信息的至少一个平面的显示，以及基于第二控制消息改变扫描信息的至少一个平面的显示。该总体方面的其它实施方式包括记录在一个或多个计算机存储装置上的对应计算机系统、设备和计算机程序，其各自被配置成执行该方法的动作。
[0012]实施方式可以包括以下特征。控制消息可以包括改变扫描信息的位置、定向或大小的指令，或者隐藏或示出扫描信息的至少一部分的指令。
[0013]在另一总体方面，本公开的特征在于一种系统，其包括显示扫描信息的手术室监视器和与手术室监视器通信的交互式头戴式装置。交互式头戴式装置包括显示医学图像并能够查看周围环境的至少一部分的光学组合件。该系统还包括：跟踪用户的注视的焦点的位置的眼睛跟踪装置；与光学合组件和眼睛跟踪装置通信的处理器；存储应用程序的存储器，该应用程序在由处理器执行时使处理器：在手术室监视器上显示扫描信息；基于手术室监视器上显示的扫描信息，在交互式头戴式装置上显示扫描信息的至少一个平面；监视用户的注视的焦点的位置；基于所监视的用户的注视的焦点的位置的移动来更新手术室监视器上的扫描信息；确定扫描信息在手术室监视器上被改变；以及响应于确定扫描信息在手术室监视器上被改变，基于在手术室监视器上改变的扫描信息来更新交互式头戴式装置上
显示的扫描信息的至少一个平面。
[0014]本公开的一个或多个方面的细节在附图和以下描述中阐述。本公开中所描述的技术的其它特征、目的和优点将从描述和图示以及从权利要求书中显而易见。
附图说明
[0015]在附图中绘示了各种示范性方面。应当理解，为了说明的简单和清楚，下面引用的附图中所示的元件不必按比例绘制。而且，在认为适当的情况下，可以在附图中重复附图标记以指示相同的、对应或类似的元件。附图列举如下。
[0016]图1是被配置为与本公开的方法一起使用的系统的示意性框图；
[0017]图2A至2C是根据本公开的各方面的所显示的扫描信息的示意图；
[0018]图3是根据本公开的各方面的增强现实系统的框图；
[0019]图4是根据本公开的方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种方法，其包含：在外部显示器上显示扫描信息；基于所述外部显示器上显示的所述扫描信息，在增强现实(AR)头戴式装置(HMD)的显示器上显示扫描信息的至少一个平面；监视用户的注视的焦点的位置；以及基于所监视的所述用户的注视的所述焦点的所述位置的移动来更新所述外部显示器上的所述扫描信息。2.根据权利要求1所述的方法，其进一步包含：在所述AR HMD上显示的所述扫描信息之外显示控制对象；检测到所述用户的注视聚焦在所述控制对象上；响应于检测到所述用户的注视聚焦在所述控制对象上，确定所述用户的注视满足预定条件；以及响应于确定与所述用户的注视相关联的特性满足预定条件，记录对所述控制对象的选择。3.根据权利要求2所述的方法，其中确定与所述用户的注视相关联的特性满足预定条件包括确定所述用户的注视保持大于预定时间段。4.根据权利要求2所述的方法，其中确定与所述用户的注视相关联的特性满足预定条件包括确定所述用户眨眼大于预定时间段。5.根据权利要求4所述的方法，其进一步包含响应于记录对所述控制对象的所述选择，显示扫描信息的至少一个平面来代替显示在所述AR HMD的所述显示器上的所述控制对象。6.根据权利要求1所述的方法，其进一步包含在所述AR HMD的所述显示器上连续地显示扫描信息的至少一个平面。7.根据权利要求6所述的方法，其进一步包含确定当前显示在所述外部显示器上的扫描信息平面的数量。其中基于所确定的扫描信息平面的数量，在所述AR HMD的所述显示器上显示扫描信息的所述至少一个平面。8.根据权利要求6所述的方法，其进一步包含确定当前可用于显示的扫描信息平面的数量。其中基于所述所确定的扫描信息平面的数量，在所述AR HMD的所述显示器上显示扫描信息的所述至少一个平面。9.根据权利要求1所述的方法，其中所述扫描信息包括计算机断层摄影(CT)扫描信息、磁共振成像(MRI)扫描信息、正电子发射断层摄影(PET)扫描信息或其任何组合。10.根据权利要求2所述的方法，其中所述控制对象是虚拟操纵杆、滚动条、按钮或可选图标。11.根据权利要求1所述的方法，其进一步包含：检测到所述用户的注视聚焦在扫描信息平面上；以及响应于检测到所述用户的注视聚焦在扫描信息平面上，突出显示所述扫描信息平面并显示与突出显示的扫描信息平面相关联的控制对象。12.根据权利要求11所述的方法，其中突出显示所述扫描信息平面包括改变所述扫描
信息平面的填充颜色、填充图案、边框颜色或边框样式。13.根据权利要求11所述的方法，其中显示与所述突出显示的扫描信息平面相关联的控制对象包括在所述突出显示的扫描信息平面的相对侧上显示移动方向控制按钮，并且其中所述移动方向控制按钮包括上下控制按钮或前向控制按钮和后向控制按钮。14.根据权利要求11所述的方法，其进一步包含：检测到所述用户的注视...
【专利技术属性】
技术研发人员：J，
申请(专利权)人：柯惠有限合伙公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。