用于混合现实显示器中的虚拟内容的遮挡光标制造技术

公开了用于通过可穿戴显示装置在虚拟、增强或混合现实环境中显示与真实或虚拟对象相关联的光标和聚焦指示符的系统和方法。该系统可以确定在环境内用户可移动的光标与目标对象之间的空间关系。该系统可以在光标附近的对象周围或附近渲染聚焦指示符(例如，光环、阴影或出突出显示)。当光标与目标对象重叠时，系统可以在光标前方渲染对象(或根本不渲染光标)，因此对象不会被光标挡住。对象可以被渲染得比光标更靠近用户。可以滚动一组虚拟对象，并且虚拟控制面板可以被显示为指示在滚动时即将出现的对象。

【技术实现步骤摘要】
【国外来华专利技术】用于混合现实显示器中的虚拟内容的遮挡光标版权声明该专利文件的公开的一部分包含受版权保护的材料。版权所有者不反对任何人以专利和商标局专利文件或记录中出现的形式复制专利文件或专利公开，但除此之外保留所有版权。相关申请本申请是2018年3月14日提交的标题为“ECLIPSECURSORFORVIRTUALCONTENTINMIXEDREALITYDISPLAYS(用于混合现实显示器中的虚拟内容的遮挡光标)”的美国专利申请No.15/920830的延续申请，并且是2018年1月30日提交的标题为“ECLIPSECURSORFORVIRTUALCONTENTINMIXEDREALITYDISPLAYS(用于混合现实显示器的遮挡光标)”的美国专利申请No.15/884,117的部分延续申请，其中每一者均通过引用整体并入本文。
本公开涉及虚拟、增强或混合现实成像和可视化系统，更具体地，涉及将聚焦指示符分配给用户视野中的一个或多个真实或虚拟对象。
技术介绍
现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的开发，其中数字再现的图像或其部分以它们看起来是或者可以被感觉是真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而不对其它实际的真实世界的视觉输入透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的真实世界的可视化的增强；混合现实或“MR”涉及将真实世界和虚拟世界合并以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类视觉感知系统非常复杂，并且产生VR、AR或MR技术具有挑战性，这些技术便于在其它虚拟或真是世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素。在此公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。
技术实现思路
描述了用于通过可穿戴显示装置在虚拟、增强或混合现实环境中显示与真实或虚拟对象相关联的光标和聚焦指示符的技术。例如，将光标渲染在环境中的对象前方往往会挡住对象，并在视觉层次结构上更加强调光标本身而不是与之交互的目标对象。因此，可穿戴系统的实施例可以利用在目标对象后方移动的遮挡(eclipse)光标(例如，使得光标被目标对象“遮挡”)，这往往会在视觉层次结构上保持对目标对象而不是光标的强调。为了帮助用户在环境中的对象之间导航光标，系统可以在光标附近的对象周围渲染聚焦指示符。聚焦指示符可包括光标附近的对象中的至少部分对象周围的光环、阴影或突出显示。聚焦指示符可以在更靠近光标时被强调(例如，更亮、不同的颜色或阴影、或更大的尺寸)(并且远离光标时不被强调)，这为用户在环境中的对象之间导航光标和选择目标对象时提供视觉提示。遮挡光标和聚焦指示符可以为用户提供更自然和沉浸式的用户体验。在各种实施例中，可穿戴显示系统可以确定用户可移动光标与环境内的一个或多个目标对象之间的空间关系。例如，用户可以通过致动手持式用户输入装置(例如，图腾(totem))来移动光标。可穿戴系统可以在光标附近的对象周围或附近渲染聚焦指示符(例如，光环、阴影或突出显示)。聚焦指示符可以在更靠近光标的方向上被强调，而在远离光标的方向上不被强调。当光标与目标对象重叠时，系统可以将光标渲染到对象后方(或根本不渲染光标)，因此该对象不会被光标挡住(例如，对象遮挡光标)。光标和聚焦指示符可以为用户提供位置反馈并帮助用户在环境中的对象之间导航。在各个方面，可穿戴显示系统可以包括用户界面，该用户界面向用户呈现被设置在一个或多个深度处的以缩略图的网格(规则或不规则)布置的多个可交互虚拟项。缩略图可以包括虚拟项(例如，文档页面或图像)的微型表示，其可以用于通过虚拟项的内容来识别虚拟项。在一些实现方式中，选择(例如，单击或双击)缩略图以打开虚拟项的内容(例如，通过执行被配置为运行、播放、观看或编辑虚拟内容的应用)。缩略图可以被渲染，以使得其在一个深度(例如，作为2D缩略图)或多个深度(例如，使得以3D出现)处出现。响应于光标在网格中的缩略图中的一者后方移动，用于该项的缩略图可以被渲染为具有以下效果中的一种或多种：尺寸的扩大、包括聚焦指示符(例如，围绕缩略图的至少一部分的光环)、移动到不同的深度(例如，移动到更靠近用户的深度)、或者具有不同的虚拟内容(例如，高分辨率图像、标题、声音、视频的播放、或图形的动画等)。可以根据一个或多个分组标准(例如，按项名的字母顺序、内容类型、日期等)对缩略图排序。缩略图的网格可由用户滚动(例如，使用头部、眼睛或身体手势、或来自图腾的用户输入)。在滚动网格的边缘期间(例如，在滚动的方向上)，可以动态地显示在滚动期间接下来要显示的虚拟内容的指示(例如，即将到来的内容)(例如，作为半透明的缩略图、可选地位于与网格的边缘的深度不同的深度处)。在各个方面，本公开提供了一种具有图标或具有过渡的(例如，动画化的)图形用户界面的显示屏或其的一部分的装饰设计。增强、混合或虚拟现实显示装置可以包括显示屏或其的一部分。在附图和以下描述中阐述了本说明书中描述的主题的一种或多种实施方式的细节。通过说明书、附图和权利要求，其它特征、方面和优点将变得显而易见。本
技术实现思路
和以下具体实施方式都并非旨在限定或限制本专利技术主题的范围。附图说明图1示出了具有由人观看到的某些虚拟现实对象和某些物理对象的混合现实场景的图示。图2示意性地示出了可穿戴系统的示例。图3示意性地示出了使用多个深度平面模拟三维图像的方法的各方面。图4示意性地示出了用于将图像信息输出给用户的波导堆叠的示例。图5示出了可以由波导输出的示例出射光束。图6是示出光学系统的示意图，该光学系统包括波导装置、光学耦合器子系统以及控制子系统，其中光学耦合器子系统用于将光光学耦合到波导装置或从波导装置光学耦合光，控制子系统用于产生多焦点体积显示、图像或光场。图7是可穿戴系统的示例的框图。图8是渲染与所识别的对象有关的虚拟内容的方法的示例的过程流程图。图9是可穿戴系统的另一示例的框图。图10是用于确定可穿戴系统的用户输入的方法的示例的过程流程图。图11是用于与虚拟用户界面交互的方法的示例的过程流程图。图12A-12C示出了用户可以经由可穿戴系统感知的对象和光标的各种示例。图13A和13B示出了聚焦指示符和光标的非限制性实施例。图14A-14C示出了用户经由可穿戴显示系统可感知的在3D环境中的光标和对象的示例。图15A和15B示出了具有基于光标到环境中的对象位置的接近度的各种强度、位置或空间范围的多个聚焦指示符的实现方式的示例。图16A-16D示出了渲染聚焦指示符的过程的示例。图17示出了网格和图腾(具有触敏表面)上的用户输入的示例。图18A-18C示出了朝向具有聚焦指示符的对象移动的光标的示例。图19-22示出了可以由系统渲染的聚焦指示符的各种示例。图23是示出用于在3D场景中渲染聚焦指示符的示例方法的流程图。本文档来自技高网...

【技术保护点】
1.一种可穿戴显示系统，包括：/n显示器，其被配置为位于用户的眼睛前方，所述显示器被配置为朝向所述用户的所述眼睛投射虚拟内容；/n用户输入装置，其被配置为接收与虚拟光标的移动相关联的用户输入数据；以及/n与所述显示器和所述用户输入装置通信的硬件处理器，所述硬件处理器被编程为：/n识别所述虚拟光标在所述用户的环境中的位置；/n确定所述虚拟光标与所述用户的环境中的对象之间的空间关系；以及/n指导所述显示器至少部分地基于所述空间关系来渲染与所述对象相关联的聚焦指示符。/n

【技术特征摘要】
【国外来华专利技术】20180130 US 15/884,117;20180314 US 15/920,8301.一种可穿戴显示系统，包括：
显示器，其被配置为位于用户的眼睛前方，所述显示器被配置为朝向所述用户的所述眼睛投射虚拟内容；
用户输入装置，其被配置为接收与虚拟光标的移动相关联的用户输入数据；以及
与所述显示器和所述用户输入装置通信的硬件处理器，所述硬件处理器被编程为：
识别所述虚拟光标在所述用户的环境中的位置；
确定所述虚拟光标与所述用户的环境中的对象之间的空间关系；以及
指导所述显示器至少部分地基于所述空间关系来渲染与所述对象相关联的聚焦指示符。


2.根据权利要求1所述的可穿戴显示系统，其中，所述用户输入装置包括以下中的一个或多个：包括触敏表面的手持式图腾、被配置为检测用户手势的面向外成像系统、被配置为检测所述用户的眼睛姿势的面向内成像系统、或者被配置为检测所述用户的头部姿势的惯性测量单元。


3.根据权利要求1所述的可穿戴显示系统，其中，为了确定所述虚拟光标与所述对象之间的所述空间关系，所述硬件处理器被编程为：
确定所述虚拟光标的位置与所述对象的一部分之间的距离；或者
确定所述虚拟光标与所述对象之间的相对取向；以及
指导所述显示器至少部分地基于所确定的距离或所确定的取向来渲染所述聚焦指示符。


4.根据权利要求1所述的可穿戴显示系统，其中，所述聚焦指示符包括以下中的一个或多个：至少部分地围绕所述对象的辉光或光环、所述对象的尺寸或深度变化、或者图形突出显示。


5.根据权利要求1所述的可穿戴显示系统，其中，为了指导所述显示器渲染聚焦指示符，所述硬件处理器被编程为：
执行第一渲染通道以将光标辉光渲染到第一缓冲器，所述光标辉光的位置至少部分地基于所述虚拟光标的位置；
执行第二渲染通道以将所述对象的形状遮罩表示渲染到第二缓冲器；
执行第三渲染通道以将与所述对象相关联的辉光遮罩渲染到第三缓冲器；以及
执行第四渲染通道，所述第四渲染通道被配置为至少组合第一缓冲器、第二缓冲器和第三缓冲器以用于向所述用户的呈现。


6.根据权利要求5所述的可穿戴显示系统，其中，为了执行所述第四渲染通道，所述硬件处理器被编程为至少将所述第一缓冲器、所述第二缓冲器和所述第三缓冲器与包括虚拟场景内容的第四缓冲器组合。


7.根据权利要求1所述的可穿戴显示系统，其中，所述硬件处理器进一步被编程为：
确定所述虚拟光标的所述位置与所述对象之间的距离；以及
如果所述距离小于阈值距离，则将所述虚拟光标的所述位置更新为代表所述对象的位置。


8.根据权利要求1所述的可穿戴显示系统，其中，所述硬件处理器被编程为：
确定所述虚拟光标的所述位置与所述对象之间的取向；以及
指导所述显示器以将所述聚焦指示符渲染成优先朝向所述虚拟光标的所述取向。


9.根据权利要求1所述的可穿戴显示系统，其中，所述硬件处理器被编程为：
至少部分地基于所述虚拟光标的较早运动路径来更新所述虚拟光标的位置。


10.根据权利要求9所述的可穿戴显示系统，其中，所述硬件处理器被编程为：响应于来自所述用户输入装置的用户输入的停止，至少部分地基于所述较早运动路径来更新所述虚拟光标的所述位置。


11.根据权利要求1所述的可穿戴显示系统，其中，所述硬件处理器被编程为：
确定所述虚拟光标的所述位置与所述对象的一部分之间的距离；以及
响应于确定所述距离小于阈值：
在所述虚拟光标前方渲染所述对象；或者
停止渲染所述虚拟光标。


12.一种在混合现实环境中相对于对象渲染光标的方法，所述方法包括：
在包括显示器和硬件处理器的混合现实显示装置的控制下：
确定所述光标在所述混合现实环境中的位置；
确定与所述对象相关联的位置；
确定在所述对象与所述光标之间是否发生重叠；
响应于确定没有发生所述重叠，
渲染所述光标；以及
响应于确定发生了所述重叠，
在所述...

【专利技术属性】
技术研发人员：J·A·戴，L·帕斯米尼奥，J·C·佩蒂，P·A·胡佛，C·索雷尔，J·M·鲍德利，S·奈尔斯，R·圣克莱尔贝利，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US