动态自适应虚拟列表制造技术

公开了涉及以诸如避免列表遮挡和导致用户输入错误的方式在增强现实和虚拟现实显示设备上显示列表的示例。一个公开的示例提供了包括图像传感器、显示设备、被配置为执行指令的逻辑设备以及包含可由逻辑设备执行的指令的存储设备的计算设备。所述指令可被执行以生成列表的表示，将该列表的表示与通过显示设备可查看的三维环境的拓扑进行比较以确定该列表的表示是否与拓扑里的任何对象相交，并且如果该列表的表示与三维环境的拓扑里的对象相交，那么调整该列表的一个或多个项中的每个项的位置和定向中的一个或多个以适应拓扑中的该对象。

Dynamic adaptive virtual list

An example of displaying a list on an augmented reality and a virtual reality display device in a way such as avoiding list occlusion and causing user input errors is disclosed. A public example provides a computing device including an image sensor, a display device, a logic device configured to execute instructions, and a storage device that contains instructions that can be executed by a logical device. The instructions can be executed to generate a list of the said, the list representation and display by topological 3D environment equipment can be viewed by comparison to determine whether the intersection of the list said with any object in the topology, and if the list object topological representation and 3D environment in the intersection, then adjust the a list of one or more items for each item in the position and orientation of one or more in order to adapt to the object in the topology.

【技术实现步骤摘要】
【国外来华专利技术】动态自适应虚拟列表背景显示技术可允许用户体验沉浸式虚拟环境和/或现实和虚拟环境的混合。例如，一些计算设备可以包括透视显示器，该透视显示器允许通过将虚拟对象显示为叠加在现实世界环境上来实现增强现实图像的呈现。概述公开了涉及以避免诸如列表遮挡并导致用户输入错误的方式在增强现实和虚拟现实显示设备上显示列表的各示例。一个公开的示例提供了包括图像传感器、显示设备、被配置为执行指令的逻辑设备以及包含可由逻辑设备执行的指令的存储设备的计算设备。所述指令可被执行以生成列表的表示，将该列表的表示与通过显示设备可查看的三维环境的拓扑进行比较以确定该列表的表示是否与拓扑里的任何对象相交，并且如果该列表的表示与三维环境的拓扑里的对象相交，那么调整该列表的一个或多个项中的每个项的位置和定向中的一个或多个以适配拓扑中的该对象。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。附图简述图1示出了在示例使用环境中的示例增强现实显示设备。图2示出在图1的使用环境中的示例动态自适应虚拟列表。图3A和3B示出了与示例动态自适应虚拟列表的示例用户交互。图4A和4B示出了与示例动态自适应虚拟列表的另一示例用户交互。图5示出适配于对象的动态自适应虚拟列表的各示例。图6示出解说显示动态自适应虚拟列表的示例方法的流程图。图7示出示例增强现实显示系统的框图。详细描述如上所述，显示设备技术可以实现虚拟现实和增强现实三维(3D)环境的呈现。各种类型的虚拟对象可以被显示在这样的环境中，包括但不局限于交互式用户界面元素，例如交互式列表。然而，以3D设置显示虚拟列表可能引起各种挑战。例如，被显示为平面二维对象的列表可以远离观看者的位置收敛，这可能使得用户难以读取列表并与之交互。另一方面，被显示为虚拟或增强现实环境内的三维对象的列表可以占据大量虚拟空间，并且这样可能侵占3D世界中的其它现实或所显示的对象或与之重叠。这可以导致列表的各部分被环境中的其它对象遮挡。相应地，本文公开了涉及显示适配于3D虚拟和/或增强现实环境的拓扑的动态自适应虚拟列表的各示例。这样的列表可以被显示在适配于其它虚拟和/或现实世界元素的各种表格和空间布局中，并且由此可以提供较逼真且沉浸式的增强和/或虚拟现实体验。图1示出其中示例显示设备102被用户104穿戴的示例使用环境100。显示设备102被描绘为用于3D增强现实体验的呈现的头戴式显示设备。周围环境可通过显示设备102查看，如通过视野106示意性地指示的。3D环境可以包括可与现实世界表面和对象一起显示的各种虚拟对象，在此被示为虚拟对象108、110和现实世界对象112、114。虽然在图1中示出为增强现实头戴式显示设备，但将理解根据本公开的显示设备可以采取任何合适的形式，包括但不限于其它类型的可穿戴显示设备、非可穿戴显示设备、移动显示设备、全息投影仪、具有或被配置为连接到一个或多个显示器的设备和/或被配置为将3D虚拟内容显示给观看者的任何其它设备。这样的显示设备可以包括或可以不包括透视显示器，并且可以被配置为将完全虚拟的环境显示给用户104。图2示出通过环境100内的显示设备102显示的动态自适应虚拟列表202、204、206和208的各示例。首先，列表202被显示为垂直展开，与现实世界的墙、现实世界的对象112和现实世界的地板的拓扑相符。展开列表可以被显示为遵守物理定律(例如移动、重力定律等)，这样，其通过被显示为覆盖或以其他方式漂浮在现实世界对象112上而适配于现实世界对象112。接着，列表204被示为水平展开，并且与侧墙和后墙相符，并且通过折叠或以其他方式在虚拟对象108处压缩而适配于所述虚拟对象108。另外，列表206被显示为适配于虚拟对象108和110两者。列表208被示为与后墙相符并适配于现实世界对象114。然而，取代漂浮或覆盖在现实世界对象114上，列表208的一部分当其靠近现实世界对象114时被折叠或以其它方式被压缩。当列表的显示被触发时，动态自适应虚拟列表可以通过动画被显示为从原点(例如默认位置或由用户104所指示的位置)展开。最初，随着列表展开，该列表中的所有项可被显露。随后，如果随着列表展开，该列表与环境中的虚拟或现实对象冲突，则该列表可以适配于对象，如上所述。在其它实现中，取代从原点展开，列表可最初被显示在完全展开且在拓扑上适配的表格中，而不是通过动画化的展开来显示。在在3D虚拟或增强现实环境中显示动态自适应虚拟列表之前，显示设备102可以创建或以其它方式获得环境的3D地图。例如，显示设备102可以利用板载传感器(例如一个或多个深度传感器、二维图像传感器、全球定位系统传感器、运动传感器和其它传感器)来通过随着用户在现实世界环境内移动而同时定位和地图构建(SLAM)来构造该环境的拓扑地图。作为这种实时地图构建的替代或补充，显示设备102可以从计算机可读存储器中检索该现实世界环境的先前构造的拓扑地图。任一情况下，拓扑地图可以采用网格(例如“表面重构”(SR)网格)的形式或可以采用任何其它合适的形式。随后，动态自适应虚拟列表的3D表示可以被显示为适配于地图的拓扑以及所显示的虚拟内容。各种动作可以改变所显示的列表和环境内的现实和/或虚拟对象之间的位置关系。示例包括但不局限于改变显示设备的位置和/或定向、改变3D环境(例如通过移动环境中的现实对象)、与列表交互(例如通过滚动或选择列表中的项)和/或任何其它影响列表呈现的事件。在这样的情形中，所显示的列表的表示可以以在此所述的方式适配于经改变的位置关系。图3A和3B示出了响应于示例用户交互对列表的适配的一个示例。首先参考图3A，用户104做出请求动态虚拟列表302的位置方面的改变的用户输入。用户输入被示为手势，但将理解任何其它合适的用户输入机制都可被使用，包括但不局限于语音命令、眼睛注视跟踪、身体姿势跟踪(例如头部姿势)以及手动硬件输入设备(例如按键、操纵杆、方向垫、触摸传感器等)。在图3A中，列表302的一部分被示为在该列表与3D环境中的桌子冲突的位置处被折叠。图3B示出在动态虚拟列表302已经沿后墙被移动到该列表不再与桌子冲突的位置处之后的该列表。在该位置中，列表的先前折叠的部分变成展开，但仍然考虑到环境的拓扑。例如，在动态虚拟列表302的底部附近碰到地板的项被显示为被布局到地板上。而且，列表中的最初被折叠的那些项被显露以供查看和交互。图4A和4B示出了与虚拟列表的另一示例用户交互。在图4A中，虚拟列表400与对象402冲突，并且作为响应虚拟列表400中的项被显示折叠在对象402上。虚拟列表400的折叠部分的外观可以被配置为表示该列表中在该列表的该部分中的项的数目。图4A还示出例如通过手势与折叠部分的用户交互。响应于该用户交互，在虚拟列表400中的先前折叠的项变成展开，而在列表中的其它项被折叠以适应由对象402所施加的空间约束，如图4B所示。将理解，列表的通过在图4A中折叠所隐藏的项可以以任何其它合适的方式被显露。例如，列表的折叠部分可以通过覆盖(drapingover)本文档来自技高网...

【技术保护点】
一种计算设备，包括：被配置为获取图像数据的图像传感器；显示设备；被配置成执行指令的逻辑设备；以及包括所述逻辑设备可执行以进行下述操作的指令的存储设备：检测用于列表的显示的触发；响应于所述触发，生成所述列表的表示；将所述列表的所述表示与可通过所述显示设备查看的三维环境的拓扑进行比较以确定所述列表的所述表示是否与所述拓扑中的任何对象相交；如果所述列表的所述表示与所述三维环境的所述拓扑中的对象相交，则调整所述列表的一个或多个项的每个项的位置和定向中的一个或多个以适配于在所述拓扑中的所述对象；以及通过所述显示器显示所述列表的所述表示。

【技术特征摘要】
【国外来华专利技术】2015.01.27 US 14/606,9741.一种计算设备，包括：被配置为获取图像数据的图像传感器；显示设备；被配置成执行指令的逻辑设备；以及包括所述逻辑设备可执行以进行下述操作的指令的存储设备：检测用于列表的显示的触发；响应于所述触发，生成所述列表的表示；将所述列表的所述表示与可通过所述显示设备查看的三维环境的拓扑进行比较以确定所述列表的所述表示是否与所述拓扑中的任何对象相交；如果所述列表的所述表示与所述三维环境的所述拓扑中的对象相交，则调整所述列表的一个或多个项的每个项的位置和定向中的一个或多个以适配于在所述拓扑中的所述对象；以及通过所述显示器显示所述列表的所述表示。2.如权利要求1所述的计算设备，其特征在于，所述三维环境的所述拓扑中的所述对象包括虚拟对象和现实世界对象中的一个或多个。3.如权利要求1所述的计算设备，其特征在于，所述指令可执行以通过将所述列表的所述表示显示为朝着所述对象展开，随后将所述列表的所述一个或多个项的所述表示显示为压缩在所述对象上来将所述列表的所述表示显示为适配于所述对象。4.如权利要求3所述的计算设备，其特征在于，所述指令可执行以通过以折叠表示、成束的表示和卷曲的表示中的一个或多个显示所述列表的所述一个或多个项的所述表示来将所述列表的所述一个或多个项的所述表示显示为压缩在所述对象上。5.如权利要求3所述的计算设备，其特征在于，所述指令可执行以通过显示所述列表的压缩部分来将所述列表的所述一个或多个项的所述表示显示为压缩在所述对象上，所述列表的压缩部分具有表示所述列表的压缩部分中的项的数目的外观。6.如权利要求1所述的计算设备，其特征在于，所述指令可执行以通过调整所述列表的所述表示以遵循所述对象的表面轮廓来将所述列表的所述表示显示为适配于所述对象。7.如权利要求1所述的计算设备，其特征在于，所述图像传感器包括二维相机，并且其中所述指令可执行以获取所述3D环境的二维图像数据并标识与所述3D...

【专利技术属性】
技术研发人员：S·佩蒂珑，SS·C·丘，I·兹努达，J·E·福斯特，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US