基于视场显示三维虚拟对象制造技术

所公开的示例涉及显示虚拟对象。一个示例在包括相机和显示器的显示设备上提供了方法，该方法包括经由相机获取对环境成像的图像数据，接收请求三维虚拟对象的显示的用户输入，将用于三维虚拟对象的尺寸信息与用于显示设备的视场的尺寸信息进行比较，基于将用于三维虚拟对象的尺寸信息与用于视场的尺寸信息进行比较来修改三维虚拟对象，以获得经修改的三维虚拟对象，以及经由显示器显示经修改的三维虚拟对象。另一示例提供了包括相机和显示器的显示设备，其中环境的图像数据被获取，该环境内的表面被检测，以及三维虚拟对象在表面的阈值距离内被移动。

【技术实现步骤摘要】
【国外来华专利技术】基于视场显示三维虚拟对象
技术介绍
混合现实显示系统(诸如头戴式显示系统)可以被配置为呈现被叠加在现实世界背景的视图上的虚拟图像，以提供沉浸式视觉体验。
技术实现思路
涉及显示三维虚拟对象的示例在本文中被公开。一个示例在包括相机和显示器的显示设备上提供了方法，该方法包括经由相机获取成像环境的图像数据，接收请求三维虚拟对象的显示的用户输入，将用于三维虚拟对象的尺寸信息与用于显示设备的视场的尺寸信息进行比较，基于将用于三维虚拟对象的尺寸信息与用于视场的尺寸信息进行比较来修改三维虚拟对象，以获得经修改的三维虚拟对象，以及经由显示器显示经修改的三维虚拟对象。另一示例提供了显示设备，包括相机、显示器、逻辑子系统和存储子系统，存储子系统包括指令，该指令可由逻辑子系统执行以获取经由相机对环境成像的图像数据，从图像数据检测环境中的表面，接收请求三维虚拟对象的显示的用户输入，经由显示器显示三维虚拟对象，接收移动三维虚拟对象位置的用户输入，检测被移动到表面阈值距离内的三维虚拟对象，显示三维虚拟对象以显现为被定位在表面上，并且约束三维虚拟对象的移动为沿着表面。又一示例提供了显示设备，包括深度相机、显示器、逻辑子系统和存储子系统，存储子系统包括指令，该指令可由逻辑子系统执行以获取环境的图像数据并经由相机监视环境，检测环境中物理手的存在，并作为响应，经由显示器自动显示菜单。本
技术实现思路
被提供以用简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步被描述。本
技术实现思路
不旨在标识所要求保护的技术主题的关键特征或必要特征，也不旨在被用来限制所要求保护的技术主题的范围。此外，所要求保护的技术主题不限于解决在本公开的任何部分中所提到的任何或所有缺点的实现。附图说明图1示出了用于示例头戴式显示设备的示例使用场景，并且图示了与通过透视显示器观察的用户眼睛的视场相比的头戴式显示设备的透视显示器视场。图2A图示了与头戴式显示设备的视场相比的示例三维虚拟对象的原始比例。图2B图示了图2A的三维虚拟对象的示例，其被缩放以适合头戴式显示设备的视场。图3示出了与头戴式显示设备的视场相比的被显示但未被修改的示例三维虚拟对象。图4示出了三维虚拟对象可以被对齐到现实表面的示例场景，并且图示了响应于接近现实表面的三维虚拟对象而被显示的视觉反馈。图5A至图5D示出了示例场景，其中头戴式显示设备响应于检测到图像数据中物理手的存在而显示图形用户界面。图6A至图6B示出了图示相对于显示设备的视场显示三维虚拟对象的示例方法的流程图。图7示出了图示显示三维虚拟对象以显现作为被定位在表面上的示例方法的流程图。图8示出了图示响应于检测到物理手的存在而显示菜单的示例方法的流程图。图9示出了示例头戴式显示设备。图10示出了示例增强现实显示系统的框图。具体实施方式增强现实显示设备可以呈现被叠加在现实世界环境中的虚拟对象。图1示出了示例使用环境100，其中用户102正在使用具有透视显示设备的头戴式显示设备(HMD)104形式的增强现实显示设备。HMD104被配置为在视场106(“HMD视场”)内显示虚拟对象，其可以小于通过透视显示设备观察的用户102的视场108(“用户视场”)。这样，在一些实例中，由HMD104显示的三维虚拟对象的仅一部分可以在HMD视场106内可见，其可以向用户提供对象的不完整视图。相应地，本文中公开了涉及修改三维虚拟对象以适合在增强现实显示设备的视场内的示例。所公开的示例允许显示设备在适当时自动缩放三维虚拟对象，并且还确定何时修改三维虚拟对象将不合适并且因此显示三维虚拟对象而不进行修改。所公开的示例进一步提供关于现实世界适当地定位三维虚拟对象，诸如自动定位三维虚拟对象以显现为被定位在现实世界表面上。还公开了涉及基于在由HMD104获取的图像数据中检测到用户的手的存在而自动显示诸如菜单的虚拟用户界面的示例。HMD104包括一个或多个被配置为获取环境100的图像数据的面向外部的图像传感器。这种图像传感器的示例包括但不限于深度传感器系统(例如，飞行时间、结构化光照相机和/或立体相机布置)和二维图像传感器(例如RGB和/或灰度传感器)。这样的图像传感器可以被配置为检测可见光、红外和/或其他合适波长范围内的图像。所获取的图像数据可以被用来获得环境100的三维表示，以用于适当地显示和定位三维虚拟对象。作为非限制性示例，HMD104可以被配置为获得如从所获取的深度数据构建的环境100的三维表面重建网格。作为另一示例，HMD104可以基于HMD的当前位置从驻留在HMD上的本地存储子系统或从远程计算设备检索先前被构建的、被存储的环境三维表示。虽然在图1中被示出为头戴式显示设备，但是应该理解，任何其他合适的显示设备可以被使用。HMD104可以从任何合适的源获得用于显示的内容，诸如通过网络从远程服务器、从一个或多个对等计算设备(例如，对等HMD)或从本地存储装置。同样，HMD可以显示任何合适类型的内容，包括但不限于表示三维虚拟对象的虚拟对象模型。三维虚拟对象可以以各种方式被显示。例如，三维虚拟对象可以在相对于现实世界环境100的世界锁定视图中被显示。本文所使用的术语“世界锁定”表示三维虚拟对象被显示为相对于现实世界对象在位置上固定(尽管在一些示例中该位置可以是用户调整的)。这可以允许用户在环境100内移动以从不同的视角观看所显示的三维虚拟对象，例如，好像用户正在现实对象周围走动。三维虚拟对象还可以在“设备锁定”视图中被显示，使得其位置相对于HMD显示器是固定的。一些三维虚拟对象可以包括尺寸信息，例如关于三维虚拟对象要相对于现实世界环境被显示的尺寸的元数据。尺寸信息可以指定任何合适的比例特性(例如尺寸、体积、长宽比、比例、取向、位置等)，并且可以采用任何合适的形式。例如，尺寸信息可以包括指定三维虚拟对象的尺寸的单位，或者可以包括由被用来显示/观看三维虚拟对象的计算机程序给出单位的无单位值。尺寸信息可以从用于三维虚拟对象的元数据、数据表、数据库或任何其他合适的位置来获得。在由于三维虚拟对象尺度超过HMD视场106，三维虚拟对象太大而不能完全适合在HMD视场106内的情况下，HMD104可以修改三维虚拟对象以完全适合在HMD视场106内，使得用户可以完整地观看三维虚拟对象。图2A至图2B图示了示例三维虚拟对象200的修改以适合在HMD视场106内。在一个示例中，参考图2A，HMD104例如从本地或远程存储装置获得三维虚拟对象200，并将三维虚拟对象200的尺寸信息与HMD视场106的尺寸信息进行比较。在所描绘的示例中，围绕三维虚拟对象200被定义的边界框基于尺寸信息(例如，作为每个坐标方向上的三维虚拟对象的最大尺寸)被确定，如边界框202示意性地所指示的。边界框202被示出为围绕并完全包含三维虚拟对象202的矩形三维边界，尽管任何其他适当形状的边界体积可以被利用。边界框202可以表示相对于三维虚拟对象200最初被绘制的观看方向的尺寸，或者可以表示来自任何观看角度的最大尺寸。HMD104然后可以将边界框202的长宽比与HMD视场106的长宽比进行比较，并且基于该比较，修改三维虚拟对象200，例如通过缩放三维虚拟对象200以获得修改的三维虚拟对象204，以适合在HMD视场106内，本文档来自技高网...

【技术保护点】
1.一种在包括相机和显示器的显示设备上的方法，所述方法包括：经由所述相机获取对环境成像的图像数据；接收请求三维虚拟对象的显示的用户输入；将用于所述三维虚拟对象的尺寸信息与用于所述显示设备的视场的尺寸信息进行比较；基于将用于所述三维虚拟对象的所述尺寸信息与用于所述视场的所述尺寸信息进行比较来修改所述三维虚拟对象，以获得经修改的三维虚拟对象；以及经由所述显示器显示所述经修改的三维虚拟对象。

【技术特征摘要】
【国外来华专利技术】2016.03.21 US 62/311,324;2016.10.20 US 15/299,2471.一种在包括相机和显示器的显示设备上的方法，所述方法包括：经由所述相机获取对环境成像的图像数据；接收请求三维虚拟对象的显示的用户输入；将用于所述三维虚拟对象的尺寸信息与用于所述显示设备的视场的尺寸信息进行比较；基于将用于所述三维虚拟对象的所述尺寸信息与用于所述视场的所述尺寸信息进行比较来修改所述三维虚拟对象，以获得经修改的三维虚拟对象；以及经由所述显示器显示所述经修改的三维虚拟对象。2.根据权利要求1所述的方法，其中所述三维虚拟对象是第一三维虚拟对象，并且进一步包括接收请求第二三维虚拟对象的显示的用户输入，确定所述第二三维虚拟对象不被修改并且在不修改所述第二三维虚拟对象的情况下显示所述第二三维虚拟对象。3.根据权利要求2所述的方法，其中确定所述第二三维虚拟对象不被修改包括检查与所述第二三维虚拟对象相关联的标志的状态。4.根据权利要求2所述的方法，其中确定所述第二三维虚拟对象不被修改包括接收请求所述第二三维虚拟对象不被修改的用户输入。5.根据权利要求2所述的方法，进一步包括基于确定所述第二三维虚拟对象不被修改，不允许所述第二三维虚拟模型被移动或旋转。6.根据权利要求1所述的方法，其中将用于所述三维虚拟对象的所述尺寸信息与用于所述视场的所述尺寸信息进行比较包括对在所述三维虚拟对象周围被定义的边界框的长宽比与所述视场的长宽比进行比较。7.根据权利要求1所述的方法，其中将用于所述三维虚拟对象的所述尺寸信息与用于所述视场的所述尺寸信息进行比较进一步包括将所述三维虚拟对象定位在距所述显示设备的预选的虚拟距离处，并且基于所述所预选的虚拟距离进行比较。8.根据权利要求7所述的方法，其中定位所述三...

【专利技术属性】
技术研发人员：M·A·琳赛，M·斯卡维兹，A·D·克劳斯，M·托马斯，R·韦弗，J·D·史密斯，C·布朗，C·热恩，C·R·Q·马泰欧文斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US