物理环境中的虚拟对象操纵制造技术

公开了一种用于操纵经由显示设备显示的虚拟对象的方法、计算设备和头戴式显示设备。在一个示例中，接收包括物理特征的物理环境的图像数据。生成环境的至少一部分的三维模型。从图像数据中提取候选锚点特征，每个候选锚点特征对应于一个物理特征。接收操纵在环境内显示的虚拟对象的用户输入。基于操纵，标识虚拟对象的虚拟锚点特征与对应候选锚点特征之间的对应关系。在环境内的对应物理特征处向用户显示对应候选锚点特征的指示。

Virtual Object Manipulation in Physical Environment

A method, a computing device and a head-mounted display device for manipulating virtual objects displayed via a display device are disclosed. In one example, image data of a physical environment including physical features is received. Generate at least part of the three-dimensional model of the environment. Candidate anchor feature is extracted from image data, and each candidate anchor feature corresponds to a physical feature. Receive user input that manipulates virtual objects displayed in the environment. Based on manipulation, the corresponding relationship between virtual anchor feature and candidate anchor feature is identified. Indicators of corresponding candidate anchor features are displayed to users at corresponding physical features in the environment.

【技术实现步骤摘要】
【国外来华专利技术】物理环境中的虚拟对象操纵
技术介绍
增强现实显示设备使得用户能够查看、创建和操纵被显示以出现在用户的物理环境内的虚拟内容。在一些示例中，用户可能希望关于用户的物理环境中的物理对象或表面来定位和定向虚拟对象或其部分。使用户能够容易地将虚拟对象操纵到相对于物理对象或表面的期望位置和取向是具有挑战性的。
技术实现思路
本文公开了用于操纵在真实世界物理环境内显示的虚拟对象的方法、计算设备和头戴式显示设备。在一个示例中，一种方法包括接收包括多个物理特征的真实世界物理环境的图像数据。使用图像数据，生成真实世界物理环境的至少一部分的三维模型。从图像数据中提取多个候选锚点特征，每个候选锚点特征对应于真实世界物理环境中的物理特征中的一个。该方法包括接收操纵在真实世界物理环境内显示的虚拟对象的用户操纵输入，其中虚拟对象包括虚拟锚点特征。基于虚拟对象的操纵，标识虚拟对象的虚拟锚点特征与来自多个候选锚点特征的对应候选锚点特征之间的至少一个对应关系。基于标识至少一个对应关系，经由显示设备，在真实世界物理环境内的对应物理特征处显示对应候选锚点特征的指示。提供本
技术实现思路
部分是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式部分中进一步描述。本
技术实现思路
部分无意标识所要求保护的主题的关键特征或必要特征，也无意用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于能够解决在本公开的任何部分中提到的任何或所有缺陷的实现。附图说明图1是根据本公开的示例的可以显示和操纵虚拟对象的示例计算设备和显示设备的示意图。图2示出了根据本公开的示例的在真实世界物理环境中的佩戴图1的头戴式显示设备的用户。图3示出了根据本公开的示例的与图2的真实世界物理环境中的物理特征相对应的候选锚点特征的示例。图4至图7示出了根据本公开的示例的与物理桌子的边缘对准的虚拟立方体的边缘。图8至图10示出了根据本公开的示例的从不可见位置延伸到显示设备的视场中的对应候选锚点特征的指示、以及与对应物理对准的虚拟对象。图11和图12示出了根据本公开的示例的被显示为与其对准的对应物理对象一起移动的虚拟对象。图13和图14示出了根据本公开的示例的被显示为当与其对准的对应物理对象移动时保持在虚拟对象位置处的虚拟对象。图15至图19示出了根据本公开的示例的利用在物理环境内的对应物理特征处的对应候选锚点特征的指示来创建虚拟盒。图20A、图20B和图20C是根据本公开的示例的用于操纵经由显示设备显示的虚拟对象的方法的流程图。图21示出了根据本公开的实施例的计算系统。具体实施方式在真实世界物理环境中，关于第二对象物理地处理和定位第一对象的人可以受真实世界现象引导。例如，在桌子上堆放书籍的人受到将书籍与桌子的支撑表面对准的重力的帮助，并且受到书籍无法穿透桌子表面的帮助。在增强现实环境中，用户可以查看真实世界物理环境，该物理环境包括在物理环境内显示的虚拟内容。例如，并且如下面更详细地描述的，头戴式显示器(HMD)设备可以包括被配置为通过显示器在视觉上增强真实世界三维环境的视图的透视显示器。在其他示例中，虚拟内容可以与用户的真实世界环境的真实世界图像混合。例如，平板计算机、移动通信设备、笔记本计算机和类似设备可以显示与用户的真实世界环境的真实世界图像混合的虚拟内容。在真实世界物理环境中显示虚拟内容的其他示例可以包括基于投影的方案，诸如安装在空间中的投影仪或佩戴在用户身体上的投影仪。在增强现实环境中，虚拟对象不一定遵循与在真实世界中的物理对象所遵循的相同物理现象或物理规则。因此，操纵虚拟内容以与用户的物理环境中的物理对象或表面对准或协调可能是具有挑战性的。例如，在支持以六个自由度(6DOF)移动虚拟内容的增强现实应用中，操纵和定向虚拟对象以使其与真实世界环境中的物理对象精确对准可能是麻烦的。这一挑战的一个示例可能是试图操纵全息平面绘画以平挂在真实世界墙壁上。另外，在增强现实环境中，可以从用户的角度并且在与周围物理环境的上下文中显示虚拟内容。在一些示例中，诸如利用具有透视显示器的HMD设备，整个物理环境的缩小视图可能是不可行的。类似地，虚拟对象与物理对象之间的对准细节的放大视图可能不是一种选择。这些和其他考虑因素可能阻止用户在真实世界物理环境内容易且快速地对准虚拟内容。本公开涉及提供交互式增强现实体验的方法、计算设备和显示设备，交互式增强现实体验使用户能够在真实世界物理环境中容易且快速地精确操纵虚拟内容。本公开的一个潜在优势在于，用户可以利用他们周围的真实世界物理对象、表面和几何形状来容易地将虚拟对象定位在他们的环境中。现在参考图1，提供了用于操纵所显示的虚拟对象的计算和显示设备的示例实现的示意图。在一个示例中，计算设备10被集成到头戴式显示器(HMD)设备18中。计算设备10可以包括虚拟对象操纵程序12，虚拟对象操纵程序12包括可以存储在大容量存储装置16中的指令。虚拟对象操纵程序12可以被加载到存储器20中并且由处理器22执行以执行本文中描述的一个或多个方法和过程。下面参考图21更详细地描述关于计算设备10的组件和计算方面的附加细节。HMD设备18可以创建并且向第一观看者24显示包括虚拟内容的增强现实环境。HMD设备18可以包括显示程序28，显示程序28生成这样的虚拟内容以用于经由HMD设备显示。虚拟内容可以包括虚拟对象30形式的一个或多个视觉元素，诸如三维(3D)全息对象和二维(2D)虚拟图像，这些视觉元素被生成并且显示为看起来位于通过该设备查看的真实世界物理环境32。以这种方式，HMD设备18可以创建增强现实环境，这种增强现实环境使观看者能够将这样的虚拟对象30感知到位于观看者周围的物理环境32内。如下面更详细讨论的，物理环境32可以包括具有诸如边缘、平面等物理特征34的物理对象。在一些示例中，HMD设备18可以包括被支撑在用户的一只或一双眼睛前面的至少部分透视显示器36，从而向用户提供他或她的周围环境的视图。可以使用任何合适的显示技术和配置来经由至少部分透视显示器36显示图像。例如，至少部分透视显示器36可以被配置为使得HMD设备18的佩戴者能够通过正在显示虚拟对象表示的一个或多个部分透明像素来观看物理环境中的物理真实世界对象。至少部分透视显示器36可以包括图像产生元件，诸如举例而言，透视有机发光二极管(OLED)显示器。作为另一示例，HMD设备18可以包括在一个或多个至少部分透视显示面板的边缘上的光调制器。在这个示例中，面板可以用作光导，以将来自光调制器的光传递到佩戴者的眼睛。这样的光导可以使佩戴者能够感知位于佩戴者正在观看的物理环境内的虚拟内容。在其他示例中，显示面板可以利用硅上液晶(LCOS)显示器。HMD设备18可以包括从物理环境32接收物理环境数据的各种传感器和相关系统。例如，HMD设备18可以包括生成深度图像数据的深度传感器系统38。深度传感器系统38可以包括从物理环境32捕获图像数据26的一个或多个深度相机。在一些示例中，(多个)深度相机可以是红外飞行时间深度相机。在其他示例中，(多个)深度相机可以采用结构化光深度相机的形式。可以使用任何合适的深度跟踪系统和技术。在一些示例中，HMD设备18可以包括光学传感器系统40，光学传感器系统40利用至少一个面向外的传感器本文档来自技高网...

【技术保护点】
1.一种用于操纵经由显示设备显示的虚拟对象的方法，所述方法包括：接收包括多个物理特征的真实世界物理环境的图像数据；使用所述图像数据，生成所述真实世界物理环境的至少一部分的三维模型；从所述图像数据中提取多个候选锚点特征，每个候选锚点特征对应于所述真实世界物理环境中的所述物理特征中的一个物理特征；接收操纵在所述真实世界物理环境内显示的所述虚拟对象的用户操纵输入，其中所述虚拟对象包括虚拟锚点特征；基于所述虚拟对象的所述操纵，标识所述虚拟对象的所述虚拟锚点特征与来自所述多个候选锚点特征的对应候选锚点特征之间的至少一个对应关系；以及基于标识所述至少一个对应关系，经由所述显示设备，在所述真实世界物理环境内的对应物理特征处显示所述对应候选锚点特征的指示。

【技术特征摘要】
【国外来华专利技术】2016.03.30 US 15/085,9051.一种用于操纵经由显示设备显示的虚拟对象的方法，所述方法包括：接收包括多个物理特征的真实世界物理环境的图像数据；使用所述图像数据，生成所述真实世界物理环境的至少一部分的三维模型；从所述图像数据中提取多个候选锚点特征，每个候选锚点特征对应于所述真实世界物理环境中的所述物理特征中的一个物理特征；接收操纵在所述真实世界物理环境内显示的所述虚拟对象的用户操纵输入，其中所述虚拟对象包括虚拟锚点特征；基于所述虚拟对象的所述操纵，标识所述虚拟对象的所述虚拟锚点特征与来自所述多个候选锚点特征的对应候选锚点特征之间的至少一个对应关系；以及基于标识所述至少一个对应关系，经由所述显示设备，在所述真实世界物理环境内的对应物理特征处显示所述对应候选锚点特征的指示。2.根据权利要求1所述的方法，还包括：基于接收用户选择输入，将所述虚拟对象的所述虚拟锚点特征与所述对应物理特征的所述对应候选锚点特征对准；以及显示其虚拟锚点特征与所述对应候选锚点特征对准的所述虚拟对象。3.根据权利要求2所述的方法，其中所述对应物理特征是在所述真实世界物理环境中的物理对象上找到的，所述方法还包括：当所述物理对象在所述真实世界物理环境中移动时，显示所述虚拟对象的对应移动，以使得所述虚拟对象的虚拟锚点特征保持与所述物理对象上的所述对应物理特征的所述对应候选锚点特征对准。4.根据权利要求2所述的方法，其中所述对应物理特征是在所述真实世界物理环境中的物理对象上找到的，并且所述虚拟对象被显示在所述真实世界物理环境中的虚拟对象位置处，所述方法还包括：当所述物理对象在所述真实世界物理环境中移动时，维持所述虚拟对象在所述虚拟对象位置处的显示。5.根据权利要求1所述的方法，还包括接收对来自所述多个物理特征的选定物理特征的用户预选输入，其中所述选定物理特征包括所述对应候选锚点特征的所述对应物理特征，并且其中标识所述至少一个对应关系还基于对所述选定物理特征的所述用户预选输入。6.一种用于操纵经由显示设备显示的虚拟对象的计算设备，所述计算设备包括：处理器；以及存储器，保存指令，所述指令由所述处理器可执...

【专利技术属性】
技术研发人员：B·努尔恩伯格，H·本科，A·威尔逊，E·奥菲克，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US