在增强/虚拟现实环境中的智能对象大小调整和布置制造技术

在用于在周围环境的三维虚拟模型中智能放置虚拟对象并且调整虚拟对象的大小的系统中，所述系统可以收集所述周围环境的图像信息和特征信息，并且可以处理所收集到的信息以渲染三维虚拟模型。通过所述收集到的信息，所述系统可以在所述虚拟模型中限定多个置放目标区域，所述置放目标区域中的每个置放目标区域具有相关联的尺寸参数、纹理参数、和定向参数。当在所述虚拟模型中放置虚拟对象或者在所述虚拟模型中放置用于启动应用的虚拟窗口时，所述系统可以选择所述虚拟对象或者虚拟窗口的放置，并且基于与所述多个置放目标相关联的所述参数来设置所述虚拟对象或者虚拟窗口的大小调整。

【技术实现步骤摘要】
【国外来华专利技术】在增强/虚拟现实环境中的智能对象大小调整和布置相关申请的交叉引用本申请是2016年12月21提交的美国申请序列号No.15/386,854的继续申请并且要求其优先权，该申请要求2016年3月7日提交的美国临时申请No.62/304,700的优先权，其公开内容通过引用的方式并入本文。本申请要求2016年3月7日提交的美国临时申请No.62/304,700的优先权，其公开内容通过引用的方式并入本文。
本申请大体上涉及在虚拟现实和/或增强现实环境中的对象大小调整和放置。
技术介绍
增强现实(AR)系统和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式增强/虚拟现实环境。用户可以通过与各种电子装置的交互来体验该虚拟环境。例如，头盔或者包括显示器、用户在查看显示装置时或者在查看周围环境时使用的眼镜或者护目镜的其它头戴式装置可以提供待由用户体验的虚拟环境的音频和视觉元素。用户可以移动虚拟环境中的虚拟元素以及通过例如，手/手臂姿势、操纵可操作地耦合至头戴式装置的外部装置(诸如，例如，手持式控制器、适配有传感器的手套、以及其它这种电子装置)来与虚拟环境中的虚拟元素进行交互。
技术实现思路
在一个方面中，一种方法可以包括：利用计算装置的一个或者多个光学传感器来捕获周围环境的特征信息；通过计算装置的处理器基于捕获到的特征信息来生成周围环境的三维虚拟模型；通过处理器处理捕获到的特征信息和三维虚拟模型以在三维虚拟模型中限定多个虚拟置放目标，该多个虚拟置放目标分别与多个置放区域相关联；通过计算装置接收将虚拟对象放置在三维虚拟模型中的请求；通过计算装置基于虚拟对象的属性和多个虚拟置放目标的特性来选择多个虚拟置放目标中用于将虚拟对象放置在三维虚拟模型中的虚拟置放目标；通过计算装置基于选择的虚拟置放目标的特性来调整虚拟对象的大小；以及将调整过大小的虚拟对象显示在显示的三维虚拟模型中的选择的置放虚拟目标处。在另一方面中，一种包含在非暂时性计算机可读介质上的计算机程序产品，计算机可读介质存储有指令序列。指令在由处理器执行时可以使处理器执行方法，该方法包括：利用计算装置的一个或者多个光学传感器来捕获周围环境的特征信息；通过计算装置的处理器基于捕获到的特征信息来生成周围环境的三维虚拟模型；通过处理器处理捕获到的特征信息和三维虚拟模型以在三维虚拟模型中限定多个虚拟置放目标，该多个虚拟置放目标分别与多个置放区域相关联；通过计算装置接收将虚拟对象放置在三维虚拟模型中的请求；通过计算装置基于虚拟对象的属性和多个虚拟置放目标的特性来选择多个虚拟置放目标中用于将虚拟对象放置在三维虚拟模型中的虚拟置放目标；通过计算装置基于选择的虚拟置放目标的特性来调整虚拟对象的大小；以及将调整过大小的虚拟对象显示在显示的三维虚拟模型中的选择的置放虚拟目标处。在另一方面中，一种计算装置可以包括：存储器，该存储器存储可执行指令；以及处理器，该处理器被配置为执行指令。这些指令可以使计算装置：捕获周围环境的特征信息；基于捕获到的特征信息来生成周围环境的三维虚拟模型；处理捕获到的特征信息和三维虚拟模型以限定与在三维虚拟模型中识别到的多个置放区域相关联的多个虚拟置放目标；接收将虚拟对象包括在三维虚拟模型中的请求；选择多个虚拟置放目标中用于将虚拟对象放置在三维虚拟模型中的虚拟置放目标，并且基于选择的虚拟置放目标的特性和先前存储的标准以及与虚拟对象相关联的功能属性来自动调整要放置在虚拟置放目标处的虚拟对象的大小；以及将调整过大小的虚拟对象显示在显示的三维虚拟模型中的选择的虚拟置放目标处。在附图和下面的描述中阐述了一种或者多种实施方式的细节。其它特征将通过描述和附图以及权利要求书而变得显而易见。附图说明图1A至图1G图示了根据如本文描述的实施方式的在增强现实系统和/或虚拟现实系统中的智能对象大小调整和放置的示例实施方式。图2图示了根据如本文描述的实施方式的由增强现实系统和/或虚拟现实系统生成的示例虚拟工作站。图3A至图3E图示了根据如本文描述的实施方式的在增强现实系统和/或虚拟现实系统中的智能对象大小调整和放置的示例实施方式。图4是根据如本文描述的实施方式的包括头戴式显示器装置和控制器的增强现实/虚拟现实系统的示例实施方式。图5A至图5B是根据如本文描述的实施方式的示例头戴式显示器装置的透视图。图6是根据如本文描述的实施方式的头戴式电子装置和控制器的框图。图7是根据如本文描述的实施方式的在增强现实系统和/或虚拟现实系统中的智能对象大小调整和放置的方法的流程图。图8示出了可以用于实施本文描述的技术的计算机装置和移动计算机装置的示例。具体实施方式用户可以体验由例如，头戴式显示器(HMD)装置生成的增强现实环境或者虚拟现实环境。例如，在一些实施方式中，HMD可以阻挡周围环境，使得由HMD生成的虚拟环境为完全沉浸式的，用户的视野被限于由HMD生成并且在HMD内包括的显示器上显示给用户的虚拟环境。在一些实施方式中，这种类型的HMD可以捕获与周围环境有关的三维(3D)图像信息和周围环境的真实世界特征以及其中的对象，以及在显示器上显示周围环境的渲染图像，有时与虚拟图像或者对象一起显示，使得用户可以在处于虚拟环境时维持某一水平的态势感知。在一些实施方式中，这种类型的HMD可以允许转发由HMD的成像装置捕获到的待在HMD的显示器上显示的图像以维持态势感知。在一些实施方式中，HMD的至少某一部分可以是透明或者半透明的，虚拟图像或者对象显示在HMD的其它部分上，使得周围环境的部分通过HMD至少部分可见。用户可以通过例如，由HMD检测的手/手臂姿势、移动和/或操纵HMD本身、操纵外部电子装置等来与由HMD生成的虚拟环境中的不同应用和/或虚拟对象进行交互。根据本文描述的实施方式的系统和方法可以生成周围环境或者现实世界空间的3D模型，并且经由HMD来将该3D模型与虚拟元素、对象、应用等一起显示给用户。这可以允许用户在沉浸在增强/虚拟现实环境中的同时在周围环境中移动，并且在沉浸在由HMD生成的增强/虚拟现实环境中的同时维持态势感知。根据本文描述的实施方式的系统和方法可以使用来自周围环境的这种类型的3D模型的生成的信息来促进对由HMD生成的增强现实/虚拟现实对象的智能大小调整和/或放置。这些对象可以包括：例如，运行应用的二维窗口，可以调整该二维窗口的大小并且将其定位在增强/虚拟现实环境中以促进用户交互。将针对以下情况来描述在图1A至图1E中示出的示例实施方式：用户穿戴着基本上阻挡周围环境的HMD，使得HMD生成虚拟环境，用户的视野被限于由HMD生成的虚拟环境。然而，下面针对图1A至图1E描述的概念和特征还可以应用于其它类型的HMD以及如上所述的其它类型的虚拟现实环境和增强现实环境。在图1A中示出的示例实施方式是用户穿戴着HMD100，面向限定了用户的当前周围环境150或者当前现实世界空间的房间的第三人视角。HMD100可以捕获图像和/或收集限定周围环境150中的真实世界特征的信息。然后，HMD100可以处理由HMD100收集到的图像和信息以渲染并且显示周围环境的150的3D模型150B。例如，可以在HMD100的显示器上将3D渲染模型150B显示给用户并且由用户查看。仅为了便于讨论和说明，在图1B中，将3D本文档来自技高网...

【技术保护点】
1.一种方法，包括：利用计算装置的一个或者多个光学传感器来捕获周围环境的特征信息；通过所述计算装置的处理器基于所捕获到的特征信息来生成所述周围环境的三维虚拟模型；通过所述处理器处理所捕获到的特征信息和所述三维虚拟模型以在所述三维虚拟模型中限定多个虚拟置放目标，所述多个虚拟置放目标分别与多个置放区域相关联；通过所述计算装置接收将虚拟对象放置在所述三维虚拟模型中的请求；通过所述计算装置基于所述虚拟对象的属性和所述多个虚拟置放目标的特性来选择所述多个虚拟置放目标中用于将所述虚拟对象放置在所述三维虚拟模型中的虚拟置放目标；通过所述计算装置基于所选择的虚拟置放目标的所述特性来调整所述虚拟对象的大小；以及将调整过大小的虚拟对象显示在所显示的三维虚拟模型中的所选择的置放虚拟目标处。

【技术特征摘要】
【国外来华专利技术】2016.03.07 US 62/304,700;2016.12.21 US 15/386,8541.一种方法，包括：利用计算装置的一个或者多个光学传感器来捕获周围环境的特征信息；通过所述计算装置的处理器基于所捕获到的特征信息来生成所述周围环境的三维虚拟模型；通过所述处理器处理所捕获到的特征信息和所述三维虚拟模型以在所述三维虚拟模型中限定多个虚拟置放目标，所述多个虚拟置放目标分别与多个置放区域相关联；通过所述计算装置接收将虚拟对象放置在所述三维虚拟模型中的请求；通过所述计算装置基于所述虚拟对象的属性和所述多个虚拟置放目标的特性来选择所述多个虚拟置放目标中用于将所述虚拟对象放置在所述三维虚拟模型中的虚拟置放目标；通过所述计算装置基于所选择的虚拟置放目标的所述特性来调整所述虚拟对象的大小；以及将调整过大小的虚拟对象显示在所显示的三维虚拟模型中的所选择的置放虚拟目标处。2.根据权利要求1所述的方法，捕获周围环境的特征信息包括：捕获所述周围环境中的物理对象的图像、捕获所述周围环境的物理边界以及捕获与所述周围环境中的所述物理对象相关联的深度数据。3.根据权利要求1所述的方法，处理所捕获到的特征信息和所述三维虚拟模型以在所述虚拟模型中限定分别与多个置放区域相关联的多个虚拟置放目标包括：检测所述三维虚拟模型中与所述周围环境中的多个物理置放区域对应的多个虚拟置放区域；以及检测与所述虚拟模型中的所述多个虚拟置放区域相关联的多个特性。4.根据权利要求3所述的方法，检测与所述多个虚拟置放区域相关联的多个特性包括：检测所述多个物理置放区域中的每个物理置放区域的平面性、一个或者多个尺寸、面积、定向、一个或者多个角落、一个或者多个边界、轮廓或者表面纹理中的至少一个；以及将所检测到的在所述周围环境中的所述多个物理置放区域中的每个物理置放区域的特性与所述虚拟模型中的所述多个虚拟置放区域中的对应虚拟置放区域相关联。5.根据权利要求4所述的方法，选择用于将所述虚拟对象放置在所述三维虚拟模型中的虚拟置放目标包括：检测所述虚拟对象的功能属性和大小调整属性；将所检测到的所述虚拟对象的功能属性和大小调整属性和与所述多个虚拟置放区域中的每个虚拟置放区域相关联的所述特性相比较；以及基于所述比较来将所述虚拟对象与所述多个虚拟置放目标中与所述多个虚拟置放区域中的一个虚拟置放区域对应的一个虚拟置放目标相匹配。6.根据权利要求5所述的方法，基于所选择的虚拟置放目标的特性来调整所述虚拟对象的大小并且将调整过大小的虚拟对象显示在所显示的三维虚拟模型中的所选择的虚拟置放目标处包括：基于所述虚拟对象的所述功能属性和与所述多个虚拟置放目标中与所述多个虚拟置放区域中的所述一个虚拟置放区域对应的所述一个虚拟置放目标相关联的可用虚拟面积来调整所述虚拟对象的大小。7.根据权利要求1所述的方法，其中，所述虚拟对象是应用窗口，以及其中，基于所选择的虚拟置放目标的特性来调整所述虚拟对象的大小并且将调整过大小的虚拟对象显示在所显示的三维虚拟模型中的所选择的虚拟置放目标处包括：选择所述多个虚拟置放目标中与所述多个虚拟置放区域中的垂直置放区域对应的虚拟置放目标，所述垂直置放区域与具有所述周围环境中的所述多个物理置放区域的最大垂直定向的平面表面面积的垂直定向的平面表面对应；以及基于所述垂直置放区域的所述平面表面面积来调整用于在所选择的虚拟置放目标处显示的所述应用窗口的大小。8.根据权利要求1所述的方法，其中，所述虚拟对象是虚拟用户输入界面，以及其中，基于所选择的虚拟置放目标的特性来调整所述虚拟对象的大小并且将调整过大小的虚拟对象显示在所显示的三维虚拟模型中的所选择的虚拟置放目标处包括：选择所述多个虚拟置放目标中与所述多个虚拟置放区域中的水平置放区域对应的虚拟置放目标，所述水平置放区域与具有所述周围环境中被定位并且大小被调整为容纳所述虚拟用户输入界面的平面表面面积的水平定向的平面表面对应；以及基于所述水平置放区域的所述平面表面面积来调整用于在所选择的虚拟置放目标处显示的所述虚拟用户输入界面的大小。9.根据权利要求1所述的方法，其中，所述虚拟对象包括至少一个虚拟显示屏幕和至少一个虚拟用户输入界面，以及其中，基于所选择的虚拟置放目标的特性来调整所述虚拟对象的大小并且将调整过大小的虚拟对象显示在所显示的三维虚拟模型中的所选择的虚拟置放目标处包括：选择与垂直置放区域对应的第一虚拟置放目标，所述垂直置放区域由所述周围环境中具有与所述至少一个虚拟显示屏幕的虚拟显示面积对应的面积的垂直定向的平面表面限定；选择与由所述周围环境中的水平定向的平面表面限定的水平置放区域对应的第二虚拟置放目标，与所述第二虚拟置放目标对应的所述水平置放区域与和所述第一虚拟置放目标对应的所述垂直置放区域相邻；基于所述垂直置放区域的所述平面表面面积来调整用于在所述第一虚拟置放目标处显示的所述至少一个虚拟显示屏幕的大小；基于所述水平置放区域的所述平面表面面积来调整用于在所述第二虚拟置放目标处显示的所述至少一个虚拟用户输入界面的大小；以及将调整过大小的至少一个虚拟显示屏幕显示在所述垂直置放区域中并且将调整过大小的至少一个虚拟用户输入界面显示在所述水平置放区域中。10.根据权利要求1所述的方法，进一步包括：检测用户相对于分别与所述多个置放区域相关联的所述多个虚拟置放目标的位置；基于所检测到的所述用户相对于所述多个置放目标的位置来从所述多个置放目标中选择虚拟置放目标；基于所选择的虚拟置放目标的特性和所述一个或者多个虚拟对象的功能属性来选择要在所选择的虚拟置放目标处显示给所述用户的一个或者多个虚拟对象；以及将所选择的一个或者多个虚拟对象显示在所选择的虚拟置放目标处。11.一种实现在非暂时性计算机可读介质上的计算机程序产品，所述计算机可读介质上存储有指令序列，所述指令序列在由处理器执行时使所述处理器执行方法，所述方法包括：利用计算装置的一个或者多个光学传感器来捕获周围环境的特征信息；通过所述计算装置的处理器基于所捕获到的特征信息来生成所述周围环境的三维虚拟模型；通过所述处理器处理所捕获到的特征信息和所述三维虚拟模型以在所述三维虚拟模型中限定多个虚拟置放目...

【专利技术属性】
技术研发人员：亚历山大·詹姆斯·法堡，曼纽尔·克里斯蒂安·克莱蒙特，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US