使用预先计算的光照构建增强现实环境制造技术

涉及使用全局光照效果高效地构建增强现实环境的实施例被公开。例如，一个公开的实施例提供了一种通过显示设备显示增强现实图像的方法。该方法包括接收图像数据，该图像数据捕获显示设备的局部环境的图像；以及通过该图像数据标识局部环境的物理特征。该方法进一步包括构建从用户的视角与物理特征在空间上配准、用于显示在物理特征上的虚拟结构的增强现实图像，该增强现实图像包括被布置在相邻的位置以形成虚拟结构特征的多个模块化的虚拟结构片段，每个模块化的虚拟结构片段包括预先计算的全局光照效果；以及输出该增强现实图像到该显示设备。

【技术实现步骤摘要】
用于使用预先计算的光照构建增强现实环境的方法
本公开涉及用于使用预先计算的光照构建增强现实环境的方法和设备。
技术介绍
增加逼真的光照和阴影到诸如虚拟视频游戏环境的虚拟环境中，可能在运算量上是昂贵的。同样地，供在玩视频游戏期间使用的用于光照效果的渲染时间会可能是不可接受的长。例如，在虚拟环境中编码逼真光照(例如，全局照明)和阴影(“光地图”)的纹理地图的创建将可能花费几个小时，或甚至几天来计算。因此，这种光照效果通常在虚拟环境开发期间为虚拟环境预先计算，而不是在玩游戏期间实时计算。动态光照和阴影将会被计算的更快。然而，动态光照的视觉质量可能远远低于预先计算的光照效果的视觉质量。此外，动态光照在运行时可能使用大量的资源。
技术实现思路
涉及使用全局光照效果高效地构建增强现实环境的多个实施例被公开。例如，一个公开的实施例提供了一种通过显示设备显示增强现实图像的方法。该方法包括接收捕获显示设备的局部环境的图像的图像数据；以及通过该图像数据标识局部环境的物理特征。该方法进一步包括构建用于从用户的视角与物理特征在空间上配准地显示在物理特征上的虚拟结构的增强现实图像，该增强现实图像包括被布置在相邻的位置来形成虚拟结构特征的多个模块化的虚拟结构片段，每个模块化的虚拟结构片段包括预先计算的光照效果；以及输出该增强现实图像到该显示设备。本
技术实现思路
被提供来以简化的形式介绍概念的选择，其将在下文的具体实施方式中进一步描述。本
技术实现思路
并不意图确定被要求的主题的关键特征或必要特征，也不意图用来限制被要求的主题的范围。此外，被要求的主题不限于解决在本公开的任意部分指出的任意或所有的缺点的实现。附图说明图1示出了在一个示例使用环境中的透视(see-through)显示设备的示例性实施例。图2示出了图1的示例使用环境中的增强现实图像的实施例。图3示出了模块化的虚拟结构片段集合的示例性实施例。图4示出了被应用到一个模块化的虚拟结构片段的部分的预先计算的光照效果的示意描述。图5A图示了增加动态点光效果到图2的增强现实图像中，而图5B图示了在具有预先计算的光照效果的一个模块化的虚拟结构片段的部分上的动态点光效果的效果示例。图6示出了描述用于构建适应于检测的物理环境的虚拟环境的方法的实施例的流程图。图7示出了透视显示设备的示例性实施例的框图。图8示出了计算系统的示例实施例的框图。具体实施方式如上文提到的，用于虚拟环境的逼真光照效果通常是在虚拟环境被构建好之后预先被计算，然后被存储，例如，被存储为用于虚拟环境的光地图。这种虚拟环境一般使用固定的几何形状来建造，而所述固定的几何形状不适应于用户的周围环境。相反，增强现实显示系统可被配置以使虚拟图像适应于用户的周围环境。例如，增强现实视频游戏可使得游戏中的虚拟结构适于用户的物理环境的相应的物理结构。因此，增强现实图像对象的几何形状可基于用户的物理环境而改变。由于使得增强现实环境适于物理环境在实时使用期间发生，如果高质量的光照效果在环境被创建后被应用到该环境上，那么该光照计算也将在此时发生。然而，如果在将增强现实图像适于物理环境之后用于增强现实环境的这种光照效果被计算，那么取决于用于计算光照效果的特定计算系统，由于应用逼真光照效果的计算花费，用户可能不得不等待几个小时到几天来经历增强现实体验。这会导致慢得不可接受的用户体验。进一步地，在这么长的延迟期间物理环境的外观可能会变化。这会导致现实世界和虚拟世界之间的不匹配，其可能显著地影响增强现实体验。作为一个可能的解决方案，动态光照可被用来代替预先计算的光照效果用于增强现实环境。然而，如上文提到的，动态光照比预先计算的光照可能具有更低的质量，因此可能不提供同样好的用户体验。此外，动态光照在运行时在运算量上是昂贵的，这可能减少诸如其他视觉和玩游戏的体验的其他方面的计算预算。因此，此处公开的实施例涉及用高质量的预先计算的光照效果来高效构建增强现实环境，其适于局部物理环境的几何形状。简要地，该公开的实施例使用模块化的虚拟结构片段，所述结构片段可被布置在互相相邻的位置以为增强现实图像形成虚拟结构，其中该模块化的虚拟结构片段包括高质量的预先计算的光照效果。由于光照效果为每个模块化的虚拟结构片段预先计算，该光照效果将会被包括在经由模块化的虚拟结构片段构造的虚拟结构中。进一步地，在一些实施例中，局部光照特征可被检测，并被用于调节模块化的虚拟结构片段的外观。这种局部光照特征的示例可包括但不限于：局部物理环境中的颜色特征以及光源的位置。图1示出了用于增强现实显示系统的使用环境100的以起居室的形式的示例性实施例。用户102被示出为通过透视显示设备104观察该起居室。图1也描述了用户的视野103，其代表通过透视显示设备104可见的环境的一部分，因此该环境的该部分可通过透视显示设备104显示的图像被增强。在一些实施例中，用户的视野103基本上与用户的实际视野同延(coextensive)，而在其他实施例中，用户的视野103占据了用户的实际视野的更少的部分。将在下文更详细地描述的是，透视显示设备104可包括一个或多个朝向外面的图像传感器(例如，二维相机和/或深度相机)，其被配置以当用户走过环境时获取表示使用环境100的图像数据(例如，彩色/灰度图像，深度图像/点云数据/网格数据等等)。该图像数据可被用来获得关于诸如天花板106和墙壁108的环境的布局和其结构特征以及其他特征的信息。透视显示设备104进一步被配置来在经过通过设备可见的物理对象上放叠加显示的虚拟对象以创建增强现实图像。例如，参考图2，示例增强现实图像被示出，其中诸如虚拟的墙壁立柱202，顶梁204等等的虚拟的房间框架结构200被显示为用户的墙壁上的叠层(overlay)。诸如管道206、导管/电缆等等的基础设施图像以及任何其他适当的虚拟结构同样可被显示。类似的结构(未示出)同样可为天花板被显示。此外，图像可被显示对应于房间中的家具或其他非结构化对象，并被显示为占据房间中的空的空间。需要理解的是为了更完整地说明增强现实环境，图2中描述的增强现实图像并不限于图1中示出的用户的视野。图2的虚拟墙壁框架结构在几何上适于下面的物理结构(例如，墙壁108)。由于每个用户的局部物理环境很可能不同，用于每个玩家的局部物理环境的整个虚拟结构在获取局部物理环境的图像数据(例如，立体深度图像数据，结构化光图像数据，飞行时间(time-of-flight)图像数据或其他深度图像数据)后被构建，而不是被预先设计。如此，如果全局光照效果在虚拟结构被构建之后被应用到该虚拟结构，那么在活动能够被玩之前，玩家可能被迫要等待不期望的长时间，并且在游戏期间可被限制改变环境(例如，走到不同的房间)，因为建造并应用光照到新的环境可能花费不适宜的长时间段。因此，如上面提到的，虚拟结构200由带有预先计算的光照效果的模块化的虚拟结构片段集合组装而成，其中模块化的虚拟结构片段的实例可被布置在互相相邻的位置并被处理(例如，旋转、缩放等等)来形成统一的虚拟结构的外观。图3示出了模块化的虚拟结构片段集合300的示例性实施例，其包括墙壁立柱片段302，带有相连接管道的墙壁立柱片段304，带有水平管道的墙壁立柱片段306，一对门框架片段308，310，以及一对窗本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在显示设备中显示包括光照效果的增强现实图像的方法(600)，所述方法(600)包括：接收(602)图像数据，所述图像数据捕获所述显示设备的局部环境的图像；通过所述图像数据标识(606)所述局部环境的物理特征；构建(622)从用户的视角与所述物理特征在空间上配准、用于显示在所述物理特征上的虚拟结构的增强现实图像，所述增强现实图像包括被布置在相邻的位置以形成虚拟结构特征的多个模块化的虚拟结构片段，每个模块化的虚拟结构片段包括预先计算的全局光照效果；通过所述图像数据标识所述局部环境的光照特征；基于所述局部环境的所述光照特征调节所述多个模块化的虚拟结构片段的外观；以及输出(640)所述增强现实图像到所述显示设备。2.根据权利要求1所述的方法，其中标识所述局部环境的物理特征包括执行对所述局部环境的网格分析。3.根据权利要求1所述...

【专利技术属性】
技术研发人员：J·斯蒂德，A·克劳斯，M·斯卡维泽，张炜，A·汤姆林，T·安布鲁斯，B·芒特，S·拉塔，R·哈斯汀斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：