表面建模系统和方法技术方案

一种生成物理环境的表面模型的方法包括获得物理环境的图像。该方法还包括至少根据图像生成平面多边形网格。该方法还包括提取平面多边形网格的边界多边形。此外，该方法包括生成表面网格的边界多边形的凸包。另外，该方法包括根据凸包生成最小面积定向的边界多边形。该方法还可以包括在平面多边形网格的边界多边形之内生成最大面积定向的内部多边形。边形之内生成最大面积定向的内部多边形。边形之内生成最大面积定向的内部多边形。

【技术实现步骤摘要】
表面建模系统和方法
[0001]本申请是申请号为201780061454.1的中国专利申请“表面建模系统和方法”(申请日为2017年10月05日)的分案申请。


[0002]本公开涉及使用由移动相机系统捕获的图像进行的表面建模。

技术介绍

[0003]现代计算和显示技术促进了用于所谓的“虚拟现实”(“VR”)、“增强现实”(“AR”)和/或“混合现实”(“MR”)体验的系统的发展。这可以通过将计算机生成的图像通过头戴式显示器呈现给用户来完成。这个图像创建了让用户沉浸在模拟环境中的感觉体验。VR系统通常涉及呈现数字或虚拟图像信息而对实际的现实世界视觉输入不透明。
[0004]AR系统通常用模拟元素来补充真实世界环境。例如，AR系统可以通过头戴式显示器向用户提供周围现实世界环境的视图。计算机生成的图像也可以呈现在头戴式显示器上，以增强周围现实世界的环境。这个计算机生成的图像可以包括与周围的现实世界环境情境相关的元素。这些元素可以包括模拟文本、图像、对象等。MR系统还将模拟对象引入到现实世界环境中，但是这些对象通常具有比AR系统更大程度的交互性。
[0005]各种光学系统在各种深度处生成图像，用于显示VR/AR/MR场景。一些这样的光学系统在美国技术专利申请序列号14/555,585(代理人案卷号ML.20011.00)和14/738,877(代理人案卷号ML.20019.00)中描述，其内容之前已通过引用并入本文。
[0006]AR/MR场景通常包括呈现与现实世界对象相关的虚拟图像元素。例如，参考图1，描绘了AR/MR场景100，其中AR/MR技术的用户看到以背景中的人、树、建筑为特征的现实世界的公园状的设置102以及实体平台104。除了这些项目，AR/MR技术的用户还感觉他们“看到”站在现实世界的平台104上的机器人雕像106，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色108，尽管机器人雕像106和卡通式的头像角色108不存在于真实世界环境中。虽然图1示意性地描绘了AR/MR场景，但AR/MR场景的质量根据AR/MR系统的质量而变化。图1未描绘现有技术的AR/MR场景，而是描绘根据实施例的AR/MR场景。
[0007]大脑的可视化中心从双眼及其组成部分彼此相对的运动中获得有价值的感知信息。两只眼睛相对彼此的聚散运动(即瞳孔朝向或远离彼此以会聚眼睛的视线来注视对象的滚动运动)与眼睛晶状体的调节(或“聚焦”)密切相关。在正常情况下，调节眼睛，或者改变眼睛晶状体的焦点，以聚焦在不同距离处的对象，将会在被称为“调节聚散度反射(accommodation
‑
vergence reflex)”的关系下自动地引起在聚散度上的匹配改变而达到相同的距离。同样，在正常情况下，聚散度的改变将引发调节的匹配改变。与大多数传统的立体VR/AR/MR配置一样，知道对抗这种反射会在用户中产生眼睛疲劳、头痛或其它形式的不适。
[0008]立体可穿戴眼镜通常具有两个显示器
‑
一个用于左眼，一个用于右眼
‑
两个显示器被配置为显示具有略微不同的元素呈现的图像，以使得人类视觉系统感知到三维视角。已
经发现这样的配置对于许多用户来说是不舒服的，因为存在聚散和调节之间的不匹配(“聚散
‑
调节冲突”)，必须克服该不匹配以在三维中感知图像。实际上，一些用户不能容忍立体配置。这些限制适用于VR、AR和MR系统。因此，大多数传统的VR/AR/MR系统并非最适合于以对用户来说舒适且最大程度有用的方式呈现丰富的双眼三维体验，部分原因是现有系统未能解决一些人类感知系统的基本方面，包括聚散
‑
调节冲突。
[0009]诸如美国技术专利申请序列号14/555,585(代理人案卷号ML.20011.00)中描述的VR/AR/MR系统通过使用一个或多个光导光学元件在用户的眼睛处投射光，使得光和由光渲染的图像看起来源自多个深度平面，来解决聚散
‑
调节冲突。光导光学元件被设计成将与数字或虚拟对象对应的虚拟光进行内耦合，通过全内反射(“TIR”)传播，然后将虚拟光进行外耦合，以将虚拟对象显示给用户的眼睛。在AR/MR系统中，光导光学元件还被设计成对来自(例如，反射离开)实际现实世界对象的光是透明的。因此，光导光学元件的多个部分被设计成反射虚拟光以便通过TIR传播，同时对来自AR/MR系统中的现实世界对象的现实世界光透明。
[0010]为了实现多个光导光学元件系统，来自一个或多个光源的光必须可控地分布到每个光导光学元件系统。利用以相对高的速率(例如，360Hz或1KHz)渲染的虚拟图像数据对光进行编码，以提供逼真的3D体验。以这样的速度和高分辨率操作(例如，渲染虚拟内容)的当前图形处理单元(“GPU”)消耗大量功率(相对于便携式电池的容量)并且产生可能对于佩戴AR/MR系统的用户不舒服的热量。
[0011]AR/MR场景通常包括虚拟对象与现实世界物理环境之间的交互(例如，站在图1中的现实世界平台104上的机器人雕像106)。类似地，一些VR场景包括完全虚拟对象与其他虚拟对象之间的交互。
[0012]通过限定那些交互的边界(mete)和界限(bound)(例如，通过限定物理环境中的特定表面的范围)，在物理环境中描绘表面有助于与虚拟对象的交互。例如，如果AR/MR场景包括从物理环境中的特定表面延伸的虚拟对象(例如，触手或拳头)，则限定表面的范围允许AR/MR系统呈现更逼真的AR/MR场景。在一个实施例中，如果表面的范围未被限定或不准确地限定，则虚拟对象可能看起来部分地或完全地从邻近表面的空中而不是从表面延伸。在另一个实施例中，如果AR/MR场景包括在物理环境中的特定水平表面上行走的虚拟角色，则不准确地限定表面的范围可能导致虚拟角色看起来离开表面行走而不会掉落，而是漂浮在半空中。
[0013]为了促进虚拟对象与现实世界的物理环境之间的交互，各种AR/MR系统利用基准标记(参见图2的ArUco标记200)来为在其上放置基准标记的现实世界的物理表面提供位置和方向(即，姿势)信息。然而，ArUco标记200不提供与物理表面的范围有关的任何信息。此外，很少有应用或情况适合将ArUco 200标记放置在现实世界的物理环境中的一个或多个表面上。例如，ArUco标记200可以通过要求将可见标记放置在该表面上来改变表面的美感。
[0014]虽然一些VR/AR/MR系统可以生成多边形网格以描绘和/或表示物理环境中的表面，但是这样的多边形网格可以提供太多信息以促进虚拟对象与现实世界物理环境使用之间的交互。例如，VR/AR/MR系统将需要进一步处理多边形网格，用于例如模拟物理碰撞、模拟静止接触和各种照明效果(例如，阴影和反射)的各种应用/功能/过程。以足够的速度和分辨率针对这些各种应用/功能/过程对于多边形网格进一步处理以实现逼真、可信和/或
可通行的VR/AR/MR体验可能需要许多处理器周期。处理器相关要求可以反过来对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成物理环境的表面模型的计算机实现的方法，所述方法包括：计算机处理器至少根据所述物理环境的图像来生成平面多边形网格；所述计算机处理器从所述平面多边形网格中提取边界多边形；所述计算机处理器生成所述边界多边形的凸包；以及所述计算机处理器根据所述凸包生成最小面积定向的边界多边形MAOBP，所述最小面积定向的边界多边形MAOBP包括包含所述凸包和所述边界多边形的多边形。2.根据权利要求1所述的方法，还包括：所述计算机处理器通过以下操作来获得所述物理环境的所述图像：所述计算机处理器使用成像设备获得与所述物理环境对应的3
‑
D点云，以及所述计算机处理器获得所述成像设备的姿势信息；以及所述计算机处理器使用所述姿势信息计算所述3
‑
D点云的截断符号距离函数，其中，生成所述平面多边形网格包括细分所述截断符号距离函数。3.根据权利要求2所述的方法，还包括：所述计算机处理器将两个较小的平面多边形网格组合成一个较大的平面多边形网格。4.根据权利要求1所述的方法，还包括：所述计算机处理器获得重力矢量，其中，所生成的平面多边形网格是与所述重力矢量基本平行和正交中的一个。5.根据权利要求1所述的方法，其中，生成所述凸包包括：所述计算机处理器使用格雷厄姆扫描算法。6.根据权利要求1所述的方法，其中，生成所述最小面积定向的边界多边形MAOBP包括：所述计算机处理器使用旋转卡尺算法。7.根据权利要求1所述的方法，还包括：所述计算机处理器生成被完全包含在所述边界多边形之内的最大面积定向的内部多边形MAOIP。8.根据权利要求7所述的方法，其中，生成所述最大面积定向的内部多边形MAOIP包括：所述计算机处理器在由所述边界多边形限定的搜索区域中执行搜索，以及其中，生成所述最大面积定向的内部多边形包括：在所述搜索区域中形成栅格，所述方法还包括：基于所述搜索区域的大小来调整所述栅格的分辨率。9.根据权利要求7所述的方法，还包括：所述计算机处理器接收对在所述平面多边形网格的所述边界多边形之内的点的选择，其中，生成所述最大面积定向的内部多边形MAOIP包括：在使用所选择的点限定的搜索区域中执行搜索，以及在所述搜索区域中形成栅格；以及所述计算机处理器基于所述搜索区域的大小来调整所述栅格的分辨率，其中，生成所述最大面积定向的内部多边形MAOIP包括：所述计算机处理器在所述搜索区域中形成栅格。10.根据权利要求7所述的方法，其中，所述最小面积定向的边界多边形MAOBP和所述最大面积定向的内部多边形MAOI...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：