使用平面提取的简单环境求解器制造技术

提供了一种重建环境的方法。该方法为各种XR应用提供环境的新鲜和准确的3D重建数据，以短的处理时间且低的计算资源和存储空间使用率。3D重建数据被构造为在用户之间有效共享，以实现多用户体验。该方法包括获得环境的平面片段，通过例如对平面片段进行过滤和分组或用户对平面片段的特殊选择来识别环境的表面平面，以及基于表面平面来推断环境的拐角点。当XR应用需要时，拐角点用于构建环境的3D表示。拐角点用于构建环境的3D表示。拐角点用于构建环境的3D表示。

【技术实现步骤摘要】
【国外来华专利技术】使用平面提取的简单环境求解器


[0001]本申请总体上涉及使用3D世界重建来渲染场景的交叉现实系统。

技术介绍

[0002]计算机可以控制人类用户接口以创建X现实(XR或交叉现实)环境，在该环境中，由计算机生成被用户所感知(perceive)的XR环境的部分或全部。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中XR环境的部分或全部可以由计算机部分地使用描述该环境的数据生成。该数据可以描述例如虚拟对象，该虚拟对象可以以用户感应(sense)或感知为物理世界的一部分并且可以与虚拟对象交互的方式来渲染。由于数据是通过用户接口设备(例如，头戴式显示设备)渲染和呈现的，因此用户可能体验到这些虚拟对象。数据可以显示给用户看，或者可以控制播放给用户听的音频，或者可以控制感触(tactile)(或触觉(haptic))接口，从而使用户能够体验到用户感应或感知到感觉虚拟对象的触摸感觉。
[0003]XR系统可对许多应用很有用，跨越科学可视化、医学培训、工程设计和原型制作、远程操纵和远程呈现以及个人娱乐等领域。与VR相比，AR和MR包括一个或多个与物理世界的真实对象相关的虚拟对象。虚拟对象与真实对象交互的体验极大地增强了用户使用XR系统的乐趣，也为各种应用打开了大门，这些应用呈现了关于如何改变物理世界的现实且易于理解的信息。
[0004]XR系统可以将系统的用户周围的物理世界表示为“网格”。网格可以由多个相互连接的三角形表示。每个三角形具有连接物理世界内的对象的表面上的点的边，使得每个三角形表示表面的一部分。关于表面的一部分的信息(例如颜色、纹理或其他属性)可以关联地存储在三角形内。在操作中，XR系统可以处理图像信息以检测点和表面，从而创建或更新网格。

技术实现思路

[0005]本申请的方面涉及用于快速生成包含计算机生成对象的环境的方法和设备。如本文所述的技术可以一起、单独或以任何合适的组合使用。
[0006]一些实施例涉及一种便携式电子系统。所述便携式电子系统包括：传感器和处理器，传感器被配置为捕获关于物理世界的信息，处理器被配置为执行计算机可执行指令以至少部分地基于所捕获的关于所述物理世界的信息来计算所述物理世界的部分的三维3D表示。所述计算机可执行指令包括用于以下的指令：从传感器捕获的信息中提取多个平面片段；至少部分地基于所述多个平面片段，识别多个表面平面；以及至少部分地基于所述多个表面平面，推断所述物理世界的所述部分的多个拐角点。
[0007]在一些实施例中，所述计算机可执行指令还包括用于以下的指令：使用所述拐角点来构建所述物理世界的所述部分的网格模型。
[0008]在一些实施例中，所述多个表面平面是至少部分地基于来自佩戴所述便携式电子
系统的至少一部分的用户的输入来识别的。
[0009]在一些实施例中，所述便携式电子系统包括收发器，所述收发器被配置用于通过计算机网络与提供远程存储器的设备进行通信。
[0010]在一些实施例中，所述处理器实现被配置为向应用提供所述物理世界的所述部分的所述3D表示的服务。
[0011]在一些实施例中，所述服务将所述拐角点保存在本地存储器中或将所述拐角点传送到云存储器作为所述物理世界的所述部分的所述三维3D表示。
[0012]在一些实施例中，识别所述多个表面平面包括：确定在所述多个平面片段的平面片段法线组之中是否存在主要平面片段法线；当所述确定指示所述组中的主要平面片段法线时，将所述主要平面片段法线设置为表面平面法线；以及当所述确定指示没有所述组中的主要平面片段法线时，根据所述组中的所述平面片段法线中的至少一部分计算所述表面平面法线。
[0013]在一些实施例中，计算所述表面平面法线包括：计算所述组中的所述平面片段法线中的至少一部分的加权平均。
[0014]在一些实施例中，推断所述物理世界的所述部分的所述多个拐角点包括：将所述多个表面平面中的第一表面平面和第二表面平面延伸到无穷；以及获得与所述第一表面平面和所述第二表面平面相交的边界线。
[0015]在一些实施例中，推断所述物理世界的所述部分的多个拐角点还包括：通过使所述边界线与第三表面平面相交来推断所述多个拐角点中的一个拐角点。
[0016]一些实施例涉及一种非暂时性计算机可读介质，其被编码有多个计算机可执行指令，所述多个计算机可执行指令在由至少一个处理器执行时执行一种用于提供物理世界的部分的三维3D表示的方法，在所述3D表示中，所述物理世界的所述部分用多个拐角点来表示。所述方法包括：捕获关于所述物理世界的在用户的视野(FOV)内的部分的信息；从所捕获的信息中提取多个平面片段；从所述多个平面片段中识别多个表面平面；以及基于所识别的多个表面平面中的表面平面的相交，计算表示所述物理世界的所述部分的多个拐角点。
[0017]在一些实施例中，所述方法包括计算第一多个拐角点是否形成闭合。
[0018]在一些实施例中，计算闭合是否被形成包括：确定接合所述第一多个拐角点的边界线是否可以被连接以限定接合并界定闭合体积的表面。
[0019]在一些实施例中，所述物理世界的所述部分是所述物理世界的第一部分，所述用户是第一用户，所述多个拐角点是第一多个拐角点；以及所述方法还包括：从第二用户接收所述物理世界的第二部分的第二多个拐角点；以及至少部分地基于所述第一多个拐角点和所述第二多个拐角点，提供所述物理世界的所述3D表示。
[0020]在一些实施例中，所述用户是第一用户，所述方法还包括：通过计算机网络传送根据所捕获的关于所述物理世界的在所述第一用户的视野内的所述部分的信息所计算的拐角点；在由第二用户所使用的XR设备处接收所传送的拐角点；以及基于所接收的多个拐角点，用所述XR设备向所述第二用户渲染关于所述物理世界的所述部分的信息。
[0021]在一些实施例中，所述方法包括：计算用于所述拐角点的元数据，所述元数据指示所述拐角点之间的位置关系。
[0022]在一些实施例中，所述方法包括：保存包括相应的元数据的所述拐角点，以使得所述拐角点可由包括所述用户在内的多个用户检索。
[0023]一些实施例涉及一种操作交叉现实系统以重建环境的方法。所述交叉现实系统包括处理器，所述处理器被配置为与由用户所佩戴的传感器通信地处理图像信息，所述传感器针对所述传感器的视野中的各个区域生成深度信息。所述方法包括：从所述深度信息中提取多个平面片段；向所述用户显示所提取的平面片段；接收指示多个表面平面的用户输入，每个表面平面表示界定所述环境的表面；以及至少部分地基于所述多个表面平面，计算所述环境的多个拐角点。
[0024]在一些实施例中，所述方法包括：确定所述多个拐角点是否形成闭合。
[0025]在一些实施例中，所述方法包括：当确定所述闭合被形成时，存储所述拐角点。
附图说明
[0026]附图不是旨在按比例绘制。在附图中，在各个附图中示出的每个相同或几乎相同的部件由相同的数字表示。为了清楚起本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种便携式电子系统，包括：传感器，被配置为捕获关于物理世界的信息；处理器，被配置为执行计算机可执行指令以至少部分地基于所捕获的关于所述物理世界的信息来计算所述物理世界的部分的三维3D表示，其中，所述计算机可执行指令包括用于以下的指令：从传感器捕获的信息中提取多个平面片段；至少部分地基于所述多个平面片段，识别多个表面平面；以及至少部分地基于所述多个表面平面，推断所述物理世界的所述部分的多个拐角点。2.根据权利要求1所述的便携式电子系统，其中，所述计算机可执行指令还包括用于以下的指令：使用所述拐角点来构建所述物理世界的所述部分的网格模型。3.根据权利要求1所述的便携式电子系统，其中，所述多个表面平面是至少部分地基于来自佩戴所述便携式电子系统的至少一部分的用户的输入来识别的。4.根据权利要求1所述的便携式电子系统，包括：收发器，被配置用于通过计算机网络与提供远程存储器的设备进行通信。5.根据权利要求1所述的便携式电子系统，其中，所述处理器实现被配置为向应用提供所述物理世界的所述部分的所述3D表示的服务。6.根据权利要求5所述的便携式电子系统，其中，所述服务将所述拐角点保存在本地存储器中或将所述拐角点传送到云存储器作为所述物理世界的所述部分的所述三维3D表示。7.根据权利要求1所述的便携式电子系统，其中，识别所述多个表面平面包括：确定在所述多个平面片段的平面片段法线组之中是否存在主要平面片段法线；当所述确定指示所述组中的主要平面片段法线时，将所述主要平面片段法线设置为表面平面法线；以及当所述确定指示没有所述组中的主要平面片段法线时，根据所述组中的所述平面片段法线中的至少一部分计算所述表面平面法线。8.根据权利要求7所述的便携式电子系统，其中，计算所述表面平面法线包括：计算所述组中的所述平面片段法线中的至少一部分的加权平均。9.根据权利要求1所述的方法，其中，推断所述物理世界的所述部分的所述多个拐角点包括：将所述多个表面平面中的第一表面平面和第二表面平面延伸到无穷；以及获得与所述第一表面平面和所述第二表面平面相交的边界线。10.根据权利要求9所述的方法，其中，推断所述物理世界的所述部分的多个拐角点还包括：通过使所述边界线与第三表面平面相交来推断所述多个拐角点中的一个拐角点。11.至少一种非暂时性计算机可读介质，其被编码有多个计算机可执行指令，所述多个计算机可执行指令在由至少一个处理器执行时执行...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：