用深度信息快速3D重建制造技术

提供了一种用深度信息重建环境的方法。该方法使各种XR应用能够以低处理时间和低计算资源和存储空间的使用率获得新鲜和准确的环境3D重建数据。该方法包括在由例如头部姿势、用户位置和/或对象的运动所引起的用户视场内的变化时捕获关于环境的深度信息，并基于通过捕获的深度信息与不同的置信水平相关联的深度来更新环境的表示。该方法可以包括基于与高于阈值的置信水平相关联的深度来更新环境的几何形状。该方法可以包括，在3D环境改变时，基于与低于阈值的置信水平相关联的深度来推理环境中表面的移除。环境中表面的移除。环境中表面的移除。

【技术实现步骤摘要】
【国外来华专利技术】用深度信息快速3D重建


[0001]本申请总体上涉及使用三维(3D)重建来渲染场景的交叉现实系统。

技术介绍

[0002]计算机可以控制人类用户接口以创建X现实(XR或交叉现实)环境，在该环境中，由计算机生成被用户所感知(perceive)的XR环境的部分或全部。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中XR环境的部分或全部可以由计算机部分地使用描述该环境的数据生成。该数据可以描述例如虚拟对象，该虚拟对象可以以用户感应(sense)或感知为物理世界的一部分并且可以与虚拟对象交互的方式来渲染。由于数据是通过用户接口设备(例如，头戴式显示设备)渲染和呈现的，因此用户可能体验到这些虚拟对象。数据可以显示给用户看，或者可以控制播放给用户听的音频，或者可以控制感触(tactile)(或触觉(haptic))接口，从而使用户能够体验到用户感应或感知到感觉虚拟对象的触摸感觉。
[0003]XR系统可对许多应用很有用，跨越科学可视化、医学培训、工程设计和原型制作、远程操纵和远程呈现以及个人娱乐等领域。与VR相比，A本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种便携式电子系统，包括：深度传感器，被配置为捕获关于物理世界的信息；以及至少一个处理器，被配置为执行计算机可执行指令以至少部分地基于所捕获的关于所述物理世界的信息来计算所述物理世界的部分的三维3D表示，其中，所述计算机可执行指令包括用于以下的指令：根据所捕获的信息来计算包括多个像素的深度图像，每个像素指示到所述物理世界中的表面的距离；至少部分地基于所捕获的信息，确定所述深度图像的所述多个像素中的有效像素和无效像素；用所述有效像素来更新所述物理世界的所述部分的3D表示；以及用所述无效像素来所述更新物理世界的所述部分的3D表示。2.根据权利要求1所述的便携式电子系统，其中：计算所述深度图像包括：计算关于由所述多个像素所指示的距离的置信水平，以及确定所述有效像素和所述无效像素包括：对于所述多个像素中的每个像素，确定对应的置信水平是否低于预定值，以及在所述对应的置信水平低于所述预定值时，将所述像素指定为无效像素。3.根据权利要求1所述的便携式电子系统，其中：用所述有效像素来更新所述物理世界的所述部分的3D表示包括：用所述有效像素所指示的距离来修改所述物理世界的所述部分的3D表示的几何形状。4.根据权利要求1所述的便携式电子系统，其中：用所述有效像素来更新所述物理世界的所述部分的3D表示包括：将对象添加到对象地图。5.根据权利要求4所述的便携式电子系统，其中：用所述无效像素来更新所述物理世界的所述部分的3D表示包括：从所述对象地图中移除对象。6.根据权利要求1所述的便携式电子系统，其中：用所述无效像素来更新所述物理世界的所述部分的3D表示包括：至少部分地基于由所述无效像素所指示的距离，从所述物理世界的所述部分的3D表示中移除一个或多个重建表面。7.根据权利要求1所述的便携式电子系统，其中：在由对应的无效像素所指示的距离在所述传感器的操作范围之外时，从所述物理世界的所述部分的3D表示中移除一个或多个重建表面。8.根据权利要求1所述的便携式电子系统，其中：在由对应的无效像素所指示的距离指示一个或多个重建表面远离所述传感器移动时，从所述物理世界的所述部分的3D表示中移除一个或多个重建表面。9.根据权利要求1所述的便携式电子系统，其中：所述传感器包括：光源，被配置为发射以频率调制的光；像素阵列，包括多个像素电路，并被配置为检测被对象反射的在所述频率的光；以及
混合器电路，被配置为计算所反射的光的幅度图像和所反射的光的相位图像，所述幅度图像指示由所述像素阵列中的所述多个像素电路所检测的所反射的光的幅度，所反射的光的相位图像指示由所述像素阵列中的所述多个像素电路所检测的所发射的光与所反射的光之间的相位移动，其中：至少部分地基于所述相位图像来计算所述深度图像。10.根据权利要求9所述的便携式电子系统，其中：确定所述有效像素和所述无效像素包括：对于所述深度图像的所述多个像素中的每个像素，确定所述幅度图像中的对应幅度是否低于预定值，以及在所述对应幅度低于所述预定值时，将所述像素指定为无效像素。11.至少一种非瞬态计算机可读介质，其用多个计算机可执行指令编码，所述多个计算机可执行指令在由至少一个处理器执行时执行用于提供物理世界的部分的三维3D表示的方法，所述物理世界的所述部分的3D表示包括与所述物理世界的所述部分的多个体积对应的多个体素，所述多个体素存储带符号距离和权重，所述方法包括：在用户的视场内发生变化时，捕获关于所述物理世界的所述部分的信息；基于所捕获的信息来计算深度图像，所述深度图像包括多个像素，每个像素指...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：