用于计算3D环境的合成表示的计算高效方法技术

用于提供环境的表示的方法和装置，例如在XR系统中，以及任何适合的计算机视觉和机器人应用。环境的表示可包括一个或多个平面特征。可以通过联合优化平面特征的平面参数和观察平面特征的传感器姿势来提供环境的表示。联合优化可以基于约化矩阵和约化残差向量代替雅可比矩阵和原始残差向量。可比矩阵和原始残差向量。可比矩阵和原始残差向量。

【技术实现步骤摘要】
【国外来华专利技术】用于计算3D环境的合成表示的计算高效方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年5月11日提交的题为“COMPUTATIONALLY EFFICIENT METHOD FOR COMPUTING A COMPOSITE REPRESENTATION OF A 3D ENVIRONMENT(用于计算3D环境的合成表示的计算高效方法)”的优先权和权益，其以整体内容通过引用并入本文。


[0003]本申请大体涉及提供环境的表示，例如，在跨现实(XR)系统、自动驾驶车辆或包括可移动传感器的其他计算机视觉系统中。

技术介绍

[0004]使用传感器获取关于3D环境信息的系统在多种情景中使用，诸如跨现实(XR)系统或自动驾驶车辆。这些系统可能使用传感器(诸如相机)来获取关于3D环境的信息。传感器可以提供可以集成到环境的表示中的环境的许多观察。例如，当自动驾驶车辆移动时，其传感器可以从不同姿势获取3D环境的图像。每个图像可以提供环境的另一个观察，提供关于先前图像中的环境的一部分的更多信息或关于环境的新部分的信息。
[0005]这样的系统可以通过将多次观察获得的信息组合成3D环境的合成表示。可以将新图像添加到环境的合成表示中，基于获取该图像的姿势填充信息。初始地，可以估计图像的姿势，诸如基于内部传感器的输出，该输出指示获取图像的传感器的运动或者特征相对于先前图像中已经并入环境的合成表示中的特征的相关性。然而，随着时间的推移，这些估计技术中的误差可能累积。
[0006]为了补偿累积误差，可以不时执行合成表示的调整。这样的调整可能需要调整已被组合到合成表示中的图像的姿势，使得在3D环境中表示相同对象的不同图像中的特征更好地对齐。在一些场景中，对齐的特征可能是特征点。在其他场景中，特征可能是基于图像的内容标识的平面。在这样的场景中，调整可能需要调整每个图像的相对姿势和基于合成表示检测到的平面的相对位置。
[0007]这样的调整可以提供可以以多种方式中的任何一种使用的3D环境的准确表示。在XR系统中，例如，计算机可以控制人类用户界面以创建跨现实(XR)环境，其中如由用户感知的XR环境的部分或全部由计算机生成。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中XR环境的部分或全部可能由计算机使用部分描述环境的数据生成。例如，该数据可以描述虚拟对象，这些虚拟对象可以以用户感觉或感知为物理世界的一部分的方式渲染，使得用户可以与虚拟对象交互。由于通过用户界面设备(诸如，头戴式显示设备)渲染和呈现数据，因此用户可以体验这些虚拟对象。数据可以被显示给用户看，或者可以控制被播放给用户听的音频，或者可以控制触摸(或触觉)界面，使得用户能够体验用户感觉或感知为感觉虚拟对象的触摸感觉。
[0008]XR系统可能对许多应用有用，覆盖科学可视化、医学训练、工程设计和原型制作、远程操作和远程呈现以及个人娱乐等领域。与VR相比，AR和MR包括一个或多个与现实世界
的真实对象相关的虚拟对象。虚拟对象与真实对象交互的体验极大地增强了用户使用XR系统的乐趣，并且也为各种应用打开了大门，这些应用提供了关于物理世界可能如何被改变的逼真且易于理解的信息。
[0009]为了逼真地渲染虚拟内容，XR系统可以构建系统用户周围的物理世界的表示。例如，该表示可以通过处理利用形成XR系统的一部分的可穿戴设备上的传感器获取的图像来构造。在这样的系统中，用户可以通过环顾用户打算使用XR系统的房间或其他物理环境来执行初始化例程，直到系统获得足够的信息来构造该环境的表示。当系统操作并且用户在环境中或向其他环境移动时，可穿戴设备上的传感器可能获取附加信息，以扩展或更新物理世界的表示。

技术实现思路

[0010]本申请的各方面涉及用于提供环境的表示的方法和装置，例如，在跨现实(XR)系统、自动驾驶车辆或包括可移动传感器的其他计算机视觉系统中。如本文所描述的技术可以一起、单独或以任何适合的组合使用。
[0011]一些实施例涉及一种操作计算系统以生成环境的表示的方法。该方法包括：获得传感器捕获的信息，所述传感器捕获的信息包括第一数量的图像；提供所述环境的初始表示，所述初始表示包括至少部分地基于所述第一数量的图像的第二数量的平面特征的所述第一数量的初始姿势和初始参数；对于与包括所述平面特征的一个或多个观察的图像相对应的处于每个姿势的所述第二数量的平面特征中的每一个平面特征，计算指示所述平面特征的所述一个或多个观察的矩阵，并且将所述矩阵分解为两个或更多个矩阵，所述两个或更多个矩阵包括具有与所述矩阵相比简化行的一个矩阵；以及至少部分地基于具有简化行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数。所述环境的所述表示包括所述第二数量的平面特征的所述第一数量的细化姿势和所述细化参数。
[0012]一些实施例涉及一种操作计算系统以生成环境的表示的方法。该方法包括：获得传感器捕获的信息，所述传感器捕获的信息包括第一数量的图像；提供所述环境的初始表示，所述初始表示包括至少部分地基于所述第一数量的图像的第二数量的平面特征的所述第一数量的初始姿势和初始参数；对于与包括所述平面特征的一个或多个观察的图像相对应的处于每个姿势的所述第二数量的平面特征中的每一个平面特征，计算具有第三数量的行的矩阵，所述第三数量小于所述平面特征的所述一个或多个观察的所述数量；以及至少部分地基于具有所述第三数量的行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数。所述环境的所述表示包括所述第二数量的平面特征的所述第一数量的细化姿势和所述细化参数。
[0013]前述概述通过说明的方式提供并且不旨在进行限制。
附图说明
[0014]附图不旨在按比例绘制。在附图中，各图中所示的每个相同或几乎相同的部件由相同的数字表示。出于清晰的目的，并非每个部件可以在每个附图中标记。在附图中：
[0015]图1是示出根据一些实施例的简化增强现实(AR)场景的示例的示意图。
[0016]图2是根据一些实施例的示出了XR系统的示例性用例的示例性简化AR场景的示意图。
[0017]图3是示出根据一些实施例的被配置为向用户提供与物理世界交互的AR内容的体验的AR系统中的单个用户的数据流的示意图。
[0018]图4是示出根据一些实施例的为单个用户显示虚拟内容的示例性AR显示系统的示意图。
[0019]图5A是示出根据一些实施例的当用户在物理世界环境中移动时穿戴AR显示系统的用户渲染AR内容的示意图。
[0020]图5B是示出根据一些实施例的观看光学组件和伴随部件的示意图。
[0021]图6A是示出根据一些实施例的使用世界重建系统的AR系统的示意图。
[0022]图6B是示出根据一些实施例的维护联结型世界的模型的AR系统的部件的示意图。
[0023]图7是根据一些实施例的由通过遍历通过物理世界的路径的设备形成的跟踪图的示意图。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种操作计算系统以生成环境的表示的方法，所述方法包括：获得传感器捕获的信息，所述传感器捕获的信息包括第一数量的图像；提供所述环境的初始表示，所述初始表示包括至少部分地基于所述第一数量的图像的第二数量的平面特征的所述第一数量的初始姿势和初始参数；对于与包括所述平面特征的一个或多个观察的图像相对应的处于每个姿势的所述第二数量的平面特征中的每一个平面特征，计算指示所述平面特征的所述一个或多个观察的矩阵，以及将所述矩阵分解为两个或更多个矩阵，所述两个或更多个矩阵包括与所述矩阵相比具有简化行的一个矩阵；以及至少部分地基于具有简化行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数，其中，所述环境的所述表示包括所述第二数量的平面特征的所述第一数量的细化姿势和所述细化参数。2.根据权利要求1所述的方法，其中，对于与包括所述平面特征的一个或多个观察的图像相对应的处于每个姿势的所述第二数量的平面特征中的每一个平面特征，将所述矩阵分解为两个或更多个矩阵包括：计算正交矩阵和上三角矩阵。3.根据权利要求2所述的方法，其中，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数至少部分地基于所述上三角矩阵。4.根据权利要求1所述的方法，其中，至少部分地基于具有简化行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数包括：至少部分地基于具有简化行的所述矩阵，计算降阶雅可比矩阵块。5.根据权利要求4所述的方法，其中，至少部分地基于具有简化行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数包括：堆叠所述减少的雅可比矩阵块以形成降阶雅可比矩阵。6.根据权利要求5所述的方法，其中，至少部分地基于具有简化行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数包括：向求解最小二乘问题的算法提供所述降阶雅可比矩阵以更新当前估计。7.根据权利要求1所述的方法，其中，至少部分地基于具有简化行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数包括：至少部分地基于具有简化行的所述矩阵，计算约化残差块。8.根据权利要求7所述的方法，其中，至少部分地基于具有简化行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数包括：堆叠所述约化残差块以形成约化残差向量。9.根据权利要求8所述的方法，其中，至少部分地基于具有减少的行的所述矩阵，计算所述第二数量的平面特征的所述第一数量的细化姿势和细化参数包括：向求解最小二乘问题的算法提供所述约化残差向量以更新当前估计。10.根据权利要求1所述的方法，其中，对于与包括所述平面特征的一个或多个观察的图像相对应的处于每个姿势的所述第二数量的平面特征中的每一个平面特征，计算指示所
述平面特征的所述一个或多个观察的所述矩阵包括：对于所述平面特征的所述一个或多个观察中的每一个观察，计算指示所述观察的矩阵块，以及将所述矩阵块堆叠成指示所述平面特征的所述一个或多个观察的所述矩阵。11.一种操作计算系统以生成环境的表示的方法，所述方法包括：获得传感器捕获的信息，...

【专利技术属性】
技术研发人员：周力普，F，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：