多分辨率体素网格化制造技术

本公开涉及多分辨率体素网格化。本文公开的各具体实施生成表示物理环境中的表面的网格。该网格使用基于检测到的深度信息(例如，来自深度相机)的多分辨率体素生成。这些技术可使用多个哈希表来存储多分辨率体素数据。例如，哈希表可存储每个体素的3D位置和与每个体素距最接近表面的距离对应的截断式带符号距离场(TSDF)值。多个哈希表中的每个哈希表可包括对应于不同分辨率级别的数据，并且那些分辨率可取决于距离/噪声或其他因素。例如，与距离深度相机较远的体素相比，靠近深度相机的体素可具有更精细的分辨率和更小的尺寸。本文所公开的技术可涉及使用网格化算法，该网格化算法将存储在多个哈希表中的多分辨率体素信息组合以生成单个网格。

【技术实现步骤摘要】
多分辨率体素网格化
本公开整体涉及生成物理环境的三维几何表示，并且具体地涉及基于在物理环境中检测到的深度信息生成几何表示的系统、方法和设备。
技术介绍
已通过生成三维(3D)网格对物理环境建模(例如，重建)。这些网格表示物理环境的地板、墙壁和其他对象的3D表面点和其他表面特征。此类重建可基于物理环境的图像和深度测量(例如，使用RGB相机和深度传感器)来生成。该重建技术可使用体素(voxel)生成网格来提供重建。如本文所用，体素是指体积像素。现有的重建技术使用固定尺寸的体素，这些体素在3D空间中以规则间隔的网格间隔开，而体素之间没有间隙。例如，此类重建技术可使用截断式带符号距离函数(TSDF)定容地累积信息，该截断式带符号距离函数为物理环境中的表面的阈值距离内的体素提供符号距离值，其中这些值表示此类体素到物理环境中最接近的相应表面的距离。当此类技术使用相对较大的体素时，这些技术可能无法充分表示物理环境的详细特征。相比之下，当此类技术使用相对较小的体素时，这些技术可能由于噪声滤波不充分而产生不准确的重建，并且可能需要不期望的资源使用，例如，需要无法实时执行的处理或不期望或难以获得的存储器存储级别。因此，现有的重建技术可能无法提供足够准确有效的物理环境重建。
技术实现思路
本文所公开的各种具体实施包括使用基于检测到的深度信息生成的多分辨率体素来生成表示物理环境中的表面的网格(例如，形成连接的三角形的顶点)的设备、系统和方法。在一些具体实施中，重建技术使用多个哈希表来存储多分辨率体素数据。例如，该哈希表可存储每个体素的3D位置和与每个体素距最接近表面的距离对应的截断式带符号距离场(TSDF)值。该多个哈希表中的每个哈希表可包括对应于不同分辨率级别的数据。那些分辨率可以基于体素距传感器的距离、与不同体素相关联的深度数据中的噪声或其他因素来选择。例如，与距离深度相机较远的体素相比，靠近深度相机的体素可具有更精细的分辨率和更小的尺寸。本文所公开的技术可通过使用多分辨率体素来实现各种优点。使用多分辨率体素为重建的某些部分提供较小的体素以提供更精细的分辨率并因此潜在地提供更高的准确性和保真性，并且为重建的其他部分提供较大的体素以提供更粗糙的分辨率并因此提供更低的准确性和保真性。如果已将小体素用于重建的所有部分，则所有尺寸的体素的总数可能小于原本将存在的体素总数，从而减少确定和处理体素信息所需的资源。此外，可使用相比于提供对较小体素的使用将不太可能带来更高准确性的区域(例如，在数据中存在较多噪声的区域)，在这样做将可能带来更高准确性的区域(例如，在数据中存在较少噪声的区域)中这样做的标准来确定体素尺寸(例如，哪些体素小，哪些体素大)。因此，使用适当选择和变化尺寸的体素可有利于快速且有效的重建，例如，为重建提供足够的准确度和速度以用于实时应用。本文所公开的技术可使用多分辨率体素数据来生成重建物理环境的几何结构的网格。这可涉及使用网格化算法，该网格化算法将存储在多个哈希表中的多分辨率体素信息组合以生成单个网格。此类算法被配置为考虑多个哈希表中表示的体素的不同分辨率。本公开的一些具体实施涉及一种基于深度传感器测量结果生成表示3D环境中的表面的网格(例如，形成连接的三角形的顶点)的示例性方法。该方法涉及使用传感器获得物理环境的深度数据。例如，该深度数据可包括来自视点的像素深度值以及传感器位置和取向数据。示例性方法还涉及基于该深度数据生成第一哈希表，该第一哈希表存储具有第一分辨率的第一组体素(例如，大体素)的3D位置和表示到物理环境的表面(例如，到最接近表面)的距离的带符号距离值。距离场可被定义为标量场，其在任何给定点处的值等于从该点到该最接近表面的距离。例如，在一些具体实施中，带符号距离值包括TSDF值，该TSDF值可用于表示每个体素到物理环境的表面的最接近表面的体素距离。TSDF值可通过在表示中仅包括截断带内的值(例如，仅存储表面的阈值距离内的体素数据)来节省存储空间。该示例方法还涉及基于该深度数据生成第二哈希表，该第二哈希表存储具有第二分辨率的第二组体素(例如，小体素)的3D位置和表示到该物理环境的表面的距离的带符号距离值，其中该第二分辨率不同于该第一分辨率。例如，可基于距传感器的距离、噪声、语义等来确定用于每个体素的分辨率级别。例如，相比于距离深度相机较远的体素，靠近深度相机的体素可具有更精细的分辨率和更小的尺寸。该示例性方法还涉及基于该第一哈希表和该第二哈希表生成表示该表面的网格。可以通过沿着将第一组体素的第一体素(例如，位于第一体素的中心处的位置)与第二组体素的第二体素(例如，位于第二体素的中心处的位置)连接的线定位顶点来生成网格。附加地或另选地，在相同分辨率内的体素之间生成顶点(例如，每当存在过零点时，在该过零点处TSDF值从负变为正)。例如，可使用步进立方体网格化算法技术来生成网格，该算法技术识别连接与每个哈希表中的体素相关联的点的线，并且进行插值以识别沿着与表面对应的那些线的顶点。执行步进立方体网格化算法可涉及解析一个或多个哈希表以及利用表示由哈希表所表示的体积中的表面的顶点生成网格三角形。对于每个哈希条目，该算法可构建其所属立方体的相邻体素的顶点列表，并识别穿过该立方体的三角形表面。在一些具体实施中，生成网格包括生成连接与多个哈希表中的每个哈希表中(例如，在第一哈希表和第二哈希表之间，在第二哈希表和第三哈希表之间等)的体素相关联的点的线，以及沿着这些线进行插值以识别网格的与这些表面对应的顶点。在一些具体实施中，该网格化算法提取重复剔除网格和流形网格。在一些具体实施中，该示例性方法还涉及基于该深度数据生成第三哈希表，该第三哈希表存储具有第三分辨率的第三组体素的3D位置和表示到该物理环境的表面的距离的带符号距离值，该第三分辨率不同于该第一分辨率和第二分辨率，其中网格基于该第三哈希表而生成。可针对所需的每个分辨率级别生成附加的哈希表。在示例性具体实施中，将至少四个哈希表用于四种不同的分辨率。在一些具体实施中，该示例性方法还涉及确定是将3D位置表示为具有第一分辨率的体素还是具有第二分辨率的体素。在一些具体实施中，该示例性方法还涉及基于确定该深度数据中的噪声来确定是将3D位置表示为具有第一分辨率的体素还是具有第二分辨率的体素。在一些具体实施中，该示例性方法还涉及基于最接近体素的表面距深度数据的来源(例如，深度相机位置)的距离来确定是将3D位置表示为具有第一分辨率的体素还是具有第二分辨率的体素。在一些具体实施中，该第一组体素的体素具有第一尺寸，并且该第二组体素的体素具有第二尺寸，其中该第一尺寸大于该第二尺寸。在一些具体实施中，该第一哈希表和该第二哈希表使用3D位置作为键(key)来生成存储体素信息的存储器地址。在一些具体实施中，该第一哈希表和该第二哈希表具有存储带符号距离值的存储器地址。在一些具体实施中，使用一个或多个深度相机获得深度数据。例如，一个或多个深度相机可基于结构光(SL)、被动立体(PS)、主动立体(AS)、飞行时间(ToF)等获取深度。深度相机可提供与来自标本文档来自技高网...

【技术保护点】
1.一种方法，所述方法包括：/n在具有处理器的电子设备处：/n使用传感器获得物理环境的深度数据，所述物理环境包括表面；/n基于所述深度数据生成第一哈希表，所述第一哈希表存储具有第一分辨率的第一组体素的三维3D位置和表示到所述物理环境的所述表面的距离的带符号距离值；/n基于所述深度数据生成第二哈希表，所述第二哈希表存储具有第二分辨率的第二组体素的3D位置和表示到所述物理环境的所述表面的距离的带符号距离值，所述第二分辨率不同于所述第一分辨率；以及/n基于所述第一哈希表和所述第二哈希表生成表示所述表面的网格，所述网格是通过沿着连接所述第一组体素的第一体素与所述第二组体素的第二体素的线来定位所述网格的顶点而生成的。/n

【技术特征摘要】
20200117 US 62/962,481;20210113 US 17/147,5591.一种方法，所述方法包括：
在具有处理器的电子设备处：
使用传感器获得物理环境的深度数据，所述物理环境包括表面；
基于所述深度数据生成第一哈希表，所述第一哈希表存储具有第一分辨率的第一组体素的三维3D位置和表示到所述物理环境的所述表面的距离的带符号距离值；
基于所述深度数据生成第二哈希表，所述第二哈希表存储具有第二分辨率的第二组体素的3D位置和表示到所述物理环境的所述表面的距离的带符号距离值，所述第二分辨率不同于所述第一分辨率；以及
基于所述第一哈希表和所述第二哈希表生成表示所述表面的网格，所述网格是通过沿着连接所述第一组体素的第一体素与所述第二组体素的第二体素的线来定位所述网格的顶点而生成的。


2.根据权利要求1所述的方法，所述方法还包括：确定是将3D位置表示为具有所述第一分辨率的体素还是具有所述第二分辨率的体素。


3.根据权利要求1所述的方法，所述方法还包括：基于确定所述深度数据中的噪声来确定是将3D位置表示为具有所述第一分辨率的体素还是具有所述第二分辨率的体素。


4.根据权利要求1所述的方法，所述方法还包括：基于最接近体素的表面距所述深度数据的来源的距离来确定是将3D位置表示为具有所述第一分辨率的体素还是具有所述第二分辨率的体素。


5.根据权利要求1所述的方法，所述方法还包括：基于针对最接近体素的表面所识别的语义标记来确定是将3D位置表示为具有所述第一分辨率的体素还是具有所述第二分辨率的体素。


6.根据权利要求1所述的方法，其中所述第一组体素的体素具有第一尺寸，并且所述第二组体素的体素具有第二尺寸，其中所述第一尺寸大于所述第二尺寸。


7.根据权利要求1所述的方法，所述方法还包括：
基于所述深度数据生成第三哈希表，所述第三哈希表存储具有第三分辨率的第三组体素的3D位置和表示到所述物理环境的所述表面的距离的带符号距离值，所述第三分辨率不同于所述第一分辨率和所述第二分辨率，其中所述网格是进一步基于所述第三哈希表而生成的。


8.根据权利要求1所述的方法，其中所述第一哈希表和所述第二哈希表使用所述3D位置作为键来生成存储体素信息的存储器地址。


9.根据权利要求1所述的方法，其中所述第一哈希表和所述第二哈希表包括存储带符号距离值的存储器地址。


10.根据权利要求1所述的方法，其中所述带符号距离值包括截断式带符号距离场TSDF值，所述TSDF值表示每个体素距与所述深度数据对应的所述物理环境的所述表面中的最接近表面的体素距离。


11.根据权利要求1所述的方法，其中生成所述网格包括：
生成连接与所述第一哈希表和所述第二哈希表两者中的体素相关联的点的线；以及
沿着所述线进行插值以识别与所述表面对应的所述网格的顶点。


12.根据权利要求1所述的方法，其中所述深度数据是使用一个或多个深度相机而获得的。
...

【专利技术属性】
技术研发人员：M·迈兰，A·普瑞多赫，K·L·西梅克，庄茗，P·A·皮尼斯罗德里格斯，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US