物理环境对象的3D表示制造技术

本公开涉及物理环境对象的3D表示。各种具体实施提供了对象的3D表示。此类表示可基于根据例如图像、深度数据、运动数据等传感器数据获得的3D点云和/或2D图像输入。3D点云输入可用于零件分割和/或确定对象零件的位置和/或取向，例如，生成表示对象零件的大小、位置和取向的3D边界框。2D图像输入可用于零件属性识别，例如，以确定椅腿零件是否具有特定类型，诸如星形、直下形、交叉形等。零件属性可用于在相应区域内例如在使用该3D点云输入针对每个零件确定的边界框内产生每个零件的形状的相对简单且相对准确的表示。简单且相对准确的表示。简单且相对准确的表示。

【技术实现步骤摘要】
物理环境对象的3D表示


[0001]本公开整体涉及使用传感器数据来生成物理环境内的对象的3D表示的电子设备，包括生成此类表示以用于提供扩展现实(XR)环境的视图以及在通信会话期间使用。

技术介绍

[0002]各种技术被用于生成物理环境中的对象的3D表示。例如，可生成点云或3D网格来表示房间中的对象中的一个或多个对象。现有技术可能不足以促进捕获和/或使用此类对象的3D表示。

技术实现思路

[0003]本文所公开的各种具体实施包括提供对象的三维(3D)表示的设备、系统和方法。此类表示可基于根据例如图像、深度数据、运动数据等传感器数据获得的3D点云和/或二维(2D)图像输入。在一些具体实施中，3D点云和2D图像输入的组合被用于使得能够有效地生成对象的相对简单的3D表示，例如，使得能够有效地表示对象位置和大小以及对象的各个零件的一般形状。3D点云输入可用于零件分割和/或确定此类零件的位置和/或取向，例如，生成表示对象零件的大小、位置和取向的3D边界框。2D图像输入可用于零件属性识别，例如，以确定椅腿零件是否具有特定类型，诸如星形、直下形、交叉形等。零件属性可用于在相应区域内例如在使用该3D点云输入针对每个零件确定的边界框内产生每个零件的形状的相对简单且相对准确的表示。因此可相对有效地产生对象的输出3D表示(例如，不需要计算上昂贵的3D网格算法)。输出3D表示可提供具有关于对象的大小、位置、取向和零件形状的合理水平的准确度的3D表示。输出3D表示可包括更平滑、更清洁或以其他方式更期望的外观，该外观基于对象的零件的已知几何形状而不是直接(或仅)基于潜在噪声传感器数据来表示对象的零件。3D表示可用于各种目的，包括但不限于：生成可以实时地且在实况通信会话期间使用的对象表示；将虚拟对象放置在XR中(例如，准确地定位搁在沙发靠背上的虚拟人物的手臂)；以及/或者增强搜索(例如，搜索类似于另一个人的长沙发的长沙发)。
[0004]在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法获得表示物理环境的3D点云和表示该物理环境的2D图像。物理环境包括具有多个零件的对象。例如，物理环境可以是具有椅子的房间，该椅子具有椅座、椅背、椅臂和椅腿零件。点云可基于图像和深度数据来生成并且/或者可被语义标记。
[0005]该方法基于3D点云生成对象的第一3D表示。第一3D表示包括表示对象的多个零件的3D位置和大小的第一组表示。在一些具体实施中，第一表示是粗略表示，该粗略表示使用各个立方体、圆柱体或几何图元来表示每个零件的位置/取向，例如，表示椅背的框、表示椅座的框、表示椅腿的框等。
[0006]该方法基于2D图像识别对象的多个零件的属性。例如，椅子对象的一个或多个图像可用于识别椅腿类型、颜色、材料等。属性识别可附加地涉及关于对象的其他信息的使用，诸如但不限于对象类型信息(例如，识别对象是椅子、沙发、桌子、球等)和/或相关联的
零件列表，例如，识别椅子类型对象可以但不一定具有椅座、椅背、椅臂和椅腿零件。
[0007]该方法基于第一3D表示和属性来生成对象的第二3D表示。第二3D表示可以是相对于第一表示的细化表示。第二3D表示可包括表示对象的多个零件的形状的第二组表示，该多个零件基于第一组表示来定位和定大小。例如，这可涉及代替第一3D表示的对应边界框来对十字形椅腿表示进行定位和定大小以更准确地表示椅腿。
[0008]根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
[0009]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0010]图1示出了根据一些具体实施的在物理环境中操作的示例性电子设备。
[0011]图2示出了根据一些具体实施的图1的物理环境的示例性对象的粗略3D表示的描绘。
[0012]图3示出了根据一些具体实施的图1的示例性对象的细化3D表示的描绘。
[0013]图4示出了根据一些具体实施的用于基于传感器数据生成对象点和图像的示例性过程。
[0014]图5示出了根据一些具体实施的用于生成对象的3D表示的示例性过程。
[0015]图6是示出根据一些具体实施的用于生成对象的3D表示的方法的流程图。
[0016]图7示出了示例性对象的3D表示的示例。
[0017]图8是根据一些具体实施的电子设备的框图。
[0018]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0019]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0020]图1示出了在物理环境100中操作的示例性电子设备105。在该示例中，物理环境100是房间，该房间包括若干对象诸如是长沙发的对象120和是桌子的对象130。电子设备105包括一个或多个相机、麦克风、深度传感器或可用于捕获关于物理环境100及其内的对
象的信息和关于电子设备105的用户110的信息以及评估该物理环境及其内的对象的其他传感器。关于物理环境100和/或用户110的信息可用于例如在扩展现实(XR)体验期间或在涉及一个或多个其他设备的通信会话期间提供视觉和音频内容。例如，通信会话可向3D环境的一个或多个参与者(例如，用户110和/或未示出的其他参与者)提供基于物理环境100的相机图像和/或深度传感器图像生成的视图以及基于用户110的相机图像和/或深度传感器图像的用户110的表示。
[0021]图2示出了图1的物理环境100的描绘200，包括示例性对象120、130的3D表示220、230。在该示例中，3D表示220是表示与物理环境100对应的3D坐标空间内的3D区域的边界区域。通过表示对象120在物理环境100中所位于的3D空间的边界区域，3D表示220表示对象120在该空间中的位置和取向。此外，3D表示220被定大小以对应于对象120的外部部分，并且因此进一步表示对象120本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在具有处理器的电子设备处：获得表示物理环境的三维(3D)点云和表示所述物理环境的二维(2D)图像，所述物理环境包括具有多个零件的对象；基于所述3D点云生成所述对象的第一3D表示，所述第一3D表示包括表示所述对象的所述多个零件的3D位置和大小的第一组表示；基于所述2D图像识别所述对象的所述多个零件的属性；以及基于所述第一3D表示和所述属性生成所述对象的第二3D表示，所述第二3D表示包括表示所述对象的所述多个零件的形状的第二组表示，所述多个零件基于所述第一组表示来定位和定大小。2.根据权利要求1所述的方法，其中：所述第一组表示表示所述对象的所述多个零件的边界区域的3D位置和大小；并且所述第二组表示定位在所述对象的所述多个零件的所述边界区域内。3.根据权利要求2所述的方法，其中所述边界区域是定义3D区域的立方体、圆柱体或3D几何图元，所述点云的与共同语义标签相关联的点位于所述3D区域中。4.根据权利要求1所述的方法，其中所述3D点云包括与语义标签相关联的点，其中基于所述点的所述语义标签生成所述3D表示。5.根据权利要求4所述的方法，其中生成所述第一3D表示包括使用所述点的所述语义标签执行零件分割。6.根据权利要求4所述的方法，其中识别所述多个零件的所述属性是基于所述语义标签进行的。7.根据权利要求4所述的方法，其中识别所述多个零件的所述属性是基于零件列表进行的。8.根据权利要求1所述的方法，其中所述3D点云是基于来自深度传感器的深度数据生成的。9.根据权利要求1所述的方法，其中所述第一组表示表示所述对象的所述多个零件的3D取向。10.根据权利要求1所述的方法，其中所述多个零件的所述属性对应于零件类型、形状、颜色、纹理或材料。11.根据权利要求1所述的方法，还包括基于所述第二3D表示在扩展现实(XR)环境中定位虚拟对象。12.根据权利要求1所述的方法，还包括基于所述第二3D表示执行对3D内容的搜索。13.一种第一设备，包括：非暂态计算机可读存储介质；以及一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在...

【专利技术属性】
技术研发人员：孙伯元，B，
申请(专利权)人：苹果公司，
类型：发明
国别省市：