多房间3D平面图生成制造技术

本公开涉及多房间3D平面图生成。各种具体实施提供基于扫描多个房间的3D平面图。可从来自不同的非连续房间扫描(例如，与第二扫描不同的第一扫描)的多个3D平面图生成组合的多房间3D平面图。在一些具体实施中，组合3D平面图利用以下过程：在第二扫描期间在第一房间中重新定位设备并且当设备移动(例如，随着用户步行)到第二房间以扫描第二房间时跟踪该设备。在其他具体实施中，组合3D平面图基于用户输入，例如，至少部分地基于用户在用户界面上相对于彼此定位平面图的图形表示来相对于彼此定位多个3D平面图。定位多个3D平面图。定位多个3D平面图。

【技术实现步骤摘要】
多房间3D平面图生成


[0001]本公开大体上涉及使用传感器扫描物理环境以生成三维(3D)模型(诸如3D平面图)的电子设备。

技术介绍

[0002]对于评估和使用在扫描过程期间获得的传感器数据以生成3D表示，诸如表示物理环境的3D平面图，可以改善现有的扫描系统和技术。

技术实现思路

[0003]本文所公开的各种具体实施包括提供多房间3D平面图的设备、系统和方法。例如，可通过组合来自多个单独房间扫描的3D平面图来形成多房间3D平面图。3D平面图是房间或其他物理环境的3D表示，其通常识别或以其他方式表示一个或多个墙壁、地板、天花板或环境的其他边界或区域的3D位置。本文公开的一些具体实施生成3D平面图，该3D平面图识别或以其他方式表示窗户、门和/或开口在该3D平面图内的3D位置，例如在墙壁、地板、天花板或其他区域上。一些具体实施生成3D平面图，该3D平面图一般标识或以其他方式表示一个或多个墙壁、地板、天花板或者环境的其他边界或区域的3D位置以及环境内的桌子、椅子、器具和其他对象的3D位置。
[0004]可从来自不同的非连续房间扫描的多个3D平面图生成组合的多房间3D平面图。在一些具体实施中，组合3D平面图利用以下过程：在第一扫描期间捕获第一房间的传感器数据，接着在第二扫描期间在第一房间中重新定位该设备并且当设备移动(例如，随着用户步行)到第二房间以扫描第二房间时跟踪该设备。在其他具体实施中，组合3D平面图基于用户输入，例如，至少部分地基于用户在用户界面上相对于彼此定位平面图的图形表示来相对于彼此定位多个3D平面图。
[0005]在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法基于多房间环境的第一房间的一个或多个边界特征(例如，墙壁、门、窗户等)的第一三维(3D)表示(例如，第一3D点云或3D网格)生成第一房间的第一3D平面图。该第一3D表示是基于第一扫描生成的。该方法还基于多房间环境的第二房间的一个或多个边界特征(例如，墙壁、门、窗户等)的第二3D表示(例如，第二3D点云或3D网格)生成第二房间的第二3D平面图。该第二3D表示是基于与第一扫描不同的第二扫描生成的，即，扫描设备位置的跟踪在两次扫描之间可能不是连续的，并且因此不能用于在位置上将扫描彼此相关联。该方法确定第一3D平面图和第二3D平面图之间的3D位置关系。可以使用自动重新定位和/或手动对准过程来确定3D位置关系，使得可以在3D空间(即，相同的3D坐标系)中对准3D平面图。3D平面图之间的3D位置关系可通过改进或优化后流程来调整。该方法基于所确定的第一3D平面图和第二3D平面图之间的3D位置关系生成组合3D平面图。
[0006]根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器
执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
[0007]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0008]图1A
‑
图1B示出了根据一些具体实施的物理环境。
[0009]图2示出了根据一些具体实施的表示图1A至图1B的第一房间的3D点云的一部分。
[0010]图3示出了根据一些具体实施的表示图1A至图1B的第一房间的第一3D平面图的一部分。
[0011]图4是图3的3D平面图的视图。
[0012]图5是图3和图4的3D平面图的另一视图。
[0013]图6是第二房间的第二3D平面图的视图。
[0014]图7是根据一些具体实施的组合了图3
‑
图5的第一3D平面图与图6的第二3D平面图的组合3D平面图的视图。
[0015]图8A
‑
图8I示出了根据一些具体实施的示例性多房间3D平面图过程。
[0016]图9A
‑
图9C示出了根据一些具体实施式的使用用户界面来相对于彼此定位3D平面图。
[0017]图10是示出了根据一些具体实施的用于改进组合的3D平面图的方法的流程图。
[0018]图11是示出了根据一些具体实施的用于生成组合的3D平面图的方法的流程图。
[0019]图12是根据一些具体实施的电子设备的框图。
[0020]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0021]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0022]图1A
‑
图1B示出了示例性物理环境100。在该示例中，图1A示出了在物理环境100的第一房间190中操作的示例性电子设备110。在图1A的该示例中，第一房间190包括门130(提供通向物理环境100的第二房间195的开口)、门框140和墙壁120上的窗户150(具有窗框160)。第一房间190还包括桌子170和盆栽植物180。如图1B的俯视图所示，第一房间190和第二房间195彼此邻接，即，第一房间190的墙壁120的一部分邻接第二房间195的墙壁196(例
如，在其相对侧)。
[0023]电子设备110包括一个或多个相机、麦克风、深度传感器、运动传感器或可以用于捕获关于物理环境100的信息和评估该物理环境的其他传感器。获得的传感器数据可以用于生成3D表示，诸如3D点云、3D网格或3D平面图。
[0024]在一个示例中，用户102围绕物理环境100移动，并且设备110捕获生成物理环境100的一个或多个3D平面图的传感器数据。可以移动设备110以从不同视点捕获传感器数据，例如，在各种距离、视角、高度等处。设备110可以向用户102提供有利于环境扫描过程的信息。例如，设备110可以在房间扫描过程期间提供来自相机的示出当前捕获的RGB图像的内容的视图(例如，实时相机馈送)。又如，设备110可以提供实时3D点云或实时3D平面图的视图以有利于扫描过程或以其他方式提供反馈，该反馈通知用户102物理环境100的哪些部分已经被捕获在传感器数据中以及物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括：在具有处理器的设备处：基于多房间环境的第一房间的一个或多个边界特征的第一三维(3D)表示生成所述第一房间的第一3D平面图，所述第一3D表示是基于第一扫描确定的；基于所述多房间环境的第二房间的一个或多个边界特征的第二3D表示生成所述第二房间的第二3D平面图，所述第二3D表示是基于与所述第一扫描不同的第二扫描确定的；确定所述第一3D平面图和所述第二3D平面图之间的3D位置关系；以及基于所确定的所述第一3D平面图和所述第二3D平面图之间的3D位置关系生成组合3D平面图。2.根据权利要求1所述的方法，其中所述第一3D平面图与所述第二3D平面图之间的所述3D位置关系是基于在所述第二扫描过程期间扫描设备在所述第一房间中的重新定位来确定的。3.根据权利要求2所述的方法，其中所述扫描设备在所述第一房间中的所述重新定位包括将来自所述第一扫描的特征点与来自所述第二扫描的特征点相匹配。4.根据权利要求2所述的方法，还包括提供表示所述重新定位完成的指示。5.根据权利要求1所述的方法，其中确定所述第一3D平面图与所述第二3D平面图之间的所述3D位置关系包括，在所述第二扫描过程期间：在所述第一房间中重新定位扫描设备；以及当所述扫描设备从所述第一房间移动到所述第二房间时跟踪所述扫描设备的位置。6.根据权利要求5所述的方法，其中确定所述第一3D平面图和所述第二3D平面图之间的所述3D位置关系包括：在所述第二扫描过程期间，当所述扫描设备从所述多房间环境中的多个楼层中的一个楼层移动到另一个楼层时跟踪所述扫描设备的所述位置。7.根据权利要求5所述的方法，其中跟踪所述扫描设备的所述位置包括基于在所述第二扫描期间由所述扫描设备捕获的图像的视觉惯性测距(VIO)。8.根据权利要求5所述的方法，还包括基于确定所述扫描设备在所述第二房间内来发起对用于所述第二扫描的传感器数据的捕获。9.根据权利要求1所述的方法，其中确定所述第一3D平面图与所述第二3D平面图之间的所述3D位置关系包括：在用户界面上呈现表示所述第一扫描的第一布局和表示所述第二扫描的第二布局；接收重新定位所述第一布局或所述第二布局的输入；以及基于所述重新定位来确定所述3D位置关系。10.根据权利要求9所述的方法，其中所述呈现包括基于与所述第一扫描和所述第二扫描相关联的基本方向来定向所述第一布局和所述第二布局。11.根据权利要求9所述的方法，还包括：在重新定位所述第一布局或所述第二布局的所述输入期间确定所述第一布局和所述第二布局满足位置条件；以及基于所述位置条件自动地将所述第一布局的边界与所述第二布局的边界对准。12.根据权利要求11所述的方法，...

【专利技术属性】
技术研发人员：康恺，柯宪儒，汤锋，许弘宇，M，
申请(专利权)人：苹果公司，
类型：发明
国别省市：