以对象为中心的扫描制造技术

本公开涉及以对象为中心的扫描。本文所公开的各种具体实施包括基于图像和在采集这些图像期间设备的跟踪位置来生成对象的三维(3D)模型的设备、系统和方法。例如，示例性过程可包括：在该设备于包括对象的物理环境中移动期间采集传感器数据，该传感器数据包括经由该设备上的相机采集的物理环境的图像；标识图像中的至少一些图像中的该对象；基于标识图像中的至少一些图像中的该对象来跟踪在采集图像期间该设备的位置，该位置标识该设备相对于基于该对象的位置和取向而定义的坐标系的定位；以及基于图像和在采集图像期间该设备的位置来生成该对象的3D模型。来生成该对象的3D模型。来生成该对象的3D模型。

【技术实现步骤摘要】
以对象为中心的扫描
[0001]相关申请的交叉引用
[0002]本申请要求2020年3月6日提交的美国临时申请序列号62/986076的权益，该申请全文以引用方式并入本文。


[0003]本公开整体涉及生成物理环境的三维几何表示，并且具体地涉及基于在物理环境中检测到的深度信息生成几何表示的系统、方法和设备。

技术介绍

[0004]物理环境和其中的对象已通过生成三维(3D)网格、利用3D点云以及通过其他方式来建模(例如，重建)。这些重建的网格表示物理环境的地板、墙壁和其他对象的3D表面点和其他表面特征。此类重建可基于物理环境的图像和深度测量(例如，使用RGB相机和深度传感器)来生成。
[0005]使用移动设备用于基于物理环境的图像和在物理环境中检测到的深度信息来生成3D模型的现有技术可能是不准确且低效的，例如，基于用户在房间内走动时捕获照片或视频或其他传感器数据。此外，现有技术可能无法在实时环境中提供足够准确且高效的对象检测。

技术实现思路

[0006]本文所公开的各种具体实施包括基于图像和在采集这些图像期间设备的位置来生成对象的三维(3D)模型的设备、系统和方法。该3D模型基于物理环境的图像、在物理环境中检测到的深度信息以及用于跟踪设备/深度相机的特定位置和取向(例如，相机位姿)的其他信息来生成。可能期望利用例如根据基于对象的坐标系定义的以对象为中心的相机位姿。换句话讲，受约束位姿与目标对象(例如，单个感兴趣的对象)相关联，并且位置是相对于目标对象的。这样做可提供对象的更有用、更现实或物理上更有意义的模型。
[0007]本公开的一些具体实施涉及一种基于图像和在采集图像期间设备的位置来生成对象的3D模型的示例性方法。该示例性方法最初涉及：在设备于包括对象的物理环境中移动期间采集传感器数据，该传感器数据包括经由该设备上的相机采集的物理环境的图像。例如，用户在物理环境中围绕对象(例如，桌子上方的鞋)移动设备(例如，移动设备)以从不同侧面采集该对象的图像。在一些具体实施中，该传感器数据可包括深度数据和运动传感器数据。在一些具体实施中，在该设备的移动期间，用户界面可显示所采集的包括对象的环境并提供用户界面元素。例如，用户界面元素(例如，扩展现实图像，诸如覆盖在实时视频流上的3D箭头)可向用户显示采集对象的附加角度和/或视角。在一些具体实施中，用户界面可显示对象的初步3D模型(例如，3D网格、3D边界框等)。例如，当用户正在捕获实时视频并且当实时视频正在主观看屏幕上流式传输时，另一个窗口的画中画显示可以在实时预览屏幕中向用户显示3D模型重建。
[0008]该示例性方法还涉及标识图像中的至少一些图像中的对象。例如中，标识对象可涉及使用基于来自多个图像的信息和深度信息的初步对象模型来标识对象。使用初步对象模型来标识对象可涉及通过创建对应于对象的3D边界框来进行掩膜。除此之外或另选地，也可创建对应于对象的二维(2D)掩膜。在图像采集期间，调整3D边界框以更好地拟合对象从而限定感兴趣的对象并且与背景分开。在一些具体实施中，对象标识可基于裁剪初步对象模型和与该初步对象模型相关联的3D关键点/调整初步对象模型和与该初步对象模型相关联的3D关键点的尺寸。例如，使用3D边界框约束来移除位于3D边界框之外的背景像素，并且/或者使用与对象相关联的2D掩膜约束来移除位于2D掩膜之外背景像素。可在扫描期间(例如，在图像采集期间)进行掩膜(例如，裁剪初步对象模型/调整初步对象模型的尺寸)以在第一阶段中检测对象，然后在进行图像扫描时，使用那些掩膜(例如，3D边界框约束、2D掩膜等)通过移除背景像素来分离出对象。在一些具体实施中，掩膜可使用覆盖算法，并且绕过对象，并对在图像采集期间的动态位置进行计算。
[0009]在一些具体实施中，对象标识可涉及稀疏3D深度云的致密化。例如，使用致密化算法根据稀疏数据集创建密集3D深度云。除此之外或另选地，在一些具体实施中，对象标识可以涉及关键点内插和/或靠近深度边缘的关键点的排除。例如，使用关键点对象算法，标识(例如，经由神经网络对RGB图像进行语义标记)对象的关键点，并且可将附加关键点(例如，与对象相关联的附加像素)内插(例如，添加)到初步对象模型，或者从初步对象模型中排除(例如，移除)。
[0010]该示例性方法还涉及基于对图像中的至少一些图像中的对象的标识来跟踪在采集图像期间设备的位置，这些位置标识设备相对于基于对象的位置和取向而定义的坐标系的定位和/或取向(例如，位姿信息)。在示例性具体实施中，基于对对象的标识来跟踪在采集图像期间设备的位置通过更新设备的以对象为中心的位姿(例如，当图像中的每个图像被采集时，相机在基于对象的坐标中相对于对象的位置)来跟踪对象。在一些具体实施中，跟踪可使用在基于对象的坐标(例如，由相对RGB
‑
D相机移动做成的历史记录)中定义的位姿图。
[0011]在一些具体实施中，跟踪可涉及在对象离开视图时或在采集到对象的先前未见过部分时重新定位。例如，当对象离开相机视图并翻转时，跟踪可能需要重新定位并进一步标识与感兴趣的对象相同的对象，并且重新校准以对象为中心的坐标以确定翻转的对象与感兴趣的对象相同。在一些具体实施中，该方法可迭代地更新相机的以对象为中心的位姿和初步对象模型两者。
[0012]在一些具体实施中，位姿可基于裁剪初步对象模型及其3D关键点/调整初步对象模型及其3D关键点的尺寸(例如，使用3D边界框约束来移除背景图像信息并且/或者使用2D掩膜来移除背景图像像素(例如，类似于上文针对对象标识阶段期间的掩膜所述的过程))来验证。在一些具体实施中，位姿验证还可涉及稀疏深度云的致密化、关键点内插和/或靠近深度边缘的关键点的排除。
[0013]该示例性方法还涉及基于图像和在采集图像期间设备的位置来生成对象的3D模型。3D模型可基于精修/裁剪的图像、相关联的深度信息以及与此类图像和深度信息相关联的相机的相对位置。3D模型可为3D网格表示或3D点云。在一些具体实施中，3D模型数据可以是使用具有相关联语义标签的3D点云来表示3D环境中的表面的3D表示。在一些具体实施
中，3D模型数据是使用基于在所生成环境中检测到的深度信息的网格化算法的3D重建网格，该深度信息被整合(例如，融合)以重建物理环境。网格化算法(例如，双行进立方体网格化算法、泊松网格化算法、四面体网格化算法等)可用于生成表示房间和/或房间内的对象(例如，家具、桌子上的狗塑像、椅子等)的网格。
[0014]在一些具体实施中，在设备的移动期间采集传感器数据包括在设备围绕对象移动时从对象的不同视角采集图像。
[0015]在一些具体实施中，用户界面可显示具有定位在3D空间中的加号或其他虚拟指示符(例如，指针或箭头)的扩展现实图像，以引导用户将设备定位在适当位置和取向处以采集对象的适当图像。由于跟踪是以对象为中心的，因此如果对象移动，则指示符也将相对于该对象的位置和取向移动。
[0016]在一些具体实施中，标识对象包括基于来自物理环境的图像的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在具有处理器的设备处：在所述设备于包括对象的物理环境中移动期间采集传感器数据，所述传感器数据包括经由所述设备上的相机采集的所述物理环境的图像；标识所述图像中的至少一些图像中的所述对象；基于对所述图像中的所述至少一些图像中的所述对象的所述标识来跟踪在采集所述图像期间所述设备的位置，所述位置标识所述设备相对于基于所述对象的位置和取向而定义的坐标系的定位；以及基于所述图像和在采集所述图像期间所述设备的位置来生成所述对象的三维(3D)模型。2.根据权利要求1所述的方法，其中在所述设备的所述移动期间采集所述传感器数据包括：在所述设备围绕所述对象移动时，从所述对象的不同视角采集图像。3.根据权利要求1所述的方法，其中所述设备包括用户界面，并且其中所述方法还包括：在所述设备的所述移动期间，在所述用户界面内显示包括所述对象的所述物理环境的所采集的图像。4.根据权利要求1所述的方法，其中标识所述对象包括：基于来自所述物理环境的所述图像的深度信息来生成初步对象模型，所述初步对象模型包括对应于所述对象的3D关键点。5.根据权利要求4所述的方法，其中所述初步对象模型是3D边界框，其中生成3D边界框包括：获取基于所述深度数据生成的所述物理环境的3D表示；基于所述3D表示来确定对应于所述物理环境中的所述对象的地平面；以及基于所述地平面和所述3D表示来生成对应于所述物理环境中的所述对象的所述3D边界框。6.根据权利要求5所述的方法，其中标识所述对象还包括基于对应于所述对象的所述3D关键点来调整所述初步对象模型。7.根据权利要求6所述的方法，其中调整所述初步对象模型基于3D边界框约束，所述3D边界框约束用于移除包括在所述3D边界框中的背景信息以生成更新的3D边界框。8.根据权利要求4所述的方法，其中所述深度信息包括稀疏3D点云，其中标识所述对象还包括所述稀疏3D点云的致密化，所述稀疏3D点云基于对应于所述对象的所述3D关键点。9.根据权利要求1所述的方法，其中标识所述对象还包括基于对应于所述对象的3D关键点的关键点内插，其中关键点内插包括排除在所述对象的深度边缘的接近范围内的3D关键点。10.根据权利要求1所述的方法，其中所述设备的所述跟踪位置标识所述设备相对于基于所述对象的所述位置和所述取向而定义的所述坐标系的位置和取向。11.根据权利要求1所述的方法，其中所述设备包括用户界面，其中跟踪在采集所述图像期间所述设备的位置包括：在所述用户界面上显示引导指示符以引导将所述设备移动到新位置，从而采集所述对象在所述新位置处的附加图像，其中所述引导指示符引导将所述设备移动到所述新位置和新取向，其中所述引导指示符定位在所述设备的实时相机视图中
的3D空间中。12.根据权利要求11所述的方法，其中当所述对象在所述设备的所述相机的视场内移动时，所述引导指示符基于经调整坐标系相对于所述对象移动，所述经调整坐标系是基于所述对象的经调整位置和经调整取向而定义的，其中所述对象的所述经调整位置和所述经调整取向是基于所述对象的所述移动。13.根据权利要求1所述的方法，其中跟踪所述设备的所述位置包括使用以下项来调整所述物理环境的所述图像：用于移除所述图像的背景...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：苹果公司，
类型：发明
国别省市：