具有实例检测的对象检测以及一般场景理解制造技术

本公开涉及具有实例检测的对象检测以及一般场景理解。本文所公开的各种具体实施包括确定CGR环境中的特定对象实例的设备、系统和方法。在一些具体实施中，识别物理环境的图像中描绘的对象的对象类型。然后，基于对象类型和图像来确定特定实例。在一些具体实施中，特定实例的对象具有与和对象类型的其他实例相关联的一组特征不同的一组特征。然后，获取物理环境中描绘的对象的特定实例的一组特征。理环境中描绘的对象的特定实例的一组特征。理环境中描绘的对象的特定实例的一组特征。

【技术实现步骤摘要】
具有实例检测的对象检测以及一般场景理解
[0001]相关申请的交叉引用
[0002]本申请要求2019年9月9日提交的美国临时申请序列号62/897,625的权益，该申请全文以引用方式并入本文。


[0003]本公开整体涉及电子设备，并且具体地涉及基于物理环境的图像来提供计算机生成现实(CGR)环境的系统、方法和设备。

技术介绍

[0004]CGR环境可基于物理环境的图像来创建。例如，设备可捕获物理环境的图像并在CGR环境中的物理对象中添加呈现给用户的虚拟内容。用于检测对象、识别对象的实例以及大体理解物理环境的现有技术可在效率和准确性方面得到改进。

技术实现思路

[0005]本文公开的各种具体实施包括提供对用于提供CGR环境的物理环境的场景理解的设备、系统和方法。场景理解基于检测物理环境中存在的一个或多个特定物理对象(例如，品牌x椅子、型号y)。通过首先检测对象及其类型(例如，使用第一神经网络检测椅子)，然后执行由对象类型引导的实例检测来检测对象实例，例如，使用第二神经网络来识别椅子型号或使用当前相机图像中例如从桌子周围的边界框内提取的特征部来执行视觉搜索。本文所公开的具体实施可以各种方式将对象检测与实例检测组合。在各种具体实施中，对所识别的对象类型的实例检测用于访问所识别的对象类型的实例的一组特征(例如，尺寸、材料特性等)。在一些具体实施中，基于实例检测来提供CGR环境，例如，通过组合该组特征中的一个或多个来修改CGR环境。
[0006]在一些具体实施中，对象检测使用第一机器学习模型来检测并识别物理环境的图像中的对象的对象类型。例如，对象检测检测并识别房间的物理环境的图像中的家具对象的对象类型(例如，桌子、沙发、椅子等)。然后，在一些具体实施中，实例检测使用针对该对象类型(例如，桌子)训练的第二机器学习模型，并且从所检测对象的物理环境的图像输入独特特征部，以确定对象类型的精确模型或特定实例(例如，桌子品牌模型xyz1)。在各种具体实施中，特定实例的对象具有与和对象类型的其他实例相关联的一组特征不同的一组特征。
[0007]一些具体实施使用所识别的对象类型(例如，桌子)的实例的数据库。所确定的特定实例(或特定品牌模型标识符xyz1)可用于访问(例如，经由索引)所确定的特定实例(例如，桌子xyz1)的各种信息或一组特征，诸如材料、尺寸、颜色等。在一些具体实施中，根据实例检测所确定的特定实例用于访问所识别的对象类型(例如，桌子)的该特定实例(例如，桌子xyz1)的稳健描述。在一些具体实施中，针对所确定的特定实例获取的一组特征中的一个或多个特征与CGR环境组合。在一些具体实施中，针对所确定的特定实例(例如，桌子品牌模
型标识符xyz1)获取的一组特征中的一个或多个特征用于CGR环境中的场景理解、场景重建或材料检测。在一些具体实施中，针对该特定桌子模型xyz1获取的一组特征中的一个或多个特征用于改进CGR环境的质量。
[0008]在一些具体实施中，对象类型识别之后的实例检测用于CGR环境中的环境纹理化(例如，在虚拟对象中反射真实对象)。在一些具体实施中，实例检测用于在CGR环境中的真实对象上反射虚拟对象。在一些具体实施中，实例检测用于确定CGR环境中用于增强物理模拟的真实对象的物理特性(例如，表面的摩擦、对象的反弹行为或音频反射率)。在一些具体实施中，实例检测用于使用精确对象或平面边界(例如，尺寸)在CGR环境中生成高质量场景或对象重建(例如，在没有整个对象的视觉数据的情况下)(例如，用于遮挡处理和物理模拟)。在一些具体实施中，实例检测用于CGR环境中的减弱现实(例如，移除或替换真实对象)。在一些具体实施中，实例检测用于理解CGR环境中的光照情况(例如，光源的位置、颜色或方向)。
[0009]本文所公开的各种具体实施包括确定CGR环境中的特定对象实例的设备、系统和方法。在一些具体实施中，识别物理环境(例如，内部房间)的图像中描绘的对象的对象类型(例如，桌子)。在一些具体实施中，基于物理环境的图像中的对象的对象类型和独特特征部来确定特定实例(例如，桌子品牌模型标识符xyz1)。然后，使用所确定的特定实例来获取物理环境的图像中所描绘的对象的所确定的特定实例的一组特征，以在该对象类型(例如，桌子)的实例的数据库中执行查找。在一些具体实施中，特定实例的对象具有与和对象类型的其他实例(例如，桌子品牌模型标识符abc4、桌子品牌模型标识符klm11)相关联的一组特征不同的一组特征(例如，尺寸、颜色、材料)。在一些具体实施中，通过将所确定的特定实例(例如，桌子品牌模型标识符xyz1)的一组特征中的一个或多个特征与CGR环境组合，在CGR环境中使用实例检测。
[0010]根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
附图说明
[0011]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0012]图1是根据一些具体实施的示例性操作环境的框图。
[0013]图2是根据一些具体实施的示例性控制器的框图。
[0014]图3是根据一些具体实施的示例性电子设备(例如，头戴式设备(HMD))的框图。
[0015]图4A至图4D是示出根据一些具体实施的在CGR环境中使用所识别的对象类型的特定实例的框图。
[0016]图5是示出根据一些具体实施的基于对象类型的特定实例来修改CGR环境的示例性方法的流程图。
[0017]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起
见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0018]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。尽管图1-图3示出了涉及电子设备的示例性具体实施，但其他具体实施可涉及其他类型的设备，包括但不限于手表和其他可穿戴电子设备、移动设备、膝上型计算机、台式计算机、游戏设备(HMD)、头戴式设备、家庭自动化设备以及包括或使用图像捕获设备的其他设备。
[0019]图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在具有处理器的电子设备处：识别物理环境的图像中描绘的对象的对象类型；基于所述对象类型和所述图像来确定所述对象的特定实例，所述特定实例的对象具有与和所述对象类型的其他实例相关联的一组特征不同的一组特征；以及获取所述物理环境中描绘的所述对象的所述特定实例的所述一组特征。2.根据权利要求1所述的方法，其中识别图像中描绘的对象的对象类型包括使用第一机器学习模型检测所述图像中的所述对象的多个对象类型中的所述对象类型。3.根据权利要求1所述的方法，其中基于所述对象类型和所述图像来确定所述对象的特定实例包括使用从描绘所述对象的所述图像的一部分提取的特征部来生成所述对象的所述特定实例的表示；以及使用所述表示确定所述特定实例。4.根据权利要求3所述的方法，其中使用所述表示确定所述特定实例包括：使用所述表示查询所述对象类型的实例的第一数据库；以及从所述第一数据库接收所述特定实例。5.根据权利要求4所述的方法，其中获取所述物理环境中描绘的所述对象的所述特定实例的所述一组特征包括访问数据库以接收关于所述对象的所述特定实例的材料、尺寸、物理特性或视觉特性的信息。6.根据权利要求3所述的方法，其中使用所述表示确定所述特定实例包括使用第二机器学习模型，所述第二机器学习模型输入所述对象的所述特定实例的所述实例类型和所述表示并且输出所述对象的所述特定实例。7.根据权利要求6所述的方法，其中获取所述物理环境中描绘的所述对象的所述特定实例的所述一组特征包括访问数据库以接收关于所述对象的所述特定实例的材料、尺寸、物理特性或视觉特性的信息。8.根据权利要求1所述的方法，还包括：将所述对象的所述特定实例的所述一组特征与描绘所述物理环境的CGR环境组合。9.根据权利要求8所述的方法，其中所述对象的所述特定实例的所述一组特征用于执行对描绘所述物理环境的所述CGR环境的场景理解。10.根据权利要求8所述的方法，其中所述对象的所述特定实例的所述一组特征用于在描绘所述物理环境的所述CGR环境中执行场景重建。11.根据权利要求8所述的方法，其中所述对象的所述特定实例的所述一组特征用于在描绘所述物理环境的所述CGR环境中执行材料检测。12.根据权利要求8所述的方法，其中所述对象的所述特定实例的所述一组特征用于...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：