用于化身登记的配饰检测和确定制造技术

本公开涉及用于化身登记的配饰检测和确定。本文公开了允许个体用户有机会创建三维(3D)化身的定制实例的设备、方法和非暂态程序存储设备(NPSD)，其中可将该化身的每个实例定制成具有可反映个体用户的外表的特定视觉特性和/或配饰。当例如在个体用户的化身登记或定制过程期间捕获到图像时，可在于该登记图像中识别的二维(2D)感兴趣对象(例如，眼镜框架)与存储在一个或多个3D模型对象库中的3D模型之间采用新颖形状匹配技术。可自动确定来自对象库的提供与该捕获图像中的所识别的2D感兴趣对象的最佳形状匹配的3D模型的排名列表和/或将其呈现给该用户以便例如经由用户界面进行选择，以用于创建和/或定制该用户的3D化身。以用于创建和/或定制该用户的3D化身。以用于创建和/或定制该用户的3D化身。

【技术实现步骤摘要】
用于化身登记的配饰检测和确定


[0001]本公开整体涉及图像处理领域。更具体地而非限制性地，本公开涉及用于在二维(2D)图像中识别的对象(例如，个人配饰)(例如在匹配于3D化身创建或定制过程期间捕获的个体用户的登记图像中识别的感兴趣对象时)的改进的三维(3D)对象模型匹配的技术。

技术介绍

[0002]如本文所用，“化身”可指虚拟环境中的设备的个体用户(或他们的第二自我)的视觉表示。化身通常采用在计算机游戏或二维(2D)图标或图片中使用的三维(3D)模型的形式。化身越来越多地在在线社交网络、游戏和/或其他在线通信中使用，通常作为用户的实际照片的替代物。
[0003]化身可提供一定程度的隐私，同时仍允许用户对他们的在线身份进行控制。作为用于自我表达的手段，许多用户可能期望期望定制他们自己的化身以显示反映用户的实际外表的物理特性。用户还可利用各种配饰诸如成衣制品、眼镜、头饰等等来定制他们的化身，这些配饰可反映用户的个体风格、时尚品味和/或现实生活外表。

技术实现思路

[0004]在本说明书中描述的设备、方法和NPSD中，每个个体用户可被赋予创建用户的个体化身的定制实例的机会，其中可将化身的每个实例定制成具有特定面部表情、视觉特性、身体语言和/或可反映个体用户在特定情形和情况中的外表的配饰。
[0005]由用户的化身的特定实例佩戴的配饰可选自一个或多个3D模型对象库。当捕获到图像例如可在个体用户的化身创建或定制过程期间捕获的登记图像时，可在登记图像中识别的2D感兴趣对象(例如，眼镜框架)与存储在3D模型对象库中的3D模型之间采用新颖形状匹配技术。在一些示例中，来自对象库的提供与登记图像中的所识别的2D感兴趣对象的最佳形状匹配的3D模型的排名列表可被自动确定和/或呈现给用户以例如经由用户界面进行选择，以用于创建和/或定制用户的3D化身。
[0006]因此，在第一实施方案中，公开了一种设备，该设备包括：存储器；图像捕获设备；和一个或多个处理器，该一个或多个处理器可操作地耦接到存储器，其中一个或多个处理器被配置为执行使得一个或多个处理器进行以下操作的指令：获得由图像捕获设备捕获的第一图像(例如，化身登记图像)，其中第一图像包括佩戴第一副眼镜的第一被摄者；确定第一副眼镜的第一轮廓(例如，其中眼镜在指定视图诸如前视图中取向)；获得对象库，其中对象库包括多副眼镜的第一多个3D模型；确定对象库中的多副眼镜的第一多个3D模型的第一集合中的每个3D模型的第二轮廓(例如，其中每个3D模型在指定视图中取向)，其中多副眼镜的第一多个3D模型的第一集合可包括存储在对象库中的模型的一部分，至多且包括存储在对象库中的每个模型；并且至少部分地基于第一轮廓与第一集合中的多副眼镜的3D模型中的每个3D模型的相应第二轮廓的比较来确定第一集合中的多副眼镜的3D模型中的每个3D模型的相似性得分。
[0007]在一些此类实施方案中，可至少部分地基于第一集合中的多副眼镜的3D模型的相应相似性得分来确定这些3D模型的排名列表。在其他实施方案中，可在设备的显示器上呈现第一集合中的多副眼镜的3D模型的排名列表的至少一部分，然后例如经由设备的用户界面接收对第一集合中的多副眼镜的3D模型中的第一3D模型的选择。在此类实施方案中，该设备还可呈现表示第一被摄者的化身的视图，其中化身正佩戴多副眼镜的3D模型中的所选择的第一3D模型。
[0008]在其他实施方案中，将第一轮廓与第一集合中的多副眼镜的3D模型中的每个3D模型的相应第二轮廓进行比较可包括：对齐第一轮廓和第一集合中的多副眼镜的相应3D模型的第二轮廓；然后估计第一轮廓与相应3D模型的所对齐的第二轮廓之间的区域(例如，以总像素数表示)。
[0009]在其他实施方案中，确定第一副眼镜的第一轮廓可包括：从第一图像获得第一掩蔽区域，其中第一掩蔽区域包括来自第一图像的被确定为第一副眼镜的框架的一部分的像素的指示；从第一掩蔽区域提取一组边缘像素；将该组边缘像素放置在包括多个格子的网格之上；确定位于网格的每个格子内的边缘像素的质心；然后将第一副眼镜的第一轮廓确定为关键点的排序列表，其中关键点包括网格的含有边缘像素的格子的质心，该边缘像素表示第一副眼镜的框架的外边缘。
[0010]在其他实施方案中，确定对象库中的多副眼镜的第一多个3D模型的第一集合中的每个3D模型的第二轮廓可包括：针对第一集合中的多副眼镜的每个3D模型：从如在指定视图中取向的相应3D模型中提取一组边缘像素；将该组边缘像素放置在包括多个格子的网格之上；确定位于网格的每个格子内的边缘像素的质心；然后将相应3D模型的第二轮廓确定为关键点的排序列表，其中关键点包括网格的含有边缘像素的格子的质心，该边缘像素表示一副眼镜的相应3D模型的框架的外边缘。
[0011]在又一些其他实施方案中，公开了一种设备，该设备包括：存储器；图像捕获设备；和一个或多个处理器，该一个或多个处理器可操作地耦接到存储器，其中一个或多个处理器被配置为执行使得一个或多个处理器进行以下操作的指令：获得由图像捕获设备捕获的第一图像，其中第一图像包括第一感兴趣对象；确定第一感兴趣对象的第一轮廓；获得对象库，其中对象库包括第一感兴趣对象的变体的第一多个三维(3D)模型；确定第一感兴趣对象的变体的第一多个3D模型的第一集合中的每个3D模型的第二轮廓；然后至少部分地基于第一轮廓与第一集合中的第一感兴趣对象的变体的3D模型中的每个3D模型的相应第二轮廓的比较来确定第一集合中的第一感兴趣对象的变体的3D模型中的每个3D模型的相似性得分。
[0012]在一些此类实施方案中，可至少部分地基于第一集合中的第一感兴趣对象的变体的3D模型的相应相似性得分来确定这些3D模型的排名列表。在其他实施方案中，可在设备的显示器上呈现第一集合中的第一感兴趣对象的变体的3D模型的排名列表的至少一部分，然后例如经由设备的用户界面接收对第一集合中的第一感兴趣对象的变体的3D模型中的第一3D模型的选择。在此类实施方案中，该设备还可呈现表示第一被摄者的化身的视图，其中第一感兴趣对象的变体的3D模型中的所选择的第一3D模型结合化身呈现。
[0013]本文还公开了各种NPSD实施方案。此类NPSD可被一个或多个处理器读取。指令可被存储在NPSD上，以用于使该一个或多个处理器执行本文所公开的实施方案中的任何一个
实施方案。根据本文公开的设备和NPSD实施方案，本文还公开了各种图像处理方法。
附图说明
[0014]图1A示出根据一个或多个实施方案的用于登记图像中的眼镜框架匹配的示例性系统。
[0015]图1B示出根据一个或多个实施方案的用于眼镜框架的示例性边缘检测过程。
[0016]图1C示出根据一个或多个实施方案的用于眼镜框架的示例性边缘遮挡检测过程。
[0017]图2示出根据一个或多个实施方案的与登记图像中识别的对象匹配的3D模型对象的示例性排名列表。
[0018]图3A
–
图3D是根据各种实施方案的示出在登记图像中执行眼镜框架匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备，包括：存储器；图像捕获设备；以及一个或多个处理器，所述一个或多个处理器可操作地耦接到所述存储器，其中所述一个或多个处理器被配置为执行使所述一个或多个处理器进行以下操作的指令：获得由所述图像捕获设备捕获的第一图像，其中所述第一图像包括佩戴第一副眼镜的第一被摄者；确定所述第一副眼镜的第一轮廓；获得对象库，其中所述对象库包括多副眼镜的第一多个三维(3D)模型；确定所述对象库中的多副眼镜的所述第一多个3D模型的第一集合中的每个3D模型的第二轮廓；以及至少部分地基于所述第一轮廓与所述第一集合中的多副眼镜的所述3D模型中的每个3D模型的相应第二轮廓的比较来确定所述第一集合中的多副眼镜的所述3D模型中的每个3D模型的相似性得分。2.根据权利要求1所述的设备，其中所述一个或多个处理器被进一步配置为执行使所述一个或多个处理器进行以下操作的指令：至少部分地基于所述第一集合中的多副眼镜的所述3D模型的相应相似性得分来确定所述3D模型的排名列表。3.根据权利要求2所述的设备，其中所述设备还包括显示器，并且所述一个或多个处理器被进一步配置为执行使所述一个或多个处理器进行以下操作的指令：在所述显示器上呈现所述第一集合中的多副眼镜的所述3D模型的所述排名列表的至少一部分。4.根据权利要求3所述的设备，其中所述设备还包括用户界面，并且所述一个或多个处理器被进一步配置为执行使所述一个或多个处理器进行以下操作的指令：经由所述用户界面接收对所述第一集合中的多副眼镜的所述3D模型中的第一3D模型的选择；以及在所述设备的所述显示器上呈现表示所述第一被摄者的化身的视图，其中所述化身正佩戴多副眼镜的所述3D模型中的所选择的第一3D模型。5.根据权利要求1所述的设备，其中所述第一轮廓包括所述第一副眼镜的前视图的轮廓。6.根据权利要求1所述的设备，其中所述第一集合中的多副眼镜的所述3D模型中的每个3D模型的所述相似性得分包括：所述第一轮廓与所述第一集合中的多副眼镜的相应3D模型的所述第二轮廓之间的估计区域。7.根据权利要求6所述的设备，其中用于确定所述第一集合中的多副眼镜的所述3D模型中的每个3D模型的相似性得分的所述指令还包括被配置为使所述一个或多个处理器进行以下操作的指令：在估计所述第一轮廓与所述第一集合中的多副眼镜的所述相应3D模型的所述第二轮廓之间的区域之前，对齐所述第一轮廓和所述相应3D模型的所述第二轮廓。
8.一种非暂态程序存储设备(NPSD)，包括能够由一个或多个处理器执行以进行以下操作的计算机可读指令：获得由图像捕获设备捕获的第一图像，其中所述第一图像包括佩戴第一副眼镜的第一被摄者；确定所述第一副眼镜的第一轮廓；获得对象库，其中所述对象库包括多副眼镜的第一多个三维(3D)模型；确定所述对象库中的多副眼镜的所述第一多个3D模型的第一集合中的每个3D模型的第二轮廓；以及至少部分地基于所述第一轮廓与所述第一集合中的多副眼镜的所述3D模型中的每个3D模型的相应第二轮廓的比较来确定所述第一集合中的多副眼镜的所述3D模型中的每个3D模型的相似性得分。9.根据权利要求8所述的NPSD，还包括计算机可读指令，所述计算机可读指令能够由所述一个或多个处理器执行以：至少部分地基于所述第一集合中的多副眼镜的所述3D模型的相应相似性得分来确定所述3D模型的排名列表。10.根据权利要求9所述的NPSD，还包括计算机可读指令，所述计算机可读指令能够由所述一个或多个处理器执行以：在显示器上呈现所述第一集合中的多副眼镜的所述3D模型的所述排名列表的至少一部分。11.根据权利要求...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：苹果公司，
类型：发明
国别省市：