一种眼镜虚拟试戴系统和方法技术方案

本公开主题的各个方面涉及用于诸如眼镜的物品的虚拟试戴系统、方法和机器可读介质。虚拟试戴界面可以在服务器或用户设备上实施，并且可以在眼镜的三维模型与用户面部和头部的三维模型之间使用碰撞检测，来确定虚拟试戴的眼镜的正确尺寸和位置。通过确定的尺寸和位置，将眼镜的虚拟表示叠加在用户的图像上。

【技术实现步骤摘要】
【国外来华专利技术】一种眼镜虚拟试戴系统和方法
本公开总体上涉及增强现实，并且更具体地涉及一种眼镜虚拟试戴系统和方法。
技术介绍
已经开发了将虚拟对象数字地叠加在现实对象的图像上的增强现实应用。在某些情况下，当用户导航场景时，会将虚拟对象(例如，游戏角色)添加到智能手机或平板电脑显示的场景图像中。在其他情况下，将卡通特征(例如，卡通动物面部特征)添加到智能手机或平板电脑的用户的面部图像，该图像已经被智能手机或平板电脑的相机捕获。在这些常规的增强现实系统中，虚拟对象的卡通化或不现实的性质使得虚拟对象相对于现实世界对象在尺寸、形状、方向和位置的准确性上有明显的偏差。
技术实现思路
本公开提供了一种用于一副眼镜架的虚拟试戴(VTO)系统。所公开的系统和方法使得VTO界面的用户在不接触物理眼镜架的情况下就能够确定眼镜架在其面部的外观。在公开的系统和方法中，用户的图像由照相机捕获，将眼镜架的虚拟表示叠加到捕获的图像上，并将合成图像呈现给用户。然而，在创建真实的虚拟试戴体验时，有两个主要挑战，包括(i)针对特定用户的唯一面部测量值和特征的眼镜架的实际尺寸，以及(ii)眼镜架将处于用户的真实三维面部的实际位置。根据本公开的方面，提供了克服这些挑战的系统和方法。例如，如下文中进一步详细描述的，可以至少部分地通过确定捕获的图像中用户的绝对大小和距离来克服上述挑战(i)，并且可以通过将眼镜架的三维模型与用户面部和头部的各个方面的三维位置信息迭代的相交，来克服上述挑战(ii)。根据本公开的一些方面，提供了一种计算机实施的方法。该方法包括：使用电子设备的照相机捕获用户的面部的图像；使用所述电子设备的传感器获得所述用户的三维位置信息；获得一副眼镜的三维模型；基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的位置；基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的尺寸；以及使用所述电子设备的显示器显示组合图像，所述组合图像包括所述用户的图像和具有确定的尺寸和确定的位置的所述眼镜的虚拟表示。根据本公开的一些方面，提供了一种计算机实施的方法。该方法包括：捕获用户的面部的图像；在捕获所述图像时获得所述用户的三维模型；获得一副眼镜的三维模型；基于所述图像、捕获所述图像时获得的所述用户的三维模型以及所述一副眼镜的三维模型，确定所述眼镜的虚拟表示的尺寸和位置；以及显示叠加在所述用户的面部的图像上的具有确定的尺寸和确定的位置的所述眼镜的虚拟表示。根据本公开的一些方面，提供了一种系统，该系统包括服务器和用户的用户设备，该服务器具有存储多副眼镜的三维模型的数据库。所述用户设备包括存储代码的存储器，所述代码在由所述用户设备的处理器执行时使所述处理器：捕获所述用户的面部的图像；获得所述用户的三维模型；从所述服务器获得多副眼镜中选择的一副眼镜的三维模型；基于所述图像、所述用户的三维模型以及多副眼镜中选择的一副眼镜的三维模型，确定所述选择的一副眼镜的虚拟表示的尺寸和位置；以及提供叠加在所述用户面部的图像上的具有确定的尺寸和确定的位置的所述选择的一副眼镜的虚拟表示，以进行显示。应当理解，通过以下详细描述，本主题技术的其他配置对于本领域技术人员将变得显而易见，其中，以示例方式示出并描述了本主题技术的各种配置。将会认识到，本主题技术能够具有其他和不同的配置，并且能够在各种其他方面对其若干细节进行修改，所有这些都不脱离本主题技术的范围。因此，附图和详细描述本质上应被认为是说明性的而不是限制性的。附图说明所包含的附图是为了提供进一步的理解，并且附图并入本说明书中并构成本说明书的一部分，附图示出了本公开的实施例，并且与说明书一起用于解释本公开的实施例的原理。在附图中：图1示出了适于实践本公开的一些实施方式的虚拟试戴的示例性架构。图2是示出根据本公开的某些方面的虚拟试戴界面的示意图。图3示出了根据本公开的某些方面的一副示例性的眼镜。图4是示出根据本公开的某些方面的在用户的图像上显示眼镜的虚拟表示的虚拟试戴界面的示意图。图5是示出根据本公开的某些方面的面部坐标系的示意图。图6是示出根据本公开的某些方面的在眼镜的三维模型与用户的三维模型之间的嵌入式接触的示意图。图7A至图7D示出了根据本公开的某些方面的在虚拟试戴的示例性物理放置操作期间，面部坐标系中的眼镜的三维模型的各种测试位置。图8A至图8D示出了根据本公开的某些方面的在虚拟试戴的其他示例性物理放置操作期间，面部坐标系中的眼镜的三维模型的各种测试位置。图9示出了根据本公开的某些方面的与用户的面部或头部的一部分接触的一副眼镜的一部分的截面图。图10示出了根据本公开的某些方面的图9的该副眼镜的一部分的截面图，其中，压缩了用户的面部或头部的一部分。图11示出了根据本公开的某些方面的眼镜虚拟试戴的示例性过程。图12示出了根据本公开的某些方面的用于确定眼镜的虚拟表示的位置的示例过程。图13是示出根据本公开的某些方面的获得用户的绝对测量位置的示意图。图14是示出根据本公开的某些方面的用户的三维模型的二维渲染的示意图。图15是示出根据本公开的某些方面的用户的面部界标绝对位置的示意图。图16是示出根据本公开的某些方面的示例性计算机系统的框图，可以通过该示例计算机系统实现图1的用户设备、试戴服务器和/或第三方服务器。具体实施方式在下面的详细描述中，阐述了许多具体细节以提供对本公开的全面理解。然而，对于本领域的普通技术人员显而易见的是，可以在没有这些具体细节中的一些的情况下实践本公开的实施例。在其他情况下，未详细示出公知的结构和技术，以免混淆本公开。总体概述本文公开了虚拟试戴系统和方法。虚拟试戴系统和方法对于查看眼镜或眼镜架在现实世界中如何出现在用户的面部上特别有用，而无需用户接触现实世界的眼镜或眼镜架。然而，还应当理解，本文所述的系统和方法可以应用于在用户的身体的其他部位上的其他物体的虚拟试戴，例如，眼镜配件、头饰、耳环、其他身体穿孔配件、珠宝、衣服等的虚拟试戴。本文公开的虚拟试戴系统和方法使得用户能够直观的方式查看特定现实世界的物品出现在用户的特定身体部位上。然而，已经发现，提供不遭受缺乏现实性困扰的VTO实现可能具有挑战性。在某些情况下，VTO系统可能无法访问有关用户的三维信息，从而可能猜测相对于图像中用户的面部特征要制作多大尺寸的一副虚拟眼镜。这是因为通过图像估计用户面部特征的物理尺寸并不容易，尤其是在图像中没有比例参考或没有针对图像的比例参考的情况下，更不容易。某些VTO系统可能会假设用户的头部都是平均大小，以确定虚拟眼镜合适的尺寸。但是，这种假设对于头部小于或大于平均值的用户来说将产生不真实的结果。此外，在没有无法从二维图像获得的三维信息的情况下，VTO系统可以根据典型用户的典型面部特征来猜测眼镜在客户面部的位置。然而，实际上，特定的一副眼镜在特定用户面部的位置的特殊性取决于眼镜正面的精确形状以及客户鼻梁的三维本文档来自技高网...

【技术保护点】
1.一种计算机实施的方法，所述方法包括：/n利用电子设备的照相机捕获用户的面部的图像；/n使用所述电子设备的传感器获得所述用户的三维位置信息；/n获得一副眼镜的三维模型；/n基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的位置；/n基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的尺寸；以及/n利用所述电子设备的显示器显示组合图像，所述组合图像包括所述用户的图像和具有确定的尺寸和确定的位置的所述眼镜的虚拟表示。/n

【技术特征摘要】
【国外来华专利技术】20190104 US 16/2397451.一种计算机实施的方法，所述方法包括：
利用电子设备的照相机捕获用户的面部的图像；
使用所述电子设备的传感器获得所述用户的三维位置信息；
获得一副眼镜的三维模型；
基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的位置；
基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的尺寸；以及
利用所述电子设备的显示器显示组合图像，所述组合图像包括所述用户的图像和具有确定的尺寸和确定的位置的所述眼镜的虚拟表示。


2.根据权利要求1所述的计算机实施的方法，其中，分别确定所述眼镜的虚拟表示的尺寸和位置，以准确地表示所述组合图像中的所述眼镜的尺寸和所述眼镜的位置，就如同如果将所述眼镜物理地放置在所述用户的面部所述眼镜将呈现的效果。


3.根据权利要求2所述的计算机实施的方法，其中，确定所述尺寸包括：
使用所述三维位置信息，确定所述用户的面部的物理尺寸；
使用所述图像和确定的物理尺寸，确定图像像素中的所述用户的面部的尺寸；
使用所述确定的物理尺寸和所述图像像素中的所述用户的面部的尺寸，确定所述图像中每个图像像素的像素尺寸；以及
基于所述眼镜的已知尺寸和确定的像素尺寸，确定所述眼镜的虚拟表示的尺寸。


4.根据权利要求3所述的计算机实施的方法，其中，确定所述眼镜的虚拟表示的位置包括：将所述眼镜的三维模型与所述用户的三维位置信息相交。


5.根据权利要求4所述的计算机实施的方法，其中，所述相交包括在所述眼镜的三维模型与所述用户的三维位置信息之间执行至少一次碰撞检测操作。


6.根据权利要求5所述的计算机实施的方法，其中，执行至少一次碰撞检测操作包括：在所述眼镜的三维模型的相应的多个位置处，在所述眼镜的三维模型和所述用户的三维位置信息之间迭代地执行多次碰撞检测操作。


7.根据权利要求6所述的计算机实施的方法，其中，迭代地执行多次碰撞检测操作包括：使用二进制搜索操作来迭代地确定所述多个位置。


8.根据权利要求5所述的计算机实施的方法，其中，所述用户的三维位置信息包括以下项中的至少一个：多个测量点绝对三维位置、所述用户的三维模型以及多个面部特征点绝对位置。


9.根据权利要求8所述的计算机实施的方法，其中，所述传感器包括附加照相机，所述方法还包括：
利用所述电子设备的光源产生多个光束，所述多个光束中的至少一些光束对准所述用户的面部；以及
当至少一些光束对准所述用户的面部时，使用所述附加照相机捕获第二图像。


10.根据权利要求9所述的计算机实施的方法，进一步包括：基于捕获的第二图像中的至少一些光束的反射，确定所述多个测量点绝对三维位置。


11.根据权利要求1所述的计算机实施的方法，其中，所述传感器包括附加照相机，所述方法还包括：
使用所述附加照相机捕获所述用户的附加图像；以及
基于所述照相机和所述附加照相机之间的已知距离以及所述图像和所述附加图像之间的视差效果，生成所述用户的三维位置信息。


12.根据权利要求1所述的计算机实施的方法，其中，所述传感器包括飞行时间传感器、激光测距仪、运动传感器、接近传感器、结构化光传感器和附加照相机中的至少一个。


13.一种计算机实施的方法，所述方法包括：
捕获用户的面部的图像；
在捕获所述图像时获得所述用户的三维模型；
获得一副眼镜的三维模型；
基于所述图像、捕获所述图像时...

【专利技术属性】
技术研发人员：D·戈德堡，M·拉科斯基，B·科恩，B·豪尔，B·伯恩伯格，H·扎赫里兹，
申请(专利权)人：沃比帕克公司，
类型：发明
国别省市：美国;US