用于眼镜的虚拟适配系统和方法技术方案

本主题技术的各个方面涉及用于虚拟适配诸如眼镜和/或眼镜架的物品的系统、方法和机器可读介质。用于虚拟适配的用户界面可以在服务器或用户设备处实现，并利用用户的三维信息和每个眼镜架的三维信息识别和/或推荐可能适配用户的眼镜架，其中眼镜架信息存储在眼镜架数据库中。可以对于一组眼镜架或对于用户选择的每个单独的眼镜架提供适配信息。适配信息可以与眼镜架的静态图像一起提供和/或在眼镜架被虚拟地放置在用户的实时图像上的虚拟试戴操作中提供。操作中提供。操作中提供。

【技术实现步骤摘要】
【国外来华专利技术】用于眼镜的虚拟适配系统和方法
[0001]相关申请的交叉引用
[0002]本PCT申请要求2019年8月26日提交的美国专利申请号16/550,614的优先权，该申请的全部内容通过引用并入本文。


[0003]本公开总体上涉及基于网络的界面，并且更具体地涉及用于眼镜的虚拟适配系统和方法及其使用。
[0004]所有参考文献(包括专利和专利申请)以及在本PCT申请中引用的成果及其公开内容均通过引用整体并入本文。

技术介绍

[0005]已经开发了虚拟试戴(VTO)系统，其中，VTO界面的用户可以虚拟地试戴一副眼镜。具体地，VTO系统可以捕获用户的串流图像，获得一副眼镜的图像，并在VTO界面中显示叠加在用户的串流图像上的该副眼镜的图像。以这种方式，用户能够从几个不同的角度看到那副眼镜在他们面部上的样子，而无需这副眼镜物理上存在。
[0006]然而，可能希望提供改进的VTO系统和方法，其在选择一副眼镜以进行虚拟试戴和/或购买时为用户提供附加信息和/或引导。

技术实现思路

[0007]考虑到上述问题，本公开提供了一种用于将一副眼镜或其眼镜架虚拟地适配到特定用户的面部的系统。还可以为用户提供在适配之前、期间或之后对眼镜架进行VTO的能力。所公开的系统和方法允许适配和/或VTO界面的用户在无需接触物理眼镜架的情况下确定数十、数百或数千个眼镜架中的哪些可能适配用户的面部，并确定眼镜架在他们面部上的样子。
[0008]在所公开的系统和方法中，使用从用户自己的设备接收的三维位置信息，对于用户获得一组面部标志和测量，该面部标志和测量已被预先确定为与光学和太阳镜架适配相关。这组面部标志和测量与每个眼镜架的已知特征一起用于识别可能适配该特定用户的一组眼镜架。这组眼镜架可以作为建议的一组眼镜架提供给用户，用于虚拟试戴，和/或可以通过VTO界面提供针对选择用于试戴的每个眼镜架的适配信息。
[0009]适配引导和VTO系统的这种组合允许用户了解哪些眼镜架将适配他们的面部，并在他们的面部的实时图像上预览虚拟眼镜架。在所公开的系统和方法中，当还执行VTO操作时，通过相机捕获用户的图像，将眼镜架的虚拟表示叠加在捕获的图像上，并且将合成图像呈现回给用户，可选地添加或叠加适配信息。
[0010]在各种操作场景中，可以通过用户自己的设备和一个或多个远程适配服务器(例如，存储眼镜架的数据库的一个或多个基于云的服务器，和/或处理从用户设备提供的用户测量以对于数据库中的一个或多个眼镜架生成适配确定的一个或多个基于云的服务器)的
各种组合来执行适配引导和VTO操作。例如，在一个操作场景中，从眼镜架数据库接收眼镜架信息、从用户设备的传感器接收用户测量并生成适配引导信息的适配引擎可以在通过有线和/或无线连接与用户设备和眼镜架数据库通信的基于云的服务器处实现。在另一示例操作场景中，从眼镜架数据库接收眼镜架信息、从用户设备的传感器接收用户测量并生成适配引导信息的适配引擎可以在用户设备上实现，从而在用户设备处本地地执行所有适配操作。在另一示例操作场景中，用户设备和一个或多个适配服务器可以协作以处理眼镜架信息、用户测量和/或其他信息以生成适配引导信息并提供VTO服务。
[0011]根据本文公开的一些方面，提供了一种计算机实现的方法。该方法包括捕获用户的面部的图像；在捕获所述图像时获得所述用户的三维模型；获得一副眼镜的三维模型；基于所述图像、在捕获所述图像时所述用户的所述三维模型和一副眼镜的所述三维模型，确定眼镜的虚拟表示的尺寸和位置；以确定的尺寸并且在确定的位置处显示叠加在用户的面部的所述图像上的眼镜的虚拟表示；基于在捕获所述图像时所述用户的所述三维模型和该一副眼镜的所述三维模型，确定该一副眼镜的适配信息；和将所述适配信息以及眼镜的虚拟表示和用户的面部的所述图像上的叠加一起显示。
[0012]根据本文公开的一些方面，提供了一种计算机实现的方法。该方法包括在在适配服务器处从用户设备接收对来自与所述适配服务器关联的眼镜架数据库中的多个眼镜架中的一个或多个眼镜架的选择；使用所述适配服务器基于来自所述用户设备的传感器的传感器数据获得所述用户设备的用户的面部标志位置信息；使用所述适配服务器获得所述一个或多个眼镜架中的每一个的眼镜架标志位置信息；使用所述适配服务器的适配引擎，基于所述面部标志位置信息和所述眼镜架标志位置信息，生成所述一个或多个眼镜架中的每一个的适配信息；和使用所述适配服务器提供所述一个或多个眼镜架中的每一个的所述适配信息，以在所述用户设备处显示。
[0013]根据本文公开的一些方面，提供了一种计算机实现的方法。该方法包括在眼镜架数据库中存储多个眼镜架中的每一个的多个尺寸类别中的一个，每个尺寸类别对应于用户测量的范围；使用电子设备的传感器获得用户的三维位置信息；基于所述三维位置信息确定所述用户的用户测量；基于所述用户的所述用户测量和用户测量对于所述尺寸类别的范围，对于所述用户识别所述尺寸类别中对应的尺寸类别；和提供与所述多个眼镜架的子组关联的信息进行显示，所述子组中的每个眼镜架具有识别的对应的尺寸类别。
[0014]根据本文公开的一些方面，一种包括处理器可读指令的非暂时性计算机可读介质，该被处理器可读指令配置为使处理器执行本公开中描述的方法或计算机实现的方法。
[0015]根据本文公开的一些方面，一种用于虚拟试戴至少一副眼镜的设备，该设备包括用于捕获用户的面部的图像的装置；用于在捕获所述图像时获得所述用户的三维模型的装置；用于获得一副眼镜的三维模型的装置；用于基于所述图像、在捕获所述图像时所述用户的所述三维模型和该一副眼镜的所述三维模型确定眼镜的虚拟表示的尺寸和位置的装置；用于以确定的尺寸并且在确定的位置处显示叠加在用户的面部的所述图像上的眼镜的虚拟表示的装置；用于基于在捕获所述图像时所述用户的所述三维模型和该一副眼镜的所述三维模型确定该一副眼镜的适配信息的装置；和用于将所述适配信息以及眼镜的虚拟表示和用户的面部的所述图像上的叠加一起显示的装置。
[0016]根据本文公开的一些方面，一种用于虚拟试戴一个或多个眼镜架的设备，该设备
包括用于从适配服务器接收对来自与所述适配服务器关联的眼镜架数据库中的多个眼镜架中的一个或多个眼镜架的选择的装置；用于使用所述适配服务器获得用户的面部标志位置信息的装置；用于使用所述适配服务器获得所述一个或多个眼镜架中的每一个的眼镜架标志位置信息的装置；用于使用所述适配服务器的适配引擎基于所述面部标志位置信息和所述眼镜架标志位置信息生成所述一个或多个眼镜架中的每一个的适配信息的装置；和用于使用所述适配服务器提供所述一个或多个眼镜架中的每一个的所述适配信息的装置。
[0017]根据本文公开的一些方面，一种用于虚拟试戴一个或多个眼镜架的设备，该设备包括用于存储多个眼镜架中的每一个的多个尺寸类别中的一个的装置，每个尺寸类别对应于用户测量的范围；用于获得所述用户的三维位置信息的装置；用于基于所述三维位置信息确定所述用户的用户测量的装置；用于基于所述用户的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：捕获用户的面部的图像；在捕获所述图像时获得所述用户的三维模型；获得一副眼镜的三维模型；基于所述图像、在捕获所述图像时所述用户的所述三维模型和所述一副眼镜的所述三维模型，确定眼镜的虚拟表示的尺寸和位置；以确定的尺寸并且在确定的位置处显示叠加在用户的面部的所述图像上的眼镜的虚拟表示；基于在捕获所述图像时所述用户的所述三维模型和所述一副眼镜的所述三维模型，确定所述一副眼镜的适配信息；和将所述适配信息以及眼镜的虚拟表示和用户的面部的所述图像上的叠加一起显示。2.根据权利要求1所述的计算机实现的方法，其中，确定所述适配信息包括将在捕获所述图像时所述用户的所述三维模型和所述一副眼镜的所述三维模型提供给适配引擎，该适配引擎实现被训练以生成所述一副眼镜和所述用户的所述适配信息的机器学习模型。3.根据权利要求1所述的计算机实现的方法，其中，确定所述适配信息包括确定与所述一副眼镜关联的多个眼镜架标志位置和与所述用户的所述三维模型关联的对应的多个面部标志位置之间的多个空间偏移。4.根据权利要求1所述的计算机实现的方法，其中，所述适配信息包括所述一副眼镜的适配质量的文本指示符和所述一副眼镜的适配质量的图形指示符中的至少一个。5.根据权利要求1所述的计算机实现的方法，其中，所述适配信息包括适配标度条和指示所述一副眼镜的适配的标记。6.根据权利要求5所述的计算机实现的方法，其中，所述适配信息还包括至少一个引导线，所述至少一个引导线指示所述一副眼镜的眼镜架的眼镜架标志的位置。7.根据权利要求1所述的计算机实现的方法，还包括提供用于查看具有高于所述一副眼镜的适配概率的适配概率的至少另一副眼镜的可选选项进行显示。8.根据权利要求1所述的计算机实现的方法，还包括提供用于查看以下至少一项的可选选项进行显示：具有与所述一副眼镜的眼镜架相似的眼镜架的另一副眼镜；和由具有与所述用户的面部形状相似的面部形状的另一用户先前选择的另一副眼镜，所述面部形状是基于在捕获所述图像时所述用户的所述三维模型确定的。9.根据权利要求8所述的计算机实现的方法，其中，具有与所述一副眼镜的眼镜架相似的眼镜架的所述另一副眼镜具有与所述一副眼镜的眼镜架相同的眼镜架样式和与所述一副眼镜的眼镜架不同的尺寸的眼镜架。10.根据权利要求1所述的计算机实现的方法，其中，确定所述虚拟表示的位置包括在所述用户的所述三维模型和所述一副眼镜的所述三维模型之间执行多个碰撞检测操作。11.一种计算机实现的方法，包括：在适配服务器处从用户设备接收对来自与所述适配服务器关联的眼镜架数据库中的多个眼镜架中的一个或多个眼镜架的选择；使用所述适配服务器基于来自所述用户设备的传感器的传感器数据，获得所述用户设
备的用户的面部标志位置信息；使用所述适配服务器，获得所述一个或多个眼镜架中的每一个的眼镜架标志位置信息；和使用所述适配服务器的适配引擎，基于所述面部标志位置信息和所述眼镜架标志位置信息，生成所述一个或多个眼镜架中的每一个的适配信息；和使用所述适配服务器提供所述一个或多个眼镜架中的每一个的所述适配信息，以在所述用户设备处显示。12.根据权利要求11所述的计算机实现的方法，其中，所述适配信息包括用于所述一个或多个眼镜架中的每一个的适配概率。13.根据权利要求12所述的计算机实现的方法，还包括使用所述适配引擎基于所述适配概率和适配阈值来确定所述一个或多个眼镜架中的第一个是良好适配的眼镜架而所述一个或多个眼镜架中的第二个是不佳适配的眼镜架，并且其中，所述方法还包括使用所述适配服务器提供以下内容在所述用户设备处进行显示：所述一个或多个眼镜架中的所述第一个的适配指示符；和均类似于所述一个或多个眼镜架中的所述第二个并均具有高于所述适配阈值的适配概率的多个其他眼镜架中的每一个的图像和适配信息。14.根据权利要求13所述的计算机实现的方法，还包括以基于所述多个其他眼镜架中的每一个的至少一个相似性分数和所述适配概率确定的顺序提供所述多个其他眼镜架中的每一个的所述图像和适配信息。15.一种计算机实现的方法，包括：在眼镜架数据库中存储多个眼镜架中的每一个的多个尺寸类别中的一个，每个尺寸类别对应于用户测量的范围；使用电子设备的传感器获得用户的三维位置信息；基于所述三维位置信息确定所述用户的用户测量；基于所述用户的所述用户测量和用户测量对于所述尺寸类别的范围，对于所述用户识别所述尺寸类别中对应的尺寸类别；和提供与所述多个眼镜架的子组关联的信息进行显示，所述子组中的每个眼镜架具有被识别的所述尺寸类别中所述对应的尺寸类别。16.根据权利要求15所述的计算机实现的方法，还包括在获得所述用户的所述三维位置信息之前，提供以下内容进行显示：与所述多个眼镜架关联的信息，以及用于获得所述多个眼镜架的适配信息的可选选项。17.根据权利要求16所述的计算机实现的方法，其中，获得所述三维位置信息包括响应于接收对所述可选选项的选择而获得所述三维位置信息。18.根据权利要求17所述的计算机实现的方法，其中，提供与所述多个眼镜架的所述子组关联的信息包括提供以下内容进行显示：所述子组中每个眼镜架的图像；和所述子组中每个眼镜架的适配概率。19.根据权利要求18所述的计算机实现的方法，还包括：
接收对所述子组中的眼镜架中的一个的选择；和使用所述电子设备的相机捕获所述用户的面部的图像；获得所述眼镜架中被选择的一个的三维模型；基于所述图像和所述三维位置信息确定所述眼镜架中被选择的一个的虚拟表示的位置；基于所述图像和所述三维位置信息确定所述眼镜架中被选择的一个的虚拟表示的尺寸；和使用所述电子设备的显示器显示组合图像，所述组合图像包括所述用户的所述图像和具有确定的尺寸和确定的位置的所述眼镜架中被选择的一个的虚拟表示。20.根据权利要求19所述的计算机实现的方法，还包括提供所述眼镜架中被选择的一个的不佳适配的指示符进行显示。21.根据权利要求19所述的计算机实现的方法，还包括提供用于查看以下至少一项的可选选项进行显示：比所述眼镜架中被选择的一个更可能适配的一个或多个其他眼镜架，与所述眼镜架中被选择的一个相似的一个或多个其他眼镜架，和由均具有与所述用户的面部形状相似的面部形状的其他用户先前已选择...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：沃比帕克公司，
类型：发明
国别省市：