实时的真实尺寸眼戴装置制造方法及图纸

公开了一种用于执行包括以下的操作的方法和系统：接收包括对用户面部的描绘的图像；基于所接收的图像来生成面部的多个界标；从多个界标中移除一组干扰界标，得到多个界标中的剩余的一组界标；获得用户面部的深度图；以及基于深度图和剩余的一组界标来计算用户面部的现实世界比例。的现实世界比例。的现实世界比例。

【技术实现步骤摘要】
【国外来华专利技术】实时的真实尺寸眼戴装置
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月22日提交的序列号为17/208,159的美国专利申请的优先权的权益，该美国专利申请的全部内容通过引用并入本文中。


[0003]本公开内容总体上涉及使用消息应用提供增强现实体验。

技术介绍

[0004]增强现实(AR)是对虚拟环境的修改。例如，在虚拟现实(VR)中，用户完全沉浸在虚拟世界中，而在AR中，用户沉浸在将虚拟对象与现实世界组合或将虚拟对象叠加在现实世界上的世界中。AR系统旨在生成并呈现与现实世界环境真实地交互并且彼此之间进行交互的虚拟对象。AR应用的示例可以包括单人或多人视频游戏、即时消息系统等。
附图说明
[0005]在不必然按比例绘制的附图中，相似的附图标记可以在不同的视图中描述类似的部件。为了容易地标识对任何特定元素或动作的讨论，附图标记中的一个或多个最高位数字指代该元素被首次引入时所用的图号。一些非限制性示例在附图的图中示出，在附图中：
[0006]图1是根据一些示例的可以在其中部署本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例的消息客户端应用的图解表示。
[0008]图3是根据一些示例的如在数据库中维护的数据结构的图解表示。
[0009]图4是根据一些示例的消息的图解表示。
[0010]图5是示出根据一些示例的示例真实尺寸估计系统的框图。
[0011]图6至图9是根据一些示例的真实尺寸估计系统的输出的图解表示。
[0012]图10A和10B是示出根据示例的消息应用服务器的示例操作的流程图。
[0013]图11是根据一些示例的呈计算机系统形式的机器的图解表示，在该机器内可以执行一组指令以使该机器执行本文所讨论的方法中的任何一个或更多个。
[0014]图12是示出其中可以实现示例的软件架构的框图。
具体实施方式
[0015]以下的描述包括实施本公开内容的说明性示例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于说明的目的，阐述了许多具体细节以提供对各种示例的理解。然而，对于本领域技术人员来说明显的是，可以在没有这些具体细节的情况下实践示例。通常，公知的指令实例、协议、结构和技术不需要详细示出。
[0016]通常，虚拟现实(VR)系统和增强现实(AR)系统允许用户将诸如增强现实眼戴装置(eyewear)的增强现实元素添加到捕获图像中描绘的用户的面部。为此，典型的VR系统/AR系统使用需要校准来确定图像中用户面部的比例的专门技术。例如，这些系统指示用户将
诸如信用卡的参考对象放在用户的面部上或用户的面部旁边，使得可以计算出面部的比例。然后，系统可以基于校准在用户的面部上显示增强现实眼戴装置。虽然这样的系统通常运行良好，但是对校准系统的需要给用户带来了额外的负担，并且影响了体验的享受。而且，通过校准系统来计算比例需要额外的时间和资源，使得这样的系统对于一般应用不太有效。
[0017]所公开的技术通过将所选择的一组面部界标与用户面部的深度图组合来计算用户面部的真实或现实世界比例，提高了使用电子设备的效率，这些电子设备实现或以其他方式访问AR/VR系统。具体地，所公开的技术接收包括对用户面部的描绘的图像，并且基于所接收的图像生成多个面部界标。面部界标(或面部上的界标)可以对应于人的面部的诸如鼻子、嘴巴、眼睛等预定区域。所公开的技术从多个面部界标中移除一组干扰面部界标，从而得到多个界标中的其余的一组界标。所公开的技术获得用户面部的深度图，并且基于深度图和其余的一组界标计算用户的面部的现实世界比例。然后，使用面部的现实世界比例以调整增强现实元素(例如，增强现实眼镜(例如眼戴装置)或增强现实帽子)的尺寸。现实世界的比例连同面部拓扑也用于识别在用户面部上添加或显示增强现实元素的适当位置。当用户的面部在视频中移动时，增强现实元素的定位持续被改变，以保持固定到所识别的面部的位置。以类似方式，当接收和处理描绘用户的面部的视频的新图像时，面部的现实世界比例持续被更新。
[0018]通过这种方式，所公开的技术可以在不执行任何校准操作或预捕获操作的情况下将一个或更多个视觉效果应用于当前图像中的用户面部。这改善了用户在使用电子设备方面的整体体验，并且减少了完成任务所需的系统资源的总量。
[0019]联网计算环境
[0020]图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息系统100的框图。消息系统100包括客户端设备102的多个实例，其中的每个实例托管包括消息客户端104和其他外部应用109(例如，第三方应用)的若干应用。每个消息客户端104经由网络112(例如，因特网)通信地耦接至消息客户端104(例如，托管在相应的其他客户端设备102上)、消息服务器系统108和外部应用服务器110的其他实例。消息客户端104还可以使用应用程序接口(API)与本地托管的第三方应用109通信。
[0021]消息客户端104能够经由网络112与其他消息客户端104和消息服务器系统108通信并交换数据。在消息客户端104之间以及消息客户端104与消息服务器系统108之间交换的数据包括功能(例如，激活功能的命令)以及净荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0022]消息服务器系统108能够经由网络112向特定消息客户端104提供服务器端功能。虽然消息系统100的某些功能在本文中被描述为由消息客户端104或由消息服务器系统108执行，但是某些功能的位置是在消息客户端104内还是在消息服务器系统108内可以是设计选择。例如，在技术上优选的可能是：最初将某些技术和功能部署在消息服务器系统108内，但是后面将该技术和功能迁移至客户端设备102具有足够处理能力的消息客户端104。
[0023]消息服务器系统108支持向消息客户端104提供的各种服务和操作。这样的操作包括向消息客户端104发送数据、从消息客户端104接收数据以及对由消息客户端104生成的数据进行处理。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体
增强和叠加、消息内容持续条件、社交网络信息和实况事件信息。通过经由消息客户端104的用户界面(UI)可用的功能来激活和控制消息系统100内的数据交换
[0024]现在具体地转至消息服务器系统108，应用程序接口(API)服务器116耦接至应用服务器114并向应用服务器114提供编程接口。应用服务器114通信地耦接至数据库服务器120，数据库服务器120利于访问数据库126，该数据库126存储与通过应用服务器114处理的消息相关联的数据。类似地，web服务器128耦接至应用服务器114，并且向应用服务器114提供基于web的接口。为此，web服务器128通过超文本传输协议(HTTP)和若干其他相关协议处理传入的网络请求。
[0025]应用程序接口(API)服务器116在客户端设备102与应本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由一个或更多个处理器接收包括对用户的面部的描绘的图像；基于所接收的图像来生成所述面部的多个界标；从所述多个界标中移除一组干扰界标，得到所述多个界标中的剩余的一组界标；获得所述用户的面部的深度图；以及基于所述深度图和所述剩余的一组界标来计算所述用户的面部的现实世界比例。2.根据权利要求1所述的方法，还包括：基于稳定性参数和与所述多个面部界标的可见度对应的可见度参数对所述剩余的一组界标进行排序。3.根据权利要求1至2中任一项所述的方法，还包括：获得通用三维面部模型表示；将所述剩余的一组界标与所述通用三维面部模型表示进行匹配；以及根据与所述通用三维面部模型表示匹配的所述剩余的一组界标的数目来确定所述可见度参数。4.根据权利要求2至3中任一项所述的方法，还包括：跟踪所述剩余的一组界标在包括所述图像的多个帧上的移动；以及根据所述剩余的一组界标在所述多个帧上的移动来确定所述稳定性参数。5.根据权利要求4所述的方法，其中，包括在所述多个帧中的帧的数目基于用于捕获所述多个帧的帧速率。6.根据权利要求1至5中任一项所述的方法，其中，所述一组干扰界标包括以下中的至少一个：头发区域、一个或更多个面部衣物或面罩。7.根据权利要求1至6中任一项所述的方法，其中，基于所接收的图像生成所述面部的所述多个界标包括将机器学习技术应用于所述图像以识别所述多个界标。8.根据权利要求1至7中任一项所述的方法，还包括：基于与所述剩余的一组界标中的每个界标相关联的可见度参数或稳定性参数，从所述剩余的一组界标中选择阈值数目的最靠前界标，其中，基于所述深度图和所选择的阈值数目的最靠前界标来计算所述用户的面部的现实世界比例。9.根据权利要求8所述的方法，其中，所述阈值数目包括两个最靠前界标。10.根据权利要求8至9中任一项所述的方法，还包括：响应于确定所述剩余的一组界标中的眼睛界标和鼻子界标与其他界标相比与更大的可见度参数和稳定性参数相关联，选择所述眼睛界标和所述鼻子界标作为所述最靠前界标。11.根据权利要求8至10中任一项所述的方法，其中，从所述剩余的一组界标中随机选择所述最靠前界标。12.根据权利要求11所述的方法，其中，针对包括所述图像的视频的帧的第一子集，选择第一组最靠前界标，并且其中，针对所述视频的帧的第二子集，选择第二...

【专利技术属性】
技术研发人员：阿维豪伊，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：