面部表情跟踪制造技术

本说明书涉及面部跟踪。一个示例可以包括定向结构，其被配置为相对于用户的面部来放置可穿戴设备。该示例还可以包括摄像机，其被定向结构固定为与用户的面部平行或成低角度以捕捉跨用户的面部的图像。该示例还可以包括处理器，其被配置为接收图像并且以及将图像映射到与化身模型相关联的参数。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
各种可穿戴设备由于特定原因而上市。例如，智能眼镜和头戴式显示器可以确定用户正在看什么。然而，这些设备未提供用户的有用视图，因为设备被靠着用户放置并且具有向外指向的摄像机和/或为了眼睛跟踪而指向用户的眼睛的摄像机。本概念可以通过即使当摄像机被极接近用户放置时也提供用户的有用视图来提供关于可穿戴设备的附加功能。
技术实现思路
本说明书涉及面部跟踪。一个示例可以包括定向结构，其被配置为相对于用户的面部来放置可穿戴设备。该示例还可以包括摄像机，其被定向结构固定为与用户的面部平行或成低角度以捕捉跨用户的面部的图像。该示例还可以包括处理器，其被配置为接收图像以及将图像映射到与化身(avatar)模型相关联的参数。以上列出的示例旨在提供快速参考以帮助读者，并且不旨在限定在此描述的概念的范围。附图说明附图图示了在本文档中传达的概念的实现方式。所示实现的特征可通过结合附图参考以下描述而更容易地理解。只要可行，各附图中相似的标号就用来指代相似的元素。另外，每个标号的最左边的数字传达其中首次引入该标号的附图以及相关联的讨论。图1和图4至图5示出了根据本概念的一些实现方式的可穿戴智能设备的示例。图2至图3示出了根据本概念的一些实现方式的可视化情形的示例。图6是根据本概念的一些实现方式的示例可视化过程。图7至图11B根据本概念的一些实现方式更详细地示出了示例可视化系统的各方面。图12示出了根据本概念的一些实现方式的示例可视化系统。概述本说明书涉及捕捉关于用户的有用视觉信息，诸如来自被极接近用户放置和/或以与用户成极低角度放置的摄像机的面部信息。这些概念可以被实现在运用低角度摄像机的各种可穿戴智能设备上。这些概念的一个方面包括从用户的低角度图像得出有价值信息的能力。例如，一个或多个摄像机可被靠近用户放置并且捕捉与用户的面部几乎平行的图像。正常情况下这样的图像几乎不具有价值。本实现方式可以从这些图像中得出有用信息。有用信息可以用于各种目的，诸如以逼真方式控制用户的化身。介绍性的图1示出了若干可穿戴智能设备102的示例。在这种情况下可穿戴智能设备102(1)表现为智能帽子，可穿戴智能设备102(2)表现为智能头带，可穿戴智能设备102(3)表现为智能眼镜，并且可穿戴智能设备102(4)表现为智能麦克风。当然，其他示例被预期到。可穿戴智能设备102可以包括一个或多个传感器。在这一示例中，传感器表现为低角度摄像机104、眼睛跟踪摄像机106和/或麦克风108。(注意，可穿戴智能设备102(1)和102(3)包括低角度摄像机和眼睛跟踪摄像机两者。相比之下，可穿戴智能设备102(2)和102(4)不包括眼睛跟踪摄像机)。摄像机可以是可见光摄像机和/或红外摄像机，和/或深度摄像机等。这些元件的功能在下面被说明。可穿戴智能设备还可以包括定向结构110。定向结构可以表现为框架、带、帽舌，或者帮助保持传感器相对于用户的位置和/或朝向的其他结构。如在上面提到的，所例示的实现方式中的一些实现方式利用低角度摄像机104和眼睛跟踪摄像机106两者。其他实现方式可以利用单个摄像机，该单个摄像机可以捕捉否则将由两个摄像机提供的数据。例如，具有鱼眼镜片的低角度摄像机104可以用来捕捉用户的面部的各部分，诸如眼睛、嘴部、面颊和/或下颌。总而言之，可穿戴智能设备正变得更加常见。可穿戴智能设备经常包括摄像机。然而，因为摄像机如此接近用户和/或被以不寻常的朝向放置，所以摄像机无法提供用户(特别是用户的面部)的有用图像。本实现方式可以按照产生关于用户的面部表情、嘴部运动、眨眼、眼睛注视方向等的有用信息的方式放置这些摄像机并且处理它们的图像。图2示出了涉及穿着可穿戴智能设备102(1)的“用户一”和穿着可穿戴智能设备102(2)的“用户二”以及两个显示设备202(1)和202(2)的用例情形。假定用户一位于靠近显示设备202(1)的第一位置并且用户二位于与第一位置分开某一距离的第二位置并且用户二靠近显示设备202(2)。在这一示例中，(如在图1中示出的)，可穿戴智能设备102(1)包括低角度摄像机104(1)和指向用户一的眼睛的另一摄像机(例如，眼睛跟踪摄像机)106(1)。可穿戴智能设备102(2)包括低角度摄像机104(2)。在这种情形下，可穿戴智能设备102(1)可以捕捉用户一的图像。这些图像可以用来控制用户一的表示。在这种情况下，用户一的表示表现为在靠近用户二的显示设备202(2)上呈现的用户一的化身204(1)。类似地，可穿戴智能设备102(2)可以捕捉用户二的图像。这些图像可以用来控制用户二的表示。在这种情况下，用户二的表示表现为在靠近用户一的显示设备202(1)上呈现的用户二的化身204(2)。在这种情形下，用户可以相互通信，并且它们的相应的化身可以向另一用户反映它们的眼睛运动、面部表情、下颌运动和/或嘴部运动(诸如由发音引起的)。化身204可以表现为任何形式，诸如捕捉眼睛移动、面部表情和/或嘴部运动的卡通角色或者计算机生成的角色，但是不一定像用户。在其他实现方式中，化身可以是用户的真实表示(例如，增强的逼真图像)。用于在讨论期间看见相应的化身的能力可以促进比只有语音的通信更加鲁棒和令人愉快的讨论。例如，用于在讨论期间看见其他用户的反应的能力可以提供模仿面对面交谈的反馈。还注意到，虽然在图2的情形中仅涉及两个用户，但是其他实现可以涉及附加用户。另外，因为低角度摄像机104和/或眼睛跟踪摄像机106可以跟踪用户的眼睛，所以实现方式可以辨别单独用户正在看着哪个用户(例如，用户一和用户二正在看着用户三的化身)。这种信息可以被反映在用户的化身中并且正如在面对面群组情形中一样可以是通信过程的有用部分。图3示出了与图2的用例情形类似的另一用例情形。这一特定用例情形涉及两组可穿戴智能设备102(3)(A)和102(3)(B)。虽然未被明确示出，但是假定可穿戴智能设备被图2的用户一和用户二穿着。类似于上面的相对于图2的讨论，可穿戴智能设备102(3)(A)可以捕捉用户一的低角度图像以及使用图像数据来控制可以为用户二显示的用户一的表示(例如，化身204(1))。类似地，可穿戴智能设备102(3)(B)可以执行相对于用户二的相同功能以控制可以为用户一显示的用户二的表示(例如，化身204(2))。因此，可穿戴智能设备102(3)(A)示出了用户一在看透可穿戴智能设备102(3)(A)时看见用户二的化身204(2)并且可穿戴智能设备102(3)(B)示出了用户二在看透可穿戴智能设备102(3)(B)时看见用户一的化身204(1)。总之，可穿戴智能设备102(3)(A)和102(3)(B)从用户一和用户二的角度被图示，尽管用户自身未被示出。可穿戴智能设备102(3)(A)和102(3)(B)可以捕捉用来控制穿着者的(例如，用户的)化身的关于穿着者的图像信息。化身被另一用户的可穿戴智能设备示出，该可穿戴智能设备同时捕捉用于控制该用户的化身的图像数据。换言之，用户二的化身204(2)被可穿戴智能设备102(3)(A)为用户一显示。类似地，用户一的化身204(1)被可穿戴智能设备102(3)(B)为用户二显示。因此，这一实现方式可以提供促进视频通话和/本文档来自技高网...

【技术保护点】
一种智能眼镜，包括：框架，其固定为用户看透而放置的一对镜片；至少一个传感器，其相对于所述框架被固定并且被配置为捕捉所述用户的嘴部的图像；以及，化身控制组件，其被配置为从所述用户的嘴部的所述图像获得面部参数。

【技术特征摘要】
【国外来华专利技术】2014.04.29 US 14/265,2011.一种智能眼镜，包括：框架，其固定为用户看透而放置的一对镜片；至少一个传感器，其相对于所述框架被固定并且被配置为捕捉所述用户的嘴部的图像；以及，化身控制组件，其被配置为从所述用户的嘴部的所述图像获得面部参数。2.根据权利要求1所述的智能眼镜，还包括至少一个不同的传感器，其在搜索框架上朝着所述用户的眼睛被定向并且被配置为与所述至少一个传感器捕捉所述用户的嘴部的图像同时地捕捉所述用户眼睛的其他图像，并且其中所述化身控制组件被配置为从所述图像和所述其他图像两者获得面部参数。3.根据权利要求2所述的智能眼镜，其中所述传感器和所述至少一个不同的传感器包括可见光摄像机或红外摄像机。4.根据权利要求1所述的智能眼镜，其中所述至少一个传感器包括鱼眼镜片，所述鱼眼镜片能够在单独图像中捕捉所述用户眼睛中的至少一只眼睛以及所述用户的嘴部。5.根据权利要求1所述的智能眼镜，其中所述框架包括一对镜脚并且其中所述至少一个传感器大体上与所述一对镜脚中的单独镜脚的长轴垂直地被定向。6.根据权利要求5所述的智能眼镜，其中所述一对镜脚终止于相应的耳架并且其中所述单独镜脚的所述耳...

【专利技术属性】
技术研发人员：张察，张正友，B·罗梅拉帕雷德斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US