使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画制造技术

VR系统中的头戴式显示器(HMD)包括用于跟踪佩戴HMD的用户的眼睛和面部的传感器。VR系统记录校准属性，诸如，用户的面部的地标。光源照亮由HMD覆盖的用户的面部的部分。结合地，面部传感器捕捉面部数据。VR系统分析面部数据以确定面部的照亮部分的平坦区域的方位。VR系统集合面部的平坦区域并且将平坦区域映射至面部的地标以生成用户的面部动画，该面部动画还可以包括眼睛方位信息。面部动画被表示为虚拟化身并且呈现给用户。面部跟踪系统生成佩戴头戴式显示器(HMD)的用户的面部的部分的虚拟渲染。面部跟踪系统照亮HMD内部的面部的部分。面部跟踪系统使用位于HMD内部的一个或多个面部传感器捕捉面部的部分的多个面部数据。至少部分基于多个面部数据识别面部的部分的多个平坦区域。多个平坦区域被映射至面部的一个或多个地标。至少部分基于该映射生成面部动画信息，该面部动画信息描述对应于用户的面部的部分的虚拟面部的部分。

【技术实现步骤摘要】
【国外来华专利技术】使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
本公开内容大体上涉及头戴式显示器(HMD)，并且具体地涉及HMD内的眼睛和面部跟踪。本公开内容进一步涉及虚拟渲染，并且具体地涉及HMD内的用户的面部的部分的虚拟动画。
技术介绍
虚拟现实(VR)系统一般包括呈现虚拟现实图像的显示屏幕，该虚拟现实图像可以描述诸如系统的目标和用户的元素。用户可以由虚拟环境中的化身表示。在一些VR系统中，仅利用一个面部表情(例如，默认微笑或中立的面部表情)描述化身，这防止用户在虚拟环境中具有完全沉浸式体验。面部跟踪系统提供更多沉浸式界面。除了必须放置在正在跟踪的用户的面部上的标记之外，跟踪用户的面部表情的现有系统包括专用的外围设备，诸如，相机。这些传统的外围设备和标记使用户与虚拟环境人为地分开。因此，现有的面部跟踪系统不适于在便携式的、轻便的且高性能的虚拟现实头戴耳机中使用。
技术实现思路
根据一个实施方式，VR系统中的头戴式显示器(HMD)包括用于跟踪佩戴HMD的用户的眼睛和面部的传感器。VR系统记录校准属性，诸如，用户的面部的地标。例如，地标描述用户的鼻子相对于用户的面部的位置。校准属性还可以从全局校准属性的在线数据库检索。HMD包括放置在HMD内部的面部传感器，并且在一些实施方式中，HMD还包括也放置在HMD内部的光源。光源照亮由HMD覆盖的用户的面部的部分。结合地，面部传感器捕捉描述面部的照亮部分的面部数据。面部数据可以是称为面部数据帧的图像。在这种情况下，VR系统分析面部数据帧以确定面部的照亮部分的平坦区域(即，用户的面部的近似平面的小部分)的方位。具体地，VR系统使用像素亮度信息确定表面的方位。像素亮度取决于光源的位置和/或方位，因为当入射角等于反射角时反射光最亮。VR系统集合面部的平坦区域并且将平坦区域映射至面部的地标以生成描述用户的面部的面部动画信息。根据又一实施方式，VR系统中的HMD包括用于跟踪HMD内的用户的面部的部分的面部跟踪系统。面部跟踪系统经由一个或多个光源照亮HMD内部的用户的面部的部分。面部跟踪系统捕捉面部的部分的多个面部数据。面部数据使用位于HMD内部的一个或多个面部传感器捕捉。面部传感器可以是成像传感器、非成像传感器、或者它们的组合。在一些实施方式中，面部跟踪系统至少部分基于多个面部数据识别面部的部分的多个平坦区域(即，用户的面部的近似平面的小部分)。面部跟踪系统可以将多个平坦区域映射至面部的一个或多个地标，并且至少部分基于该映射生成面部动画信息。面部动画信息描述用户的面部的部分(例如，在面部数据中捕捉的部分)。在其他实施方式中，面部跟踪系统将面部数据提供至例如生成面部动画的控制台。面部跟踪系统将面部动画提供至HMD的显示器以用于呈现给用户。面部动画信息可以用于更新用户的虚拟化身的面部的部分。例如，用户在使用HMD时观看虚拟化身，并且因此体验沉浸式VR体验。VR系统还可以跟踪佩戴HMD的用户的眼睛。因此，面部动画信息可用于更新用户的虚拟化身的眼睛方位。根据本专利技术的又一实施方式具体在针对系统和方法的所附权利要求中公开，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一个权利要求类别(例如，系统、存储介质、计算机程序产品等)中要求保护。仅由于形式的原因而选择了所附权利要求中的从属权利要求或后向引用。然而，也可以被要求保护故意后向引用对任何上述权利要求(具体地，多个从属权利要求)导致的任何主题内容，以权利要求及其特征的任何组合被公开并且不管在所附权利要求中选择的从属权利要求都可以要求保护。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独权利要求中和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护。在根据本专利技术的实施方式中，头戴式显示器(HMD)包括：显示元件，被配置为向佩戴HMD的用户显示内容；光学块，被配置为将光从显示元件引导至HMD的出射光瞳；多个光源，放置在围绕光学块的离散位置处，多个光源被配置为照亮用户的HMD内部的面部的部分；面部传感器，被配置为捕捉通过多个光源中的一个或多个照亮的面部的部分的一个或多个面部数据；以及控制器，被配置为：从面部传感器接收多个捕捉的面部数据，并且至少部分基于多个捕捉的面部数据生成描述用户的面部的部分的面部动画信息。在根据本专利技术的实施方式中，头戴式显示器(HMD)可包括：显示元件，被配置为向佩戴HMD的用户显示内容；光学块，被配置为将光从显示元件引导至HMD的出射光瞳；多个光源，放置在围绕光学块的离散位置处，多个光源被配置为照亮用户的HMD内部的面部的部分；面部传感器，被配置为捕捉通过多个光源中的一个或多个照亮的面部的部分的一个或多个面部数据；以及控制器，被配置为：从面部传感器接收多个捕捉的面部数据，并且至少部分基于多个捕捉的面部数据生成描述用户的面部的部分的面部动画信息；和/或将捕捉的面部数据提供至虚拟现实(VR)控制台，并且至少部分基于多个捕捉的面部数据从VR控制台接收用户的面部的部分的虚拟动画。HMD进一步可包括被配置为将光从显示元件引导至HMD的出射光瞳的光学块。控制器可进一步被配置为：将指令提供给用户以在校准处理中执行一个或多个面部表情；从面部传感器接收对应于一个或多个面部表情中的至少一个的校准属性；并且至少部分基于校准属性识别用户的面部的一个或多个地标，并且其中，描述用户的面部的部分的面部动画信息进一步基于一个或多个地标。显示元件可被配置为向用户显示化身，并且化身的面部可基于面部动画信息。控制器可进一步被配置为：至少部分基于多个捕捉的面部数据识别面部的部分的多个表面；将多个表面映射至描述面部的区域的一个或多个地标；并且其中，描述用户的面部的部分的面部动画信息进一步基于该映射。面部传感器可以选自由以下各项组成的组合：相机、音频传感器、应变计、电磁传感器和近程式传感器。控制器可进一步被配置为：将指令提供至多个光源以照亮面部的部分；并且将与提供至多个光源的指令协调的指令提供至面部传感器，以捕捉一个或多个面部数据。多个光源可被放置在围绕光学块的环形布置中，并且提供至多个光源的指令可被协调为使得只有多个光源中的一个光源在任何给定时间照亮面部的部分。控制器可进一步被配置为：从多个面部数据接收镜面反射信息；并且至少部分基于镜面反射信息识别用户的眼睛的位置。面部动画信息可以进一步基于用户的眼睛的位置。在根据本专利技术的实施方式中，头戴式显示器(HMD)包括：显示元件，被配置为向佩戴HMD的用户显示内容；多个光源，被放置在用户的视线外部的离散位置处，多个光源被配置为照亮用户的HMD内部的面部的部分；面部传感器，被配置为捕捉通过多个光源中的一个或多个照亮的面部的部分的一个或多个面部数据；以及控制器，被配置为：从面部传感器接收多个捕捉的面部数据，并且至少部分基于多个捕捉的面部数据生成描述用户的面部的部分的面部动画信息。在根据本专利技术的实施方式中，头戴式显示器(HMD)包括：显示元件，被配置为向佩戴HMD的用户显示内本文档来自技高网...

【技术保护点】
1.一种头戴式显示器(HMD)，包括：显示元件，被配置为向佩戴HMD的用户显示内容；多个光源，放置在围绕光学块的离散位置处，所述多个光源被配置为照亮所述用户的所述HMD内部的面部的部分；面部传感器，被配置为捕捉通过所述多个光源中的一个或多个照亮的所述面部的部分的一个或多个面部数据；以及控制器，被配置为：从所述面部传感器接收多个捕捉的面部数据，并且至少部分基于所述多个捕捉的面部数据生成描述所述用户的所述面部的所述部分的面部动画信息；和/或将所述捕捉的面部数据提供至虚拟现实(VR)控制台，并且至少部分基于所述多个捕捉的面部数据从所述VR控制台接收所述用户的所述面部的所述部分的虚拟动画。

【技术特征摘要】
【国外来华专利技术】2016.06.03 US 15/172,473;2016.06.03 US 15/172,4841.一种头戴式显示器(HMD)，包括：显示元件，被配置为向佩戴HMD的用户显示内容；多个光源，放置在围绕光学块的离散位置处，所述多个光源被配置为照亮所述用户的所述HMD内部的面部的部分；面部传感器，被配置为捕捉通过所述多个光源中的一个或多个照亮的所述面部的部分的一个或多个面部数据；以及控制器，被配置为：从所述面部传感器接收多个捕捉的面部数据，并且至少部分基于所述多个捕捉的面部数据生成描述所述用户的所述面部的所述部分的面部动画信息；和/或将所述捕捉的面部数据提供至虚拟现实(VR)控制台，并且至少部分基于所述多个捕捉的面部数据从所述VR控制台接收所述用户的所述面部的所述部分的虚拟动画。2.根据权利要求1所述的HMD，进一步包括被配置为将光从所述显示元件引导至所述HMD的出射光瞳的光学块。3.根据权利要求1或2所述的HMD，其中，所述控制器进一步被配置为：将指令提供给所述用户以在校准处理中执行一个或多个面部表情；从所述面部传感器接收对应于所述一个或多个面部表情中的至少一个的校准属性；并且至少部分基于所述校准属性识别所述用户的所述面部的一个或多个地标，并且其中，描述所述用户的所述面部的所述部分的所述面部动画信息进一步基于所述一个或多个地标。4.根据权利要求1至3中任一项所述的HMD，其中，所述显示元件被配置为向所述用户显示化身，并且所述化身的面部基于所述面部动画信息。5.根据权利要求1至4中任一项所述的HMD，其中，所述控制器进一步被配置为：至少部分基于所述多个捕捉的面部数据识别所述面部的所述部分的多个表面；将所述多个表面映射至描述所述面部的区域的一个或多个地标；并且其中，描述所述用户的所述面部的所述部分的所述面部动画信息进一步基于所述映射。6.根据权利要求1至5中任一项所述的HMD，其中，所述面部传感器选自由以下各项组成的组合：相机、音频传感器、应变计、电磁传感器和近程式传感器；优选地，其中，所述控制器进一步被配置为：将指令提供至所述多个光源以照亮所述面部的所述部分；并且将与提供至所述多个光源的所述指令协调的指令提供至所述面部传感器，以捕捉所述一个或多个面部数据；和/或优选地，其中，所述多个光源被放置在围绕所述光学块的环形布置中，并且其中，提供至所述多个光源的所述指令被协调为使得只有所述多个光源中的一个光源在任何给定时间照亮所述面部的所述部分。7.根据权利要求1至6中任一项所述的HMD，其中，所述控制器进一步被配置为：从所述多个面部数据接收镜面反射信息；并且至少部分基于所述镜面反射信息识别所述用户的眼睛的位置；优选地，其中，所述面部动画信息进一步基于所述用户的所述眼睛的所述位置。8.一种用于提供佩戴头戴式显示器(HMD)的用户的面部动画信息的方法，包括：经由一个或多个光源照亮佩戴所述HMD的用户的HMD内部的面部的部分；使用位于所述HMD内部的一个或多个面部传感器捕捉所述面部的所述部分的多个面部数据；至少部分基于所述多个面部数据识别所述面部的所述部分的多个平坦区域；将所述多个平坦区域映射至所述面部的一个或多个地标；并且至少部分基于所述映射生成面部动画信息，所述面部动画信息描述对应于所述用户的面部的所述部分的虚拟面部的部分；和/或将所述映射提供至虚拟现实(VR)控制台；至少部分基于所述映射从所述VR控制台接收面部动画信息，所述面部动画信息描述包括所述用户的面部的所述部分的虚拟面部；并且将所述面部动画信息提供至所述HMD的显示器以用于呈现给所述用户。9.根据权利要求8所述的方法，进一步包括：使用所述面部动画信息更新化身的虚拟面部；并且将所述虚拟面部提供至所述HMD的显示元件以用于呈现给所述用户。10.根据权利要求8或9所述的方法，...

【专利技术属性】
技术研发人员：多夫·卡茨，迈克尔·约翰·托克斯韦格，王梓衡，蒂莫西·保罗·欧梅尼克，托林·罗斯·赫恩登，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国,US