通过面部表情操纵远程化身制造技术

方法(300)包括接收面部(20)的第一面部框架(144a)和第一捕获图像(130a)。第一面部框架对应于第一帧处的面部并且包括面部信息(140)的第一面部网格(142a)。该方法还包括将第一捕获图像投射到第一面部框架上，以及基于所投射的第一捕获图像确定与面部相对应的面部纹理(212)。该方法还包括接收在第二帧处的第二面部框架(144b)，该第二面部框架包括面部信息的第二面部网格(142b)，以及基于接收到的第二面部框架来更新面部纹理。该方法还包括将更新后的面部纹理显示为三维化身(160)。三维化身对应于面部的虚拟表示。

【技术实现步骤摘要】
【国外来华专利技术】通过面部表情操纵远程化身
本公开涉及通过面部表情操纵(puppeteer)远程化身。
技术介绍
随着技术的演进，人们继续采用技术作为一种交流形式。例如，技术允许通信从简单的物理对话扩展到远程实时对话。但是，随着这种扩展，远程通信形式通常缺乏捕获物理对话中涉及的表情和情感的能力。例如，通常很难从电子邮件或文本对话中解读(decipher)出情感上下文。为了克服这些缺陷，通信方法试图提供表示情感和表情的方式。例如，文本应用现在包括各种表情符号和动画，以表达心情、观点或仅提供异想天开的娱乐。随着人们越来越多地使用实时音频和视频连接进行通信，对在这些通信频道内反映用户个性和角色的方式的需求也在不断增长。
技术实现思路
本公开的一个方面提供了一种用于操纵远程化身的方法。该方法包括在数据处理硬件处接收具有中性面部表情的用户的面部的第一面部框架和第一捕获图像。第一面部框架对应于第一帧处的用户的面部并且包括面部信息的第一面部网格。该方法还包括由数据处理硬件将面部的第一捕获图像投射到第一面部框架上，以及由数据处理硬件基于所投射的捕获图像确定与本文档来自技高网...

【技术保护点】
1.一种方法(300)，包括：/n在数据处理硬件(154)处接收具有中性面部表情(22)的用户(10)的面部(20)的第一面部框架(144a)和第一捕获图像(130a)，所述第一面部框架(144a)对应于第一帧处的所述用户(10)的面部(20)并且包括面部信息(140)的第一面部网格(142a)；/n由所述数据处理硬件(154)将所述面部的第一捕获图像(130a)投射到所述第一面部框架(144a)上；/n由所述数据处理硬件(154)基于所投射的第一捕获图像(130a)确定与所述用户(10)的面部(20)相对应的面部纹理(212)；/n在所述数据处理硬件(154)处接收第二面部框架(144b)，...

【技术特征摘要】
【国外来华专利技术】20180507 US 62/667,7671.一种方法(300)，包括：
在数据处理硬件(154)处接收具有中性面部表情(22)的用户(10)的面部(20)的第一面部框架(144a)和第一捕获图像(130a)，所述第一面部框架(144a)对应于第一帧处的所述用户(10)的面部(20)并且包括面部信息(140)的第一面部网格(142a)；
由所述数据处理硬件(154)将所述面部的第一捕获图像(130a)投射到所述第一面部框架(144a)上；
由所述数据处理硬件(154)基于所投射的第一捕获图像(130a)确定与所述用户(10)的面部(20)相对应的面部纹理(212)；
在所述数据处理硬件(154)处接收第二面部框架(144b)，所述第二面部框架(144b)对应于第二帧处的所述用户(10)的面部(20)，并且包括面部信息(140)的第二面部网格(142b)；
由所述数据处理硬件(154)基于所接收到的第二面部框架(144b)来更新所述面部纹理(212)；以及
由所述数据处理硬件(154)将更新后的面部纹理(212)显示为三维化身(160)，所述三维化身(160)对应于所述用户(10)的面部(20)的虚拟表示。


2.根据权利要求1所述的方法(300)，进一步包括：
在所述数据处理硬件(154)处接收所述用户(10)的面部(20)的第二捕获图像(130b)，所述第二捕获图像(130b)捕获微笑作为所述用户的面部表情(22)；
在所述数据处理硬件(154)处接收所述用户(10)的面部(20)的第三捕获图像(130c)，所述第三捕获图像(130c)捕获抬起的双眉作为所述用户的面部表情(22)；
在所述数据处理硬件(154)处接收所述用户(10)的面部(20)的第四捕获图像(130d)，所述第四捕获图像(130d)捕获微笑和抬起的双眉作为所述用户的面部表情(22)；
对于每个捕获图像，由所述数据处理硬件(154)确定与所述用户(10)的面部(20)相对应的面部表情(22)纹理；
由所述数据处理硬件(154)基于所接收到的第二面部框架(144b)将每个捕获图像的所述面部表情(22)纹理与所述更新后的面部纹理(212)进行混合，以生成混合的面部纹理(212)；以及
由所述数据处理硬件(154)使用所述混合的面部纹理(212)渲染所述三维化身(160)。


3.根据权利要求2所述的方法(300)，其中，混合进一步包括：
确定每个捕获图像的纹理矢量(232)，所述纹理矢量(232)对应于与具有所述中性面部表情(22)的所述第一捕获图像(130a)的差的矢量表示；
基于所接收到的第二面部框架(144b)来确定当前纹理矢量(232)；
基于所述当前纹理矢量(232)和每个捕获图像的所述纹理矢量(232)之间的差来指配渲染权重(244)；以及
基于所述渲染权重(244)，使用所述混合的面部纹理(212)来渲染所述三维化身(160)。


4.根据权利要求3所述的方法(300)，其中，所述渲染权重(244)的总和等于1。


5.根据权利要求3或4所述的方法(300)，其中，所述当前纹理矢量(232)和每个捕获图像的纹理矢量(232)中的每一个对应于五十二变量浮点矢量。


6.根据权利要求5所述的方法(300)，其中，随着所述当前纹理矢量(232)和每个捕获图像的纹理矢量(232)之间的差增加，所述渲染权重(244)在量值上下降。


7.根据权利要求1-6中的任一项所述的方法(300)，进一步包括：
在所述数据处理硬件(154)处，接收具有所述第二帧处的面部信息(140)的当前面部表情(22)网格的所述用户(10)的面部(20)的捕获的当前图像；和
由所述数据处理硬件(154)基于所接收到的面部框架和所述捕获的当前图像来更新所述面部纹理(212)。


8.根据权利要求7所述的方法(300)，其中，所接收到的捕获的当前图像对应于减少量的面部纹理(212)。


9.根据权利要求8所述的方法(300)，进一步包括：
由所述数据处理硬件(154)基于所接收到的捕获的当前图像来确定所述用户(10)的面部(20)的被遮挡的部分；和
由所述数据处理硬件(154)将所述用户(10)的面部(20)的所述被遮挡的部分与从来自先前帧的未被遮挡的捕获图像生成的面部纹理(212)进行混合。


10.根据权利要求1至9中的任一项所述的方法(300)，进一步包括，由所述数据处理硬件(154)通过下述生成所述用户的眼睛或嘴巴的再现：
由所述数据处理硬件(154)检测所述眼睛或所述嘴巴的边缘；
由所述数据处理硬件(154)确定与所述眼睛或所述嘴巴的边缘相关联的角度之和对应于两个pi(360度)；
由所述数据处理硬件(154)基于对应于两个pi的所检测到的边缘来近似所述眼睛或嘴巴的位置；
由所述数据处理硬件(154)从所述面部的捕获的图像中在所近似的位置处提取所述眼睛或嘴巴；以及
由所述数据处理硬件(154)通过填充在所近似的位置处渲染所提取的嘴巴或所提取的眼睛。


11.根据权利要求1至10中的任一项所述的方法(300)，其中，所述第一捕获图像(130a)包括来自移动电话(100)的红绿蓝(RGB)图像。


12.根据权利要求1-11中的任一项所述的方法(300)，其中，所述三维化身(160)被显示在增强现实(AR)设备(100)上。


13.一种系统(100)，包括：
数据处理硬件(154)；和
与所述数据处理硬件(154)通信的存储器硬件(156)，所述存储器硬件(156)存储指令，所述指令在所述数据处理硬件(15...

【专利技术属性】
技术研发人员：塔雷克·赫夫尼，尼古拉斯·赖特，布兰东·扬，阿伦·坎多尔，迪隆·考尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US