面部表情和/或交互驱动的化身装置和方法制造方法及图纸

本文公开了与动画制作和渲染化身相关联的装置、方法和存储介质。在实施例中，装置可以包括面部网格追踪器以全部实时地，接收多个图像帧，在多个图像帧内检测面部的面部动作移动以及头部的头部姿势姿态，并且输出描绘所检测的面部动作移动和头部姿势姿态的多个面部运动参数和头部姿势参数，以用于化身的动画制作和渲染。可以通过基于图像帧的像素采样的嘴巴和眼睛以及头部的帧间差异来检测面部动作移动和头部姿势姿态。面部动作移动可以包括嘴巴的张开或闭合，以及眼睛的眨动。头部姿势姿态可以包括诸如倾斜、偏移、转动的头部旋转，和头部沿水平和竖直方向的移动，以及头部更靠近或者更远离相机。可以描述和/或要求保护其它的实施例。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及数据处理的领域。更具体地，本公开涉及化身的面部表情和/或交互驱动的动画制作（animate）和渲染。
技术介绍
本文中提供的背景描述是用于一般地呈现本公开的上下文的目的。除非在本文中另外指示，否则在该章节中描述的素材不是对本申请中的权利要求来说的现有技术并且不通过包括于本章节而承认其为现有技术。作为用户的图形表示，化身已经在虚拟世界中相当流行。然而，大多数现有化身系统是静态的，并且它们中仅几个由文本、脚本或语音驱动。一些其它化身系统使用图形互换格式（GIF）动画，其是一组顺序播放的预定义的静态化身图像。近几年来，随着计算机视觉、相机、图像处理等的发展，一些化身可以通过面部表演来驱动。然而，现有系统往往是计算密集的，需要高性能的通用和图形处理器，并且在诸如智能电话或计算平板之类的移动设备上不能很好地工作。附图说明通过结合随附各图的以下详细描述将容易地理解实施例。为了促进该描述，相同的参考标号指明相同的结构元素。通过示例而非限制的方式在随附各图的图形中图示了实施例。图1图示了根据所公开的实施例的小型化身系统的框图。图2图示了根据所公开的实施例的针对图1的面部网格追踪器的更详细框图。图3和4图示了根据所公开的实施例的交互驱动的化身。图5是图示了根据所公开的实施例的用于生成面部表情和交互动画制作消息的过程的流程图。图6是图示了根据所公开的实施例的用于交错面部表情和交互动画制作的过程的流程图。图7是图示了根据所公开的实施例的用于估计头部姿势的过程的流程图。图8图示了根据所公开的实施例的适用于实践本公开的各种方面的示例计算机系统。图9图示了根据所公开的实施例的具有用于实践参照图2-7描述的方法的指令的存储介质。具体实施方式本文公开了与动画制作和渲染化身相关联的装置、方法和存储介质。在实施例中，装置可以包括面部网格追踪器以全部实时地接收多个图像帧，通过该多个图像帧检测用户面部的面部动作移动和用户头部的头部姿势姿态，并且输出描绘所检测的面部动作移动的多个面部运动参数、以及描绘所检测的头部姿势姿态的多个头部姿势姿态参数，以用于化身的动画制作和渲染。可以基于图像帧的像素采样而通过针对面部的嘴巴和眼睛以及头部的帧间差异来检测面部动作移动和头部姿势姿态。在实施例中，面部动作移动可以包括嘴巴的张开或闭合，以及眼睛的眨动，并且多个面部运动参数可以包括描绘嘴巴的张开或闭合以及眼睛的眨动的参数。头部姿势姿态可以包括头部的倾斜、偏移、转动，头部的水平和竖直移动，以及头部的距离改变（变得更靠近或者更远离捕获图像帧的相机），并且多个头部姿势参数可以包括描绘头部的倾斜、偏移、转动、水平/竖直移动和距离改变的参数。在实施例中，装置还可以包括化身动画制作引擎，其与面部网格追踪器耦合以接收由面部网格追踪器输出的多个面部运动参数，并且驱动化身模型以动画制作化身，从而通过多个预定义的形状的混合而在化身上复制用户的面部表情。另外，装置可以包括化身渲染引擎，其与化身动画制作引擎耦合以绘制如由化身动画制作引擎所动画制作的化身。在以下详细描述中，参照形成其部分的附图，其中相同标号自始至终指明相同部分，并且其中通过例证的方式而示出可以实践的实施例。要理解到，可以利用其它实施例，并且可以做出结构或逻辑改变，而不脱离本公开的范围。因此，不应以限制性含义理解以下详细描述，并且实施例的范围由随附权利要求及其等价物所限定。在随附描述中公开本公开的方面。可以设想到本公开的替换实施例及其等价物而不脱离本公开的精神或范围。应当指出，在附图中由相同参考标号指示下文公开的相同元素。可以以最有助于理解所要求保护的主题的方式将各种操作描述为多个相继的分立动作或操作。然而，描述的次序不应当被解释为暗示这些操作必然是依赖于次序的。特别地，可以不以呈现次序而执行这些操作。可以以与所描述的实施例不同的次序而执行所描述的操作。在附加实施例中，可以执行各种附加操作和/或可以省略所描述的操作。出于本公开的目的，短语“A和/或B”意指（A）、（B）或者（A和B）。出于本公开的目的，短语“A、B和/或C”意指（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或者（A、B和C）。描述可以使用短语“在一实施例中”或者“在实施例中”，其各自可以是指相同或不同实施例中的一个或多个。此外，如关于本公开的实施例所使用的术语“包含”、“包括”、“具有”等是同义词。如本文中所使用，术语“模块”可以是指执行一个或多个软件或固件程序的专用集成电路（ASIC）、电子电路、处理器（共享、专用或分组）和/或存储器（共享、专用或分组）、组合逻辑电路、和/或提供所述功能性的其它适当组件、作为它们的部分或者包括它们。现在参照图1，其中示出了根据所公开的实施例的小型化身系统。如所图示，小型化身系统100可以包括面部网格追踪器102、化身动画制作引擎104和化身渲染引擎106，它们如所图示的那样彼此耦合。面部网格追踪器102可以被配置成全部实时地例如从诸如相机（未示出）之类的图像源接收多个图像帧，在多个图像帧内检测用户面部的面部动作移动和/或用户头部的头部姿势姿态，并且输出描绘所检测的面部动作移动（例如眼睛和/或嘴巴移动）的多个面部运动参数、以及描绘所检测的头部姿势姿态（诸如头部旋转、移动和/或变得更靠近或者更远离相机）的头部姿势姿态参数。化身动画制作引擎104可以被配置成接收由面部网格追踪器102输出的多个面部运动参数，并且驱动化身模型以动画制作化身，从而在化身上复制用户的面部表情和/或头部移动。化身渲染引擎106可以被配置成绘制如由化身动画制作引擎104所动画制作的化身。在实施例中，面部网格追踪器102可以至少包括头部姿势、嘴巴张开和网格追踪功能块，其足够精确而又在其所要求的处理能力方面可扩展，从而使得小型化身系统100适用于由各种各样的移动计算设备托管，诸如智能电话和/或计算平板。附加地，在实施例中，通过多个预定义的形状的混合，化身动画制作引擎104可以在化身上复制用户的面部表情，从而进一步使得小型化身系统100适用于由各种各样的移动计算设备所托管。在实施例中，面部网格追踪器102可以被配置成生成并且输出具有描绘所检测的面部动作移动的面部运动参数以及描绘头部姿势姿态的头部姿势姿态参数的动画制作消息108以用于化身动画制作引擎104。在实施例中，面部网格追踪器102和化身动画制作引擎104还可以被配置成协作以支持用户交互驱动的化身动画制作，其中可以动画制作与用户交互（例如挥动姿态）对应的所录（canned）表情（例如伸出舌头）来代替所检测的面部表情和/或头部姿势。类似地，面部网格追踪器102可以被配置成检测、生成并且输出动画制作消息108，其具有关于用户交互的信息，例如开始时段、保持时段和结束时段，和/或对应的所录表情。在实施例中，面部网格追踪器102可以被配置成通过使用3D面部动作模型以及使用3D面部形状模型预构建的用户的3D中性面部形状来生成用户的归一化头部姿势。可以通过3D面部数据库的机器学习而预构建3D面部动作模型和3D面部形状模型二者。尽管小型化身系统100被设计成特别地适用于在诸如智能电话、平板手机、计算平板、膝上型计算机或电子阅读器之类的移动设备上操作，本文档来自技高网...

【技术保护点】
一种用于渲染化身的装置，包括：一个或多个处理器；以及面部网格追踪器，其由一个或多个处理器操作以全部实时地，接收多个图像帧，通过所述多个图像帧检测用户面部的面部动作移动以及用户头部的头部姿势姿态，并且输出描绘所检测的面部动作移动的多个面部运动参数、以及描绘所检测的头部姿势姿态的多个头部姿态参数，以用于化身的动画制作和渲染；其中面部动作移动和头部姿势姿态的检测包括基于图像帧的像素采样来检测面部上的嘴巴和眼睛以及头部的帧间差异。

【技术特征摘要】
【国外来华专利技术】1.一种用于渲染化身的装置，包括：一个或多个处理器；以及面部网格追踪器，其由一个或多个处理器操作以全部实时地，接收多个图像帧，通过所述多个图像帧检测用户面部的面部动作移动以及用户头部的头部姿势姿态，并且输出描绘所检测的面部动作移动的多个面部运动参数、以及描绘所检测的头部姿势姿态的多个头部姿态参数，以用于化身的动画制作和渲染；其中面部动作移动和头部姿势姿态的检测包括基于图像帧的像素采样来检测面部上的嘴巴和眼睛以及头部的帧间差异。2.权利要求1所述的装置，其中面部动作移动包括嘴巴的张开或闭合，以及眼睛的眨动，并且所述多个面部运动参数包括描绘嘴巴的张开或闭合的一个或多个第一面部运动参数以及描绘眼睛的眨动的一个或多个第二面部运动参数。3.权利要求1所述的装置，其中所述多个图像帧由相机捕获，并且头部姿势姿态包括头部旋转、沿水平和竖直方向的移动、以及头部更靠近或者更远离相机；并且其中所述多个头部姿势姿态参数包括描绘头部旋转、头部沿水平和竖直方向的移动、以及头部更靠近或者更远离相机的头部姿势姿态参数。4.权利要求1所述的装置，其中面部网格追踪器包括面部检测功能块以通过多个图像帧中的一个或多个的窗口扫描检测面部；其中窗口扫描包括改进普查变换特征的提取以及每一个窗口位置处的层叠分类器的应用。5.权利要求1所述的装置，其中面部网格追踪器包括标志检测功能块以检测面部上的标志点；其中标志点的检测包括根据平均面部形状的面部矩形中的初始标志位置的指派，以及通过显式形状递归迭代地指派准确标志位置。6.权利要求1所述的装置，其中面部网格追踪器包括初始面部网格拟合功能块以至少部分地基于在面部上所检测的多个标志点而采用Candide3线框头部模型来初始化面部网格的3D姿势。7.权利要求1所述的装置，其中面部网格追踪器包括面部表情估计功能块以至少部分地基于在面部上所检测的多个标志点而通过最小平方拟合来初始化多个面部运动参数。8.权利要求1所述的装置，其中面部网格追踪器包括头部姿势追踪功能块以基于多个图像帧的子采样像素的子集而应用动态模板匹配和重新登记来计算用户头部的旋转角度。9.权利要求1所述的装置，其中面部网格追踪器包括嘴巴张开估计功能块以基于多个图像帧的子采样像素的子集而应用FERN递归来计算嘴巴的上嘴唇和下嘴唇的张开距离。10.权利要求1所述的装置，其中面部网格追踪功能块基于多个图像帧的子采样像素的子集以及连续图像帧的图像对准来调节面部网格的位置、取向或变形以便维持面部的连续覆盖以及通过面部网格对面部移动的反映。11.权利要求1所述的装置，其中面部网格追踪器包括追踪确认功能块以应用一个或多个面部区或眼睛区分类器而监控面部网格追踪状态，以便确定是否有必要重新定位面部。12.权利要求1所述的装置，其中面部网格追踪器包括嘴巴形状校正功能块以通过用于嘴巴的帧间直方图差异的检测来校正嘴巴形状。13.权利要求1所述的装置，其中面部网格追踪器包括眼睛眨动检测功能块以通过光流分析来估计眼睛眨动。14.权利要求1所述的装置，其中面部网格追踪器包括面部网格适配功能块以根据所导出的面部动作单元来重构面部网格，并且在面部网格之下重新采样当前图像帧以便设立下一图像帧的处理。15.权利要求1所述的装置，其中面部网格追踪器包括混合形状映射功能块以将面部动...

【专利技术属性】
技术研发人员：杜杨洲，TH金，李文龙，Q李，童晓峰，王涛，M朴，O迪欣内，张益民，Y崔，柳宇宙，W刘，T萨赫森，MD斯米利，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US