用户姿势驱动的化身装置和方法制造方法及图纸

本文公开了与动画摄制和再现化身相关联的装置、方法和存储介质。在实施例中，装置可以包括姿势追踪器和动画引擎。姿势追踪器可以配置成检测和追踪对应于灌录面部表情的用户姿势，用户姿势包括对应于灌录面部表情要被动画摄制的持续时间的持续时间分量。另外，姿势追踪器可以配置成响应于用户姿势的检测和追踪，并且输出描述所检测到的/所追踪到的用户姿势或标识灌录面部表情，和所述持续时间的一个或多个动画消息。动画引擎可以配置成接收所述一个或多个动画消息，并且依照所述一个或多个动画消息驱动化身模型以针对所述持续时间利用灌录面部表情的动画来动画摄制化身。可以描述和/或要求保护其他实施例。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及数据处理的领域。更特别地，本公开涉及化身的用户姿势驱动的动画和再现。
技术介绍
本文所提供的背景描述是出于一般地呈现本公开的上下文的目的。除非本文以其它方式指示，否则在本章节中描述的材料不是对本申请中的权利要求的现有技术，并且不通过包括在本章节中而被承认为现有技术。作为用户的图形表示，化身在虚拟世界中已经相当流行。然而，大多数现有化身系统是静止的，并且它们中没有几个通过文本、脚本或语音来驱动。一些其它的化身系统使用图形交换格式（GIF）动画，其为按顺序播放的一组预定义静止化身图像。在最近几年，随着计算机视觉、相机、图像处理等的进展，一些化身可以通过面部表情来驱动。然而，现有系统趋于是计算密集的，要求高性能的通用和图形处理器，并且不在诸如智能电话或计算平板电脑之类的移动设备上良好地工作。而且，现有系统不支持用户与动画交互或者针对用户与动画交互具有非常有限的支持。附图说明实施例将通过结合随附各图的以下详细描述而容易理解。为了促进该描述，相似的参考标号指代相似的结构元件。实施例通过示例的方式并且不通过限制的方式图示在随附各图的图中。图1图示了根据所公开的实施例的口袋化身系统的框图。图2-4图示了根据所公开的实施例的交互驱动的化身动画。图5是图示了根据所公开的实施例的用于生成面部表情和交互动画消息的过程的流程图。图6是图示了根据所公开的实施例的用于交织面部表情和交互动画的过程的流程图。图7是图示了根据所公开的实施例的用于利用用户定义的姿势的被引导动画的过程的流程图。图8图示了根据所公开的实施例的适合于用于实践本公开的各种方面的示例计算机系统。图9图示了根据所公开的实施例的具有用于实践参照图2-7所描述的方法的指令的存储介质。具体实施方式本文公开了与动画摄制和再现化身相关联的装置、方法和存储介质。在实施例中，装置可以包括姿势追踪器和动画引擎。姿势追踪器可以配置成检测和追踪对应于灌录（canned）面部表情的用户姿势，用户姿势包括对应于灌录面部表情要进行动画摄制的持续时间的持续时间分量。另外，姿势追踪器可以配置成响应于用户姿势的检测和追踪，并且输出描述所检测到/所追踪到的用户姿势或标识灌录面部表情和所述持续时间的一个或多个动画消息。动画引擎可以配置成接收所述一个或多个动画消息，并且依照所述一个或多个动画消息来驱动化身模型，以针对所述持续时间利用灌录面部表情的动画来动画摄制化身。在以下详细描述中，参照形成其部分的随附各图，其中相似的标号自始至终指代相似的部分，并且其中通过图示的方式示出可以实践的实施例。要理解到，可以利用其它实施例，并且可以在不脱离本公开的范围的情况下做出结构或逻辑改变。因此，以下详细描述不以限制性意义上来理解，并且实施例的范围由随附权利要求及其等同方案限定。本公开的各方面在随附描述中公开。本公开的可替换实施例及其等同方案可以在不脱离本公开的精神或范围的情况下被设想到。应当指出的是，以下所公开的相似元件通过附图中的相似参考数字来指示。各种操作可以以最有助于理解所要求保护的主题的方式被描述为依次的多个分立动作或操作。然而，描述的次序不应当被解释为暗示这些操作必然是次序相关的。特别地，这些操作可以不以呈现的次序执行。所描述的操作可以以与所描述的实施例不同的次序执行。可以执行各种附加操作，和/或可以在附加的实施例中省略所描述的操作。出于本公开的目的，短语“A和/或B”意味着（A）、（B）或（A和B）。出于本公开的目的，短语“A、B和/或C”意味着（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A，B和C）。描述可以使用短语“在一实施例中”或“在实施例中”，其每一个可以是指相同或不同的实施例中的一个或多个。另外，短语“包括”、“包含”、“具有”等，如关于本公开的实施例所使用的，是同义的。如本文所使用的，短语“模块”可以是指专用集成电路（ASIC）、电子电路、处理器（共享、专用或群组）和/或存储器（共享、专用或群组）（其执行一个或多个软件或固件程序）、组合逻辑电路和/或提供所描述的功能的其它合适的组件、作为专用集成电路（ASIC）、电子电路、处理器（共享、专用或群组）和/或存储器（共享、专用或群组）（其执行一个或多个软件或固件程序）、组合逻辑电路和/或提供所描述的功能的其它合适的组件的一部分或包括专用集成电路（ASIC）、电子电路、处理器（共享、专用或群组）和/或存储器（共享、专用或群组）（其执行一个或多个软件或固件程序）、组合逻辑电路和/或提供所描述的功能的其它合适的组件。现在参照图1，其中示出根据所公开的实施例的口袋化身系统。如所图示的，口袋化身系统100可以包括面部和姿势追踪器102、化身动画引擎104和化身再现引擎106，其与彼此耦合，如所示。面部和姿势追踪器102可以配置成检测用户的面部表情、头部姿态和/或手部/手指姿势，并且为化身动画引擎104输出具有关于所检测到的面部表情、头部姿态、手部/手指姿势和/或相关/推断数据的信息的动画消息108。化身动画引擎104可以配置成接收动画消息108，并且依照动画消息108驱动化身模型以动画摄制化身，复制用户的面部表情和/或头部移动，或者化身上的灌录面部表情。灌录面部表情的动画还可以包括灌录面部表情的用户控制的保持和/或移动/动作。化身再现引擎106可以配置成如化身动画引擎104动画摄制的那样绘制化身。在实施例中，面部和姿势追踪器102可以配置成接收多个图像帧，例如来自图像源，诸如相机（未示出），检测所述多个图像帧内的用户面部的面部动作移动、用户头部的头部姿态姿势和/或用户手部的手部/手指姿势，并且全部实时地输出具有描绘所检测到的面部动作移动（例如眼睛和/或嘴巴移动）的多个面部运动参数、描绘所检测到的头部姿态姿势（诸如头部旋转、移动和/或更靠近或更远离相机）的头部姿态姿势参数和/或描绘所检测到的手部/手指姿势的手部/手指姿势参数的动画消息。面部和姿势追踪器102还可以配置成例如从与触摸屏（未示出）相关联的触摸屏驱动器接收触摸信号，基于触摸信号检测用户手部的手部/手指姿势，并且同样实时地输出描绘所检测到的手部/手指姿势的多个手部/手指姿势参数。此外，动画消息108可以包括标识对应于所检测到的用户的手部/手指姿势的灌录面部表情的信息。另外，动画消息108可以包括关于灌录面部表情要保持的持续时间和/或灌录面部表情的面部移动的信息，以使得灌录面部表情的动画能够是交互式的，从而潜在地使灌录面部表情的动画更加有意思。在实施例中，面部和姿势追踪器102可以至少包括头部姿态、嘴巴打开、网格追踪和/或手部/手指姿势功能块，其足够精确，而在其所要求的处理功率方面可缩放，使得口袋化身系统100适合于由宽范围的移动计算设备主控，所述移动计算设备诸如智能电话和/或计算平板电脑。除了手部/手指姿势检测，包括关于所检测到的手部/手指姿势、对应灌录面部表情、保持时间和/或移动/动作的信息的动画消息108的输出，面部和姿势追踪器102可以是公开在2014年3月19日提交的题为FACIALEXPRESSIONAND/ORINTERACTIONDRIVENAVATARAPPARA本文档来自技高网...

【技术保护点】
一种用于再现化身的装置，包括：姿势追踪器，其检测和追踪对应于灌录面部表情的用户姿势，用户姿势包括对应于灌录面部表情要被动画摄制的持续时间的持续时间分量，并且响应于用户姿势的检测和追踪，输出描述用户姿势的检测或追踪或标识灌录面部表情和所述持续时间的一个或多个动画消息；以及与姿势追踪器耦合的动画引擎，其接收所述一个或多个动画消息，并且依照所述一个或多个动画消息驱动化身模型以针对所述持续时间利用灌录面部表情的动画来动画摄制化身。

【技术特征摘要】
【国外来华专利技术】1.一种用于再现化身的装置，包括：姿势追踪器，其检测和追踪对应于灌录面部表情的用户姿势，用户姿势包括对应于灌录面部表情要被动画摄制的持续时间的持续时间分量，并且响应于用户姿势的检测和追踪，输出描述用户姿势的检测或追踪或标识灌录面部表情和所述持续时间的一个或多个动画消息；以及与姿势追踪器耦合的动画引擎，其接收所述一个或多个动画消息，并且依照所述一个或多个动画消息驱动化身模型以针对所述持续时间利用灌录面部表情的动画来动画摄制化身。2.权利要求1的装置，其中姿势追踪器检测和追踪针对一个时间段利用触摸屏的连续触摸终止的划扫姿势，划扫姿势对应于要动画摄制的灌录面部表情，持续时间分量是触摸屏的连续触摸，并且持续时间是所述时间段。3.权利要求1的装置，其中动画引擎通过在开始时段期间将一个或多个预定义的形状混合成中性面部来动画摄制灌录面部表情。4.权利要求3的装置，其中动画引擎在保持时段期间将化身保持在针对所述持续时间的灌录面部表情处。5.权利要求4的装置，其中动画引擎通过在结束时段期间解除混合所述一个或多个预定义的形状以将化身返回到中性面部来终止灌录面部表情的动画。6.权利要求1-5中任一项的装置，其中姿势追踪器检测和追踪进一步包括对应于灌录面部表情的面部移动的面部移动分量的用户姿势，并且响应于用户姿势的检测，输出还标识面部移动的一个或多个动画消息；并且动画引擎进一步依照所述一个或多个动画消息来驱动化身模型，以利用包括针对所述持续时间的面部移动的灌录面部表情的动画来动画摄制化身。7.权利要求1-5中任一项的装置，其中姿势追踪器检测和追踪利用触摸屏的连续触摸终止的划扫姿势，以及针对一个时间段在一个方向上和在另一方向上在触摸屏之上的滑动，划扫姿势对应于要动画摄制的灌录面部表情，滑动对应于灌录面部表情的面部移动，持续时间分量是触摸屏的连续触摸，并且持续时间是所述时间段。8.权利要求7的装置，其中动画引擎通过以下来动画摄制灌录面部表情：在开始时段期间将第一一个或多个预定义的形状混合成中性面部，进一步在保持时段期间混合或解除混合第二一个或多个预定义的形状成灌录面部表情以动画摄制针对所述持续时间的灌录面部表情的面部移动，并且在结束时段期间解除混合第一或第二一个或多个预定义的形状以将化身返回到中性面部。9.权利要求1的装置，其中姿势追踪器还接受用户姿势的定义。10.权利要求9的装置，其中姿势追踪器在定义用户姿势中接受手指移动轨迹、手部姿势或面部姿势。11.权利要求9的装置，其中姿势追踪器在定义用户姿势中接受针对化身的移动或动作定义。12.权利要求11的装置，其中移动或动作是以下中的所选一个：–化身遵循由轨迹定义的路径；–化身随机移动；–化身逐渐消失；–化身依照模式上下弹跳；或者–化身相对于轴旋转。13.一种用于再现化身的方法，包括：通过计算设备检测和追踪对应于灌录面部表情的用户姿势，用户姿势包括对应于灌录面部表情要被动画摄制的持续时间的持续时间分量，并且响应于用户姿势的检测和追踪，输出描述用户姿势的检测或追踪或标识灌录面部表情和所述持续时间的一个或多个动画消息；以及通过计算设备依照所述一个或多个动画消息驱动化身模型以针对所述持续时间利用灌录面部表情的动画来动画摄制化身。14.权利要求13的方法，其中检测和追踪包括检测和追踪针对一个时间段利用触摸屏的连续触摸终止的划扫姿势，划扫姿势对应于要动画摄制的灌录面部表情，持续时间分量是触摸屏的连续触摸，并且持...

【专利技术属性】
技术研发人员：栗强，童晓峰，杜杨洲，李文龙，CJ奥泽尔，JES罗伦佐，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US