基于单个图像的实时身体动画制造技术

本申请提供用于基于单个图像的身体动画的系统及方法。示例性方法包括：接收输入图像，输入图像包括人的身体；将输入图像分割成身体部分及背景部分，其中，身体部分包括与人的身体对应的像素；将模型适配到身体部分，其中，模型被配置成接收表示身体的姿势的姿势参数并且生成输出图像，输出图像包括采用姿势的身体的图像；接收一系列另外的姿势参数，一系列另外的姿势参数中的每一个表示身体的另外的姿势中的一个；将一系列另外的姿势参数中的每一个提供到模型，以生成采用另外的姿势的身体的一系列输出图像；以及基于一系列输出图像生成输出视频。输出视频。输出视频。

【技术实现步骤摘要】
【国外来华专利技术】基于单个图像的实时身体动画


[0001]本公开大体来说涉及数字图像处理。更具体来说，本公开涉及用于基于单个图像的实时身体动画的方法及系统。

技术介绍

[0002]身体动画可用于许多应用，例如广告、娱乐节目、社交媒体网络、计算机游戏、视频、视频对话、虚拟现实、增强现实等。基于单个相片的人的身体的动画在各种应用中可尤其有用。例如，相片上的人可通过执行与真实视频相似的运动而“活跃起来”，例如跳舞、表演杂技、打斗等等。基于单个相片的人的身体的动画需要创建特定人的身体的现实模型并且使模型在场景中执行动作或交互。

技术实现思路

[0003]以简化形式提供此部分来介绍一系列概念，一系列概念将在以下的具体实施方式部分进行进一步描述。此
技术实现思路
不旨在标识要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定要求保护的主题的范围。
[0004]根据本公开的一个实施例，提供一种用于基于单个图像的实时身体动画的方法。方法可包括由计算装置接收输入图像。输入图像可包括人的身体。方法还可包括由计算装置将输入图像分割成身体部分及背景部分。身体部分可包括输入图像与人的身体对应的像素。方法还可包括由计算装置将模型适配到身体部分。模型可被配置成接收表示身体的姿势的一组姿势参数且基于一组姿势参数生成输出图像。输出图像可包括采用姿势的身体的图像。方法还可包括由计算装置接收一系列另外的多组姿势参数。另外的多组姿势参数中的每一个可表示身体的另外的姿势中的至少一个。方法可包括由计算装置将一系列另外的多组姿势参数中的另外的每一组提供到模型，以生成采用另外的姿势的身体的一系列输出图像。方法还可包括由计算装置基于一系列输出图像生成输出视频，其中，输出视频的每一帧包括输出图像中的至少一个。
[0005]分割输入图像可由神经网络执行。一系列另外的多组姿势参数可基于运动视频生成。运动视频可以采用另外的姿势的另一人为特征。
[0006]模型可包括位于三维(3D)空间中的一组关节点。关节点可指示关节在身体中的位置。模型可包括网格，网格包括位于3D空间中的网格点。网格点中的每一个可被分配有一组蒙皮权重。蒙皮权重中的每一个可与关节点中的至少一个相关联。模型可包括纹理映射，纹理映射用于在网格上生成纹理。
[0007]一组姿势参数可包括关节点相对于参考点的旋转角度。生成输出图像可包括通过变换网格点来变换网格。网格点中的每一个可旋转一定角度。角度可基于关节点的旋转角度以及蒙皮权重确定。生成输出图像还可包括将纹理映射应用于经变换的网格，以生成经变换的网格的纹理。
[0008]模型的适配可包括基于身体部分确定通用模型。通用模型可包括指示身体中的关
节的一组关键点及指示身体的形状的一组形状参数。适配还可包括基于身体部分确定身体图像的第一轮廓且基于通用模型确定身体图像的第二轮廓。适配还可包括确定一组成对的点。成对的点中的每一对可包括位于第一轮廓上的第一点及位于第二轮廓上的第二点。适配还可包括基于一组成对的点使通用模型翘曲以获取翘曲模型。适配还可包括基于翘曲模型确定网格以及一组关节点。
[0009]一组关节点可基于网格生成。一组关节点可包括一组关键点。纹理映射可通过使网格展开以生成网格的二维(2D)表示而生成。生成纹理映射还可包括针对网格的2D表示的每个面确定面是否对应于身体在输入图像中可见的一部分。如果面对应于身体在输入图像中可见的一部分，则可将身体部分的分割分配到网格的2D表示的面。如果面不对应于身体在输入图像中可见的一部分，则可基于身体部分生成预测面且可将预测面分配到网格的2D表示的面。
[0010]一组关键点可由第一神经网络确定，并且通用模型可由第二神经网络确定。
[0011]根据另一实施例，提供一种用于基于单个图像的实时身体动画的系统。系统可包括至少一个处理器及存储处理器可执行代码的存储器，其中，至少一个处理器可被配置成在执行处理器可执行代码时实施用于基于图像的身体实时动画的上述方法的操作。
[0012]根据本公开的又一方面，提供一种非暂时性处理器可读介质，非暂时性处理器可读介质存储处理器可读指令。当处理器可读指令由处理器执行时，处理器可读指令使处理器实施用于基于单个图像的实时身体动画的上述方法。
[0013]示例的附加目的、优点及新颖特征将部分地在以下说明中阐述，且在审核以下说明及附图后将部分地对所属领域中的技术人员来说变得显而易见或者可通过示例的生成或操作来得到了解。可通过在所附权利要求中特别指出的方法、手段及组合来实现及获取概念的目的及优点。
附图说明
[0014]在附图的各图中以示例及非限制的方式示出实施例，其中相同的参考标记表示相似的元件。
[0015]图1是示出示例性环境的方块图，在示例性环境中可实践用于基于单个图像的实时身体动画的方法。
[0016]图2是示出根据示例性实施例的用于基于单个图像的身体动画的系统的方块图。
[0017]图3示出示例性输入图像及显示人的轮廓的分割掩模。
[0018]图4示出关键点的示例图。
[0019]图5示出基于分割掩模确定的示例性第一轮廓以及被确定为通用模型在输入图像上的投影的示例性第二轮廓。
[0020]图6示出示例性重心映射、示例性深度映射、示例性法线映射、对应的翘曲重心映射、翘曲深度映射及翘曲法线映射的正面。
[0021]图7示出重心坐标的可视化。
[0022]图8示出示例性点云以及基于点云生成的网格。
[0023]图9示出示例性翘曲深度映射、示例性翘曲法线映射、基于翘曲深度映射及翘曲法线映射生成的示例性点云以及基于点云生成的示例性网格。
[0024]图10示出示例性输入图像、适配到输入图像的通用模型的网格以及重构网格。
[0025]图11示出示例性3D表面到2D表面的UV展开过程。
[0026]图12示出立方体的示例性3D表面到2D表面的UV展开过程。
[0027]图13示出示例性3D模型的动画。
[0028]图14是示出动画过程期间单个图像的示例性变换的流程图。
[0029]图15是示出根据一个示例性实施例的用于基于单个图像的实时身体动画的方法的流程图。
[0030]图16示出可用于实施基于单个图像的实时身体动画的方法的示例性计算机系统。
具体实施方式
[0031]实施例的以下详细说明包括对附图的参考，附图形成详细说明的一部分。此部分中描述的方法不是权利要求的现有技术且通过包含在此部分中而不被承认为现有技术。附图示出根据示例性实施例的例示。这些示例性实施例(在本文中也被称为“示例”)被足够详细地描述以使所属领域中的技术人员能够实践本主题。在不背离要求保护的范围的条件下，可对实施例进行组合，可利用其他实施例或者可进行结构、逻辑及操作上的改变。因此，以下详细说明不应被视为具有限制性意义且范围由所附权利要求及其等效内容界定。
[0032]可使用各种技术来实施本公开。例如，可通过在计算机系统上运行的软件和本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于基于单个图像的身体动画的方法，所述方法包括：由计算装置接收输入图像，所述输入图像包括人的身体；由所述计算装置将所述输入图像分割成身体部分及背景部分，其中，所述身体部分包括所述输入图像的像素，所述像素对应于所述人的身体；由所述计算装置将模型适配到所述身体部分，其中，所述模型被配置成：接收表示所述身体的姿势的一组姿势参数；并且基于一组所述姿势参数生成输出图像，所述输出图像包括采用所述姿势的身体的图像；由所述计算装置接收一系列另外的多组姿势参数，另外的多组所述姿势参数中的每一组表示身体的另外的姿势中的至少一个；由所述计算装置将一系列另外的多组所述姿势参数中的每一组提供到所述模型，以生成采用另外的姿势的所述身体的一系列输出图像；以及由所述计算装置并且基于一系列所述输出图像生成输出视频，其中，所述输出视频的每一帧包括所述输出图像中的至少一个。2.根据权利要求1所述的方法，其中，分割所述输入图像由神经网络执行。3.根据权利要求1所述的方法，其中，一系列另外的多组所述姿势参数基于运动视频生成，其中，所述运动视频的帧以采用另外的所述姿势的另一人为特征。4.根据权利要求1所述的方法，其中，所述模型包括：在三维(3D)空间中的一组关节点，所述关节点指示关节在所述身体中的位置；网格，所述网格包括在3D空间中的网格点，所述网格点中的每一个被分配有一组蒙皮权重，所述蒙皮权重中的每一个与所述关节点中的至少一个相关联；以及纹理映射，以在所述网格上生成纹理。5.根据权利要求4所述的方法，其中：一组所述姿势参数包括所述关节点相对于参考点的旋转角度；并且生成所述输出图像包括：通过变换所述网格点来变换所述网格，其中，所述网格点中的每一个旋转一定角度，所述角度是基于所述关节点的旋转角度以及所述蒙皮权重确定的；以及将所述纹理映射应用于经变换的网格，以生成经变换的网格的纹理。6.根据权利要求4所述的方法，其中，适配所述模型包括：基于所述身体部分确定通用模型，所述通用模型包括指示所述身体中的关节的一组关键点及指示所述身体的形状的一组形状参数；基于所述身体部分确定身体图像的第一轮廓；基于所述通用模型确定所述身体图像的第二轮廓；确定一组成对的点，其中，所述成对的点中的每一对包括位于所述第一轮廓上的第一点及位于所述第二轮廓上的第二点；基于一组所述成对的点使所述通用模型翘曲以获取翘曲模型；以及基于所述翘曲模型确定所述网格以及一组所述关节点。7.根据权利要求6所述的方法，其中，一组所述关节点是基于所述网格生成的。8.根据权利要求6所述的方法，其中，一组所述关节点是一组所述关键点。
9.根据权利要求6所述的方法，其中，所述纹理映射是通过以下方式生成的：使所述网格展开以生成所述网格的二维(2D)表示；并且针对所述网格的2D表示的每个面：确定所述面是否对应于所述身体在所述输入图像中可见的一部分；基于确定所述面对应于所述身体在所述输入图像中可见的一部分，将所述身体部分的分割分配到所述网格的2D表示的所述面；并且基于确定所述面不对应于所述身体在所述输入图像中可见的一部分：基于所述身体部分生成预测面；并且将所述预测面分配到所述网格的2D表示的所述面。10.根据权利要求6所述的方法，其中，一组所述关键点是由第一神经网络确定的，并且所述通用模型是由第二神经网络确定的。11.一种用于基于单个图像的身体动画的系统，所述系统包括至少一个处理器、存储处理器可执行代码的存储器，其中，至少一个所述处理器被配置成在执行所述处理器可执行代码时实施以下操作：接收输入图像，所述输入图像包括人的身体；将所述输入图像分割成身体部分及背景部分，其中，所述身体部分包括所述输入图像的像素，所述像素对应于所述人的身体；将模型适配到所述身体部分，其中，所述模型被配置成：接收表示...

【专利技术属性】
技术研发人员：叶戈尔，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：