一种基于视频数据驱动的动画生成方法技术

本发明专利技术提供了一种基于视频数据驱动的动画生成方法，包括：从驱动的视频中提取含有预定目标在不同视频帧的三维姿态信息的运动姿态序列，该驱动的视频中含有目标在真实世界做出相应动作的画面并且该动作为需要由不同于该目标的角色做出的动作；根据从驱动的视频中提取的运动姿态序列生成动作时各视频帧所对应服装三维形态的服装形态序列；根据从驱动的视频中提取的运动姿态序列和所述服装形态序列，生成角色穿着服装运动且该服装随角色运动产生对应变形的动画。产生对应变形的动画。产生对应变形的动画。

【技术实现步骤摘要】
一种基于视频数据驱动的动画生成方法


[0001]本专利技术涉及视频
，具体来说涉及角色(如视频或者游戏中)及其服装动画(Animation)设计领域，更具体地说，涉及一种基于视频数据驱动的动画生成方法。

技术介绍

[0002]角色及其服装变形与动画技术作为计算机图形学的重要分支，在电影、游戏等领域中扮演着至关重要的角色。服装变形与动画技术的核心问题在于如何根据给定的运动序列生成连续、稳定的服装变形序列。在服装变形与动画技术中，布料作为一种柔性材料，其变形趋势与人体体态紧密相关。一方面，角色的体型特征(如高矮、胖瘦等)直接影响服装的变形效果；而角色的运动趋势则决定了服装形变的趋势。因此，构建可以生成连续、逼真的服装变形效果的相关模型是一项颇具挑战的任务。
[0003]目前，角色及其服装动画创作主要基于物理仿真法和数据驱动法。其中，物理仿真法是在受物理定律的仿真场景中模拟角色运动及其服装变形的方法，物理仿真法的计算成本较高且需要设置复杂的仿真参数，生成效果需要美术师或动画家迭代调整，效率较低；数据驱动法致力于从已有服装变形实例中学习服装变形规律，但通常难以保证服装变形效果的连续性，且通常仅适用于与人体拓扑一致的服装类型。因此，构建一种高效、稳定的服装动画仿真模型逐渐成为服装动画领域的一研究热点。
[0004]角色及其服装动画创作的主要驱动是角色的运动序列，并且在进行服装变形模拟过程中，会涉及涵盖种类丰富、姿态多样的各种运动形式。然而，现阶段为获得符合真实世界运动规律的角色的运动序列，主要有两种方式：
[0005]方式一：利用现有的开源的角色运动序列，但是开源的角色运动序列所涵盖的动作有限且单一，难以满足个性化的需求；
[0006]方式二：由动画师手工进行制作和调整以设计定制的角色运动序列，但这种方式操作繁杂费时，制作效率低，并且动作往往较为生硬。

技术实现思路

[0007]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种基于视频数据驱动的动画生成方法。
[0008]本专利技术的目的是通过以下技术方案实现的：
[0009]根据本专利技术的第一方面，提供一种基于视频数据驱动的动画生成方法，包括：从驱动的视频中提取含有预定目标在不同视频帧的三维姿态信息的运动姿态序列，该驱动的视频中含有目标在真实世界做出相应动作的画面并且该动作为需要由不同于该目标的角色做出的动作；根据从驱动的视频中提取的运动姿态序列生成动作时各视频帧所对应服装三维形态的服装形态序列；根据从驱动的视频中提取的运动姿态序列和所述服装形态序列，生成角色穿着服装运动且该服装随角色运动产生对应变形的动画。
[0010]可选的，利用预先训练的运动姿态识别模型从驱动的视频中提取预定目标的运动
姿态序列，其中，运动姿态识别模型为图像到序列的神经网络模型，其包括用于从视频帧提取图像特征的特征提取器和用于根据图像特征生成预定目标的运动姿态序列的序列生成器。
[0011]可选的，利用预先训练的服装形态预测模型根据从驱动的视频中提取的运动姿态序列生成动作时各视频帧所对应服装三维形态的服装形态序列，其中，预先训练的服装形态预测模型为序列到序列的神经网络模型。
[0012]可选的，预先训练的服装形态预测模型是利用预定的服装形态的训练集训练序列到序列的神经网络模型得到，训练集包括多个数据样本，每个数据样本包括运动姿态样本序列和该运动姿态样本序列对应的服装形态标签序列，运动姿态样本序列是从预先收集的样本视频中提取的预定目标的运动姿态的序列，服装形态标签序列是在物理仿真条件下利用从样本视频中提取的运动姿态样本序列驱动穿着服装模型的角色模型运动以带动服装模型运动而得到的服装形态的序列。
[0013]可选的，训练时利用数据样本训练服装形态预测模型根据运动姿态样本序列输出服装形态序列，并根据输出的服装形态序列和对应的服装形态标签序列计算的损失更新服装形态预测模型的参数。
[0014]可选的，训练时利用数据样本训练服装形态预测模型根据运动姿态样本序列输出服装形态序列，并根据服装形态的损失和服装穿透角色的损失更新服装形态预测模型的参数，其中，服装形态的损失表征输出的服装形态序列和对应的服装形态标签序列的差异，服装穿透角色的损失表征服装上的服装顶点穿透角色模型的身体的程度。
[0015]可选的，训练服装形态预测模型时按照以下方式计算损失：
[0016]L＝L
cloth
+λL
coll
[0017]其中，L
cloth
表示服装形态的损失，L
coll
表示服装穿透角色的损失，λ表示为L
coll
设置的加权系数。
[0018]可选的，训练时利用数据样本训练服装形态预测模型根据运动姿态样本序列输出服装形态序列，并根据服装形态的损失、服装穿透角色的损失和服装自穿透的损失更新服装形态预测模型的参数，其中，服装形态的损失表征输出的服装形态序列和对应的服装形态标签序列的差异，服装穿透角色的损失表征服装上的服装顶点穿透角色模型的身体的程度，其中，服装自穿透的损失表征服装上的服装顶点穿透服装自身造成的误差。
[0019]可选的，训练服装形态预测模型时按照以下方式计算损失：
[0020]L＝L
cloth
+λL
coll
+μL
self
[0021]其中，L
cloth
表示服装形态的损失，L
coll
表示服装穿透角色的损失，λ表示为L
coll
设置的加权系数，L
self
表示服装自穿透的损失，μ表示为L
self
设置的加权系数。
[0022]可选的，根据一个运动姿态样本序列输出的服装形态序列对应的服装穿透角色的损失按照以下方式计算：
[0023][0024]其中，T表示序列的长度，ε表示设置的服装穿透角色的阈值，M
t
表示对第t帧预测的服装形态中服装顶点和角色模型的顶点之间的对应关系集，表示服装形态序列中对
第t帧预测的服装形态中服装顶点i的位置，表示运动姿态序列中第t帧时角色的身体顶点中与服装顶点距离最近的身体顶点j的位置，表示身体顶点j的法线向量。
[0025]可选的，根据一个运动姿态样本序列输出的服装形态序列对应的服装自穿透的损失按照以下方式计算：
[0026][0027]其中，T表示序列的长度，V
t
表示服装形态序列中对第t帧预测的服装形态对应的服装顶点集，表示服装形态序列中对第t帧预测的服装形态中服装顶点x的位置，表示服装形态序列中对第t帧预测的服装形态中距离服装顶点x最近的服装顶点y的位置，n
y,t
表示服装形态序列中对第t帧预测的服装形态中服装顶点y的法线向量，表示设置的服装自穿透的阈值。
[0028]根据本专利技术第二方面，提供一种电子设备，包括：一个或多个处理器；以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频数据驱动的动画生成方法，其特征在于，包括：从驱动的视频中提取含有预定目标在不同视频帧的三维姿态信息的运动姿态序列，该驱动的视频中含有目标在真实世界做出相应动作的画面并且该动作为需要由不同于该目标的角色做出的动作；根据从驱动的视频中提取的运动姿态序列生成动作时各视频帧所对应服装三维形态的服装形态序列；根据从驱动的视频中提取的运动姿态序列和所述服装形态序列，生成角色穿着服装运动且该服装随角色运动产生对应变形的动画。2.根据权利要求1所述的方法，其特征在于，利用预先训练的运动姿态识别模型从驱动的视频中提取预定目标的运动姿态序列，其中，运动姿态识别模型为图像到序列的神经网络模型，其包括用于从视频帧提取图像特征的特征提取器和用于根据图像特征生成预定目标的运动姿态序列的序列生成器。3.根据权利要求1所述的方法，其特征在于，利用预先训练的服装形态预测模型根据从驱动的视频中提取的运动姿态序列生成动作时各视频帧所对应服装三维形态的服装形态序列，其中，预先训练的服装形态预测模型为序列到序列的神经网络模型。4.根据权利要求3所述的方法，其特征在于，预先训练的服装形态预测模型是利用预定的服装形态的训练集训练序列到序列的神经网络模型得到，训练集包括多个数据样本，每个数据样本包括运动姿态样本序列和该运动姿态样本序列对应的服装形态标签序列，运动姿态样本序列是从预先收集的样本视频中提取的预定目标的运动姿态的序列，服装形态标签序列是在物理仿真条件下利用从样本视频中提取的运动姿态样本序列驱动穿着服装模型的角色模型运动以带动服装模型运动而得到的服装形态的序列。5.根据权利要求3所述的方法，其特征在于，训练时利用数据样本训练服装形态预测模型根据运动姿态样本序列输出服装形态序列，并根据输出的服装形态序列和对应的服装形态标签序列计算的损失更新服装形态预测模型的参数。6.根据权利要求3所述的方法，其特征在于，训练时利用数据样本训练服装形态预测模型根据运动姿态样本序列输出服装形态序列，并根据服装形态的损失和服装穿透角色的损失更新服装形态预测模型的参数，其中，服装形态的损失表征输出的服装形态序列和对应的服装形态标签序列的差异，服装穿透角色的损失表征服装上的服装顶点穿透角色模型的身体的程度。7.根据权利要求6所述的方法，其特征在于，训练服装形态预测模型时按照以下方式计算损失：L＝L
cloth
+λL
coll
其中，L
cloth
表示服装形态的损失，L
coll
表示服装穿透角色的损失，λ表示为L
coll
设置的加权系数。8.根据权利要求3所述的...

【专利技术属性】
技术研发人员：陈溟，王振强，刘伟鹏，石敏，韩国庆，朱登明，周元良，
申请(专利权)人：青岛海发广电传媒科技有限公司，
类型：发明
国别省市：