动画数据生成方法和装置、介质和计算机设备制造方法及图纸

本公开提供一种动画数据生成方法和装置、介质和计算机设备，所述方法包括：获取视频序列中的第一视频帧对应的第一动画数据；将所述第一动画数据输入预先训练的动作预测模型，获取所述动作预测模型输出的所述视频序列中所述第一视频帧的下一帧视频帧对应的第二动画数据；其中，所述动作预测模型基于多个样本动画序列以及所述多个样本动画序列的第一运动周期样本特征训练得到，样本动画序列的第一运动周期样本特征从该样本动画序列的第一样本特征中提取得到，该样本动画序列的第一样本特征通过编码器对该样本动画序列进行编码得到。征通过编码器对该样本动画序列进行编码得到。征通过编码器对该样本动画序列进行编码得到。

【技术实现步骤摘要】
动画数据生成方法和装置、介质和计算机设备


[0001]本公开涉及动画制作
，尤其涉及动画数据生成方法和装置、介质和计算机设备。

技术介绍

[0002]目前，在进行动画制作时，一般是基于RGB视频生成动画序列，再基于该动画数据驱动虚拟形象。由于上述方式生成的动画序列质量较差，为了提高动画质量，往往会获取一组高质量动画序列，将该高质量动画序列映射到一个特征空间，得到高质量动画特征，并将基于RGB视频生成的动画序列也映射到该特征空间，得到驱动动画特征。然后，查找与驱动动画特征相似度最高的高质量动画特征，再将查找到的高质量动画特征反映射成动画序列，再基于反新映射得到的动画序列驱动虚拟形象。然而，上述方式将动画序列作为输入，实时性比较差，不适用于实时场景。

技术实现思路

[0003]本公开实施例的第一方面，提供了一种动画数据生成方法，所述方法包括：获取视频序列中的第一视频帧对应的第一动画数据；将所述第一动画数据和所述第一动画数据对应的第一运动周期特征输入预先训练的动作预测模型，获取所述动作预测模型输出的所述视频序列中所述第一视频帧的下一帧视频帧对应的第二动画数据；其中，所述动作预测模型基于多个样本动画序列以及所述多个样本动画序列的第一运动周期样本特征训练得到，样本动画序列的第一运动周期样本特征从该样本动画序列的第一样本特征中提取得到，该样本动画序列的第一样本特征通过编码器对该样本动画序列进行编码得到。
[0004]本公开实施例的第二方面，提供了一种动画数据生成装置，所述装置包括：第一获取模块，用于获取视频序列中的第一视频帧对应的第一动画数据；第二获取模块，用于将所述第一动画数据和所述第一动画数据对应的第一运动周期特征输入预先训练的动作预测模型，获取所述动作预测模型输出的所述视频序列中所述第一视频帧的下一帧视频帧对应的第二动画数据；其中，所述动作预测模型基于多个样本动画序列以及所述多个样本动画序列的第一运动周期样本特征训练得到，样本动画序列的第一运动周期样本特征从该样本动画序列的第一样本特征中提取得到，该样本动画序列的第一样本特征通过编码器对该样本动画序列进行编码得到。
[0005]本公开实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面的方法。
[0006]本公开实施例的第四方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面的方法。
[0007]本公开实施例通过编码器对样本动画序列进行编码，得到第一样本特征，再从第一样本特征中提取第一运动周期样本特征来训练动作预测模型，该动作预测模型可以以单
帧第一视频帧对应的第一动画数据和所述第一动画数据对应的第一运动周期特征作为输入，来预测第一视频帧的下一帧视频帧对应的第二动画数据，预测过程中无需输入动画序列，从而提高了动画数据生成过程中的实时性。
附图说明
[0008]为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0009]图1为相关技术中的动画数据生成过程的示意图。
[0010]图2为本公开实施例的动画数据生成方法的流程图。
[0011]图3为本公开实施例的滑动窗口和样本动画序列的示意图。
[0012]图4为本公开实施例的特征空间、频移、频率、振幅和偏移参数的示意图。
[0013]图5A为本公开实施例的获取运动周期特征空间的过程示意图。
[0014]图5B为本公开实施例的训练动作预测网络的过程示意图。
[0015]图6为本公开实施例的动画数据生成装置的框图。
[0016]图7为本公开一个实施例中的计算机设备的示意图。
具体实施方式
[0017]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0018]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0019]应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0020]目前基于RGB视频实时驱动虚拟形象(即动画)的方案普遍存在以下问题：1)由于每帧视频帧中的目标对象都是单独进行姿态估计的，因此，难以准确获得视频帧中目标对象的全局位移，帧间缺乏约束；2)姿态估计模型的准确性不足；3)由于全局位移不准确和姿态预测误差造成的衍生问题，例如，滑步问题，即，虚拟形象的骨骼末端的位姿不准确。上述问题的存在导致了RGB视频实时驱动的动画质量低、噪声大。
[0021]为了解决上述问题，可以采用高质量动画(例如，通过动画捕捉得到的动捕动画)对基于RGB视频驱动获得的动画进行优化，其本质思想是虽然RGB视频驱动获得的动画效果
质量低、噪声大，但是依然能够体现运动的本质特征，在深度学习模型中该本质特征是通过编码器学习得到的。因此，参见图1，可以获取包括高质量动画序列的高质量动作库，其中，高质量动画序列可以是通过动画捕捉(简称动捕)获得的动画序列。通过该高质量动作库训练出一个编码器，作为视频帧中目标对象的动作先验信息，通过编码器将高质量动画序列映射到一个高维空间，得到高质量动画序列在高维空间中的本质特征(称为动捕序列特征)。该高维空间连续、平滑，能够保证从高维空间重映射得到的动画序列的平滑性。同样地，将RGB视频驱动获得的动画序列通过编码器映射到高维空间，得到RGB视频驱动获得的动画序列在高维空间中的本质特征(称为驱动序列特征)，并寻找高维空间中与驱动序列特征相似度最高的动捕序列特征来代替驱动序列特征，将与驱动序列特征相似度最高的动捕序列特征重映射得到的动画序列作为优化的动画序列输出，从而达到平滑、去噪的效果。
[0022]然而，上述方案需要将动画序列作为输入，实时性差，不适用于实时场景。
[0023]基于此，本公开实施例提供一种动画数据生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动画数据生成方法，其特征在于，所述方法包括：获取视频序列中的第一视频帧对应的第一动画数据；将所述第一动画数据和所述第一动画数据对应的第一运动周期特征输入预先训练的动作预测模型，获取所述动作预测模型输出的所述视频序列中所述第一视频帧的下一帧视频帧对应的第二动画数据；其中，所述动作预测模型基于多个样本动画序列以及所述多个样本动画序列的第一运动周期样本特征训练得到，样本动画序列的第一运动周期样本特征从该样本动画序列的第一样本特征中提取得到，该样本动画序列的第一样本特征通过编码器对该样本动画序列进行编码得到。2.根据权利要求1所述的方法，其特征在于，若所述第一视频帧为所述视频序列中的首帧视频帧，所述方法还包括：从动作库中预存的多帧动画数据中确定与所述第一视频帧对应的初始动画数据相似度最高的目标动画数据；将所述目标动画数据确定为所述第一视频帧对应的第一动画数据，并将所述目标动画数据对应的运动周期特征确定为所述第一运动周期特征。3.根据权利要求1所述的方法，其特征在于，样本动画序列的第一运动周期样本特征基于多个通道的周期信号的振幅和频移参数确定，所述多个通道的周期信号从该样本动画序列的第一样本特征中分解得到；其中，任一通道的周期信号的幅度通过对该样本动画序列的第一样本特征进行快速傅里叶变换得到，任一通道的周期信号的频移参数通过预先训练的全连接层对该样本动画序列的第一样本特征进行拟合得到。4.根据权利要求3所述的方法，其特征在于，所述编码器和所述全连接层基于以下方式训练得到：针对所述多个样本动画序列中的每个样本动画序列，通过初始编码器对所述样本动画序列进行编码，得到所述样本动画序列的第二样本特征；对所述第二样本特征进行快速傅里叶变换，得到所述第二样本特征对应的周期信号在各个通道上的振幅、频率和偏移；通过初始全连接层对所述第二样本特征进行拟合，得到所述第二样本特征对应的周期信号在各个通道上的频移参数；基于所述第二样本特征对应的周期信号在各个通道上的振幅、频率、偏移和频移参数生成所述第二样本特征对应的周期信号；通过所述初始编码器对应的初始解码器对所述第二样本特征对应的周期信号进行解码，得到所述样本动画序列对应的第一预测动画序列；基于多个样本动画序列和每个样本动画序列对应的第一预测动画序列，对所述初始编码器、所述初始全连接层和所述初始解码器进行联合训练，得到训练后的所述编码器、所述全连接层和所述编码器对应的解码器。5.根据权利要求1所述的方法，其特征在于，所述动作预测网络通过对多个专家系统的网络参数进行加权处理得到，各个专家系统的权重通过门控网络获取；所述将所述第一动画数据输入预先训练的动作预测模型，获取所述动作预测模型输出的所述视频序列中所述<...

【专利技术属性】
技术研发人员：周凡，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：