动画合成方法、系统及计算机设备技术方案

本申请实施例提供一种动画合成方法、系统及计算机设备，本实施例中，将动作库中的各动画数据编码到高维空间，然后对输入的动画合成指导信息进行编码，得到该动画合成指导信息对应的多维隐向量，并根据所述多维隐向量从高维空间中获取至少一个匹配的动画序列，最后根据获取的动画序列合成与所述动画合成指导信息语义匹配的目标动画。如此，通过将动作库中的动画数据转化到高维空间，并可以根据输入的动画合成指导信息，在高维空间中获取满足该指导信息的多种丰富的动画序列进行选择，实现可控的动画序列的合成，适用于全场景的动画合成需求，极大地提高了动画合成的应用范围，并丰富了应用场景，提升了用户的使用体验。提升了用户的使用体验。提升了用户的使用体验。

【技术实现步骤摘要】
动画合成方法、系统及计算机设备


[0001]本申请涉及人工智能及动画处理相关
，具体而言，涉及一种动画合成方法、系统及计算机设备。

技术介绍

[0002]随着计算机技术的不断发展与应用，基于计算机的动画制作或创造在各种场景中得到了广泛的关注与应用。目前，较为常见的指导动画序列合成的方案主要是基于动画数据本身的单一模态的动画指导合成方式，如基于若干动画关键帧数据进行整个动画序列数据的补全，或基于用户设置的运动轨迹合成满足该轨迹的动画序列，以及动画去噪和动画精细化等。然而，这种指导动画合成的方式存在应用范围的广泛性不够，且应用场景的丰富性也较为欠缺的问题。

技术实现思路

[0003]基于以上内容，为了至少部分的解决上述技术问题，第一方面，本申请实施例提供一种动画合成方法，所述方法包括：
[0004]将动作库中的各动画数据编码到高维空间；
[0005]对输入的动画合成指导信息进行编码，得到该动画合成指导信息对应的多维隐向量，并根据所述多维隐向量从所述高维空间中获取至少一个匹配的动画序列；
[0006]根据获取的动画序列合成与所述动画合成指导信息语义匹配的目标动画。
[0007]基于第一方面的一种可能的实施方式，将动作库中的各动画数据编码到高维空间，包括：
[0008]通过预先训练得到的动作库编解码网络将各所述动画数据编码到满足标准正态分布的所述高维空间。
[0009]基于第一方面的一种可能的实施方式，所述动作库编解码网络包括动画编码器和动画解码器，所述动作库编解码网络通过以下步骤进行网络训练而得到：
[0010]以所述动作库中的动画数据作为训练样本，通过所述动画编码器将各所述训练样本编码到满足标准正态分布的所述高维空间，得到各动画数据在该高维空间的多维隐向量；
[0011]通过所述动画解码器依次将所述高维空间中各个点的多维隐向量进行解码，得到各个点对应的解码动画；
[0012]计算所述高维空间的分布与标准正态分布的KL散度，并计算所述解码动画与对应的训练样本之间的相似度；
[0013]根据所述KL散度以及所述相似度计算得到损失函数值，并根据所述损失函数值对所述动作库编解码网络进行迭代更新，直到满足迭代终止条件，得到训练完成的动作库编解码网络。
[0014]基于第一方面的一种可能的实施方式，根据所述KL散度以及所述相似度计算得到
损失函数值，包括：
[0015]为所述KL散度赋予第一权重参数，为所述相似度赋予第二权重参数，基于该第一权重参数、第二权重参数以及所述KL散度和相似度计算得到所述损失函数值。
[0016]基于第一方面的一种可能的实施方式，对输入的动画合成指导信息进行编码，得到该动画合成指导信息对应的多维隐向量，并根据所述多维隐向量从所述高维空间中获取至少一个匹配的动画序列，包括：
[0017]将所述动画合成指导信息输入预先训练得到的动画合成指导网络中的指导信息编码器，通过所述指导信息编码器对所述动画合成指导信息进行编码，得到该动画合成指导信息的隐向量；
[0018]在所述高维空间中任取一点作为起点，然后随机生成多个多维方向向量；
[0019]依次将多个所述多维方向向量中的其中一个作为目标向量，获得所述高维空间中从所述起点开始沿该目标向量所在方向对应的终点；
[0020]获取该高维空间中从所述起点到所述终点之间的高维空间动画数据序列；
[0021]将所述高维空间动画数据序列输入所述动作库编解码网络中的动画解码器进行解码，得到与各所述多维方向向量分别对应的多个动画帧序列；
[0022]将各所述动画帧序列输入所述动画合成指导网络中的动画语义编码器进行语义编码，得到各所述动画帧序列分别对应的语义特征集合，所述语义特征集合包括每个所述动画帧序列对应的语义特征；
[0023]计算所述语义特征集合中各语义特征分别与所述动画合成指导信息的隐向量之间的特征距离，并根据计算得到的各个特征距离从各所述动画帧序列中确定满足设定条件的候选序列；
[0024]从所述候选序列中确定所述至少一个匹配的动画序列。
[0025]基于第一方面的一种可能的实施方式，该方法还包括对所述动画合成指导网络进行训练的步骤，该步骤包括：
[0026]将预先采集的具有标签的指导信息作为指导信息样本，然后将各指导信息样本输入待训练的指导信息编码器对该指导信息进行编码，获得各指导信息样本的多维隐向量，最后对所述多维隐向量施加KL散度约束后结合对应的指导信息样本的标签计算损失对所述待训练的指导信息编码器进行迭代更新，得到训练后的指导信息编码器；
[0027]将预先采集的具有标签的动画序列样本输入待训练的动画语义编码器对该动画序列样本进行语义编码，获得各动画序列样本的多维隐向量，然后对各动画序列样本的多维隐向量施加KL散度约束后结合对应的动画序列样本的标签计算损失对所述待训练的动画语义编码器进行迭代更新，最后得到训练后的动画语义编码器。
[0028]基于第一方面的一种可能的实施方式，对所述动画合成指导网络进行训练的步骤，还包括：
[0029]根据所述指导信息样本以及所述动画序列样本获得指导信息样本与动画序列样本的配对数据，其中，将具有相同的语义标签的指导信息样本和动画序列样本作为一个配对数据；
[0030]将各所述配对数据分别输入所述指导信息编码器以及所述动画语义编码器进行联合训练，根据所述指导信息编码器以及所述动画语义编码器分别对所述配对数据进行处
理输出的两个隐向量计算损失，并根据计算得到的损失对所述指导信息编码器以及所述动画语义编码器进行联合迭代更新，得到联合训练后的指导信息编码器和动画语义编码器。
[0031]第二方面，本实施例还提供一种动画合成系统，应用于计算机设备，所述动画合成系统包括：
[0032]动作库编码模块，用于将动作库中的各动画数据编码到高维空间；
[0033]动画序列获取模块，用于对输入的动画合成指导信息进行编码，得到该动画合成指导信息对应的多维隐向量，并根据所述多维隐向量从所述高维空间中获取至少一个匹配的动画序列；
[0034]动画合成模块，用于根据获取的动画序列合成与所述动画合成指导信息语义匹配的目标动画。
[0035]基于第二方面的一种可能的实施方式，所述动画序列获取模块，具体用于：
[0036]将所述动画合成指导信息输入预先训练得到的动画合成指导网络中的指导信息编码器，通过所述指导信息编码器对所述动画合成指导信息进行编码，得到该动画合成指导信息的隐向量；
[0037]在所述高维空间中任取一点作为起点，然后随机生成多个多维方向向量；
[0038]依次将多个所述多维方向向量中的其中一个作为目标向量，获得所述高维空间中从所述起点开始沿该目标向量所在方向对应的终点；
[0039]获取该高维空间中从所述起点到所述终点之间的高维空间动画数据序列；
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动画合成方法，其特征在于，所述方法包括：将动作库中的各动画数据编码到高维空间；对输入的动画合成指导信息进行编码，得到该动画合成指导信息对应的多维隐向量，并根据所述多维隐向量从所述高维空间中获取至少一个匹配的动画序列；根据获取的动画序列合成与所述动画合成指导信息语义匹配的目标动画。2.根据权利要求1所述的动画合成方法，其特征在于，将动作库中的各动画数据编码到高维空间，包括：通过预先训练得到的动作库编解码网络将各所述动画数据编码到满足标准正态分布的所述高维空间。3.根据权利要求2所述的动画合成方法，其特征在于，所述动作库编解码网络包括动画编码器和动画解码器，所述动作库编解码网络通过以下步骤进行网络训练而得到：以所述动作库中的动画数据作为训练样本，通过所述动画编码器将各所述训练样本编码到满足标准正态分布的所述高维空间，得到各动画数据在该高维空间的多维隐向量；通过所述动画解码器依次将所述高维空间中各个点的多维隐向量进行解码，得到各个点对应的解码动画；计算所述高维空间的分布与标准正态分布的KL散度，并计算所述解码动画与对应的训练样本之间的相似度；根据所述KL散度以及所述相似度计算得到损失函数值，并根据所述损失函数值对所述动作库编解码网络进行迭代更新，直到满足迭代终止条件，得到训练完成的动作库编解码网络。4.根据权利要求3所述的动画合成方法，其特征在于，根据所述KL散度以及所述相似度计算得到损失函数值，包括：为所述KL散度赋予第一权重参数，为所述相似度赋予第二权重参数，基于该第一权重参数、第二权重参数以及所述KL散度和相似度计算得到所述损失函数值。5.根据权利要求3所述的动画合成方法，其特征在于，对输入的动画合成指导信息进行编码，得到该动画合成指导信息对应的多维隐向量，并根据所述多维隐向量从所述高维空间中获取至少一个匹配的动画序列，包括：将所述动画合成指导信息输入预先训练得到的动画合成指导网络中的指导信息编码器，通过所述指导信息编码器对所述动画合成指导信息进行编码，得到该动画合成指导信息的隐向量；在所述高维空间中任取一点作为起点，然后随机生成多个多维方向向量；依次将多个所述多维方向向量中的其中一个作为目标向量，获得所述高维空间中从所述起点开始沿该目标向量所在方向对应的终点；获取该高维空间中从所述起点到所述终点之间的高维空间动画数据序列；将所述高维空间动画数据序列输入所述动作库编解码网络中的动画解码器进行解码，得到与各所述多维方向向量分别对应的多个动画帧序列；将各所述动画帧序列输入所述动画合成指导网络中的动画语义编码器进行语义编码，得到各所述动画帧序列分别对应的语义特征集合，所述语义特征集合包括每个所述动画帧序列对应的语义特征；
计算所述语义特征集合中各语义特征分别与所述动画合成指导信息的隐向量之间的特征距离，并根据计算得到的各个特征距离从各所述动画帧序列中确定满足设定条件的候选序列；从所述候选序列中确定所述至少一个匹配的动画序列。6.根据权利要求5所述的动画合成方法，其特征在于，该方法还包括对所述动画合成指导网络进行训练的步骤，该步骤包括：将预先采集的具有标签的指导信息作为指导信息样本，然后将各指导信息样本输入待训练的指...

【专利技术属性】
技术研发人员：周凡，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：