虚拟对象的动作生成方法及动作生成模型的训练方法技术

本申请公开了一种虚拟对象的动作生成方法、动作生成模型的训练方法、装置、计算机设备及存储介质，属于计算机技术领域。本申请通过随机采样得到潜在动作特征，以表征虚拟对象的位姿在标准正态分布所对应概率空间下隐含信息，再结合与待生成的动作类别相关联的偏置信息，自回归地预测出虚拟对象的动作序列，使得动作序列既表征出该隐含信息又满足动作类别的约束，且自回归方式还会引入过去各个帧的位姿来预测当前帧的位姿，使得最终动作序列的生成过程不依赖于GAN架构下的RNN生成器，从而避免了模式崩溃问题，能够生成多样性较高的动作序列。序列。序列。

【技术实现步骤摘要】
虚拟对象的动作生成方法及动作生成模型的训练方法


[0001]本申请涉及计算机
，特别涉及一种虚拟对象的动作生成方法、动作生成模型的训练方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着计算机技术的发展和进步，虚拟对象的动作生成(即角色动作生成)，对于包括多媒体交互技术、视觉信息理解在内的诸多计算机视觉任务都具有重要的现实意义。虚拟对象的动作生成任务可概括为：给定一个动作类别，由机器自动生成虚拟对象的动作序列。
[0003]目前，通常使用GAN(Generative Adversarial Networks，生成式对抗网络)来进行虚拟对象的动作生成，在GAN架构中，使用一个RNN(Recurrent Neural Networks，循环神经网络)生成器和一个CNN(Convolutional Neural Networks，卷积神经网络)判别器进行对抗性学习，但对抗性学习面临模式崩溃问题，即，RNN生成器总是倾向于生成同样的动作序列，导致RNN生成器泛化能力较差。

技术实现思路

[0004]本申请实施例提供了一种虚拟对象的动作生成方法、动作生成模型的训练方法、装置、计算机设备及存储介质，能够提高生成的动作序列的多样性。该技术方案如下：
[0005]一方面，提供了一种虚拟对象的动作生成方法，所述方法包括：
[0006]随机采样得到潜在动作特征，所述潜在动作特征是指将虚拟对象的位姿分布映射到标准正态分布下的随机采样值；
[0007]基于待生成的动作类别，获取所述潜在动作特征的偏置信息，所述偏置信息用于表征在所述动作类别下对所述潜在动作特征的影响因子；
[0008]基于所述潜在动作特征和所述偏置信息，以自回归的方式生成所述虚拟对象的动作序列，所述动作序列用于表征所述虚拟对象执行所述动作类别所对应动作的位姿。
[0009]一方面，提供了一种动作生成模型的训练方法，所述方法包括：
[0010]基于样本动作类别和样本动作序列，确定所述样本动作序列所服从的样本分布，所述样本分布与虚拟对象的位姿分布具有映射关系；
[0011]通过标准正态分布，对所述样本分布进行重参数化，从重参数化后的样本分布中采样得到样本潜在特征；
[0012]基于所述样本动作类别，获取所述样本潜在特征的样本偏置信息，所述样本偏置信息用于表征在所述样本动作类别下对所述样本潜在特征的影响因子；
[0013]基于所述样本潜在特征、所述样本偏置信息和所述样本动作序列，对初始动作模型进行训练，得到动作生成模型，所述动作生成模型用于以自回归的方式生成虚拟对象执行与输入的动作类别所对应动作的动作序列。
[0014]一方面，提供了一种虚拟对象的动作生成装置，所述装置包括：
[0015]随机采样模块，用于随机采样得到潜在动作特征，所述潜在动作特征是指将虚拟对象的位姿分布映射到标准正态分布下的随机采样值；
[0016]获取模块，用于基于待生成的动作类别，获取所述潜在动作特征的偏置信息，所述偏置信息用于表征在所述动作类别下对所述潜在动作特征的影响因子；
[0017]生成模块，用于基于所述潜在动作特征和所述偏置信息，以自回归的方式生成所述虚拟对象的动作序列，所述动作序列用于表征所述虚拟对象执行所述动作类别所对应动作的位姿。
[0018]在一种可能实施方式中，所述生成模块包括：
[0019]预测单元，用于对所述动作序列中的任一位姿，将所述潜在动作特征、所述偏置信息和所述位姿以及所述位姿的各个前序位姿输入动作生成模型，通过所述动作生成模型预测得到所述动作序列中的下一个位姿。
[0020]在一种可能实施方式中，所述预测单元包括：
[0021]第一融合子单元，用于将所述潜在动作特征和所述偏置信息进行融合，得到动作偏置特征；
[0022]第二融合子单元，用于将所述位姿以及所述位姿的各个前序位姿和位姿位置特征进行融合，得到前序位姿特征，所述位姿位置特征用于表征所述位姿以及所述位姿的各个前序位姿在时序上的先后顺序；
[0023]位姿解码子单元，用于基于所述动作偏置特征和所述前序位姿特征，解码得到所述下一个位姿。
[0024]在一种可能实施方式中，所述第二融合子单元用于：
[0025]对所述位姿以及所述位姿的各个前序位姿进行全连接处理，得到初始位姿特征；
[0026]将所述初始位姿特征和所述位姿位置特征进行融合，得到所述前序位姿特征。
[0027]在一种可能实施方式中，所述动作生成模型包括多个解码单元，所述解码单元用于基于自注意力机制对输入特征进行解码；
[0028]所述位姿解码子单元用于：
[0029]将所述动作偏置特征和所述前序位姿特征输入所述多个解码单元，由最后一个解码单元输出所述下一个位姿的隐向量；
[0030]对所述下一个位姿的隐向量进行全连接处理，得到所述下一个位姿。
[0031]在一种可能实施方式中，所述获取模块用于：
[0032]对所述动作类别的独热编码进行全连接处理，得到所述偏置信息。
[0033]在一种可能实施方式中，所述装置还包括：
[0034]合成模块，用于基于所述动作序列和所述虚拟对象的对象模型，合成所述虚拟对象执行所述动作类别所对应动作的动作片段。
[0035]一方面，提供了一种动作生成模型的训练装置，所述装置包括：
[0036]确定模块，用于基于样本动作类别和样本动作序列，确定所述样本动作序列所服从的样本分布，所述样本分布与虚拟对象的位姿分布具有映射关系；
[0037]采样模块，用于通过标准正态分布，对所述样本分布进行重参数化，从重参数化后的样本分布中采样得到样本潜在特征；
[0038]获取模块，用于基于所述样本动作类别，获取所述样本潜在特征的样本偏置信息，
所述样本偏置信息用于表征在所述样本动作类别下对所述样本潜在特征的影响因子；
[0039]训练模块，用于基于所述样本潜在特征、所述样本偏置信息和所述样本动作序列，对初始动作模型进行训练，得到动作生成模型，所述动作生成模型用于以自回归的方式生成虚拟对象执行与输入的动作类别所对应动作的动作序列。
[0040]在一种可能实施方式中，所述初始动作模型包括多个编码单元和多个解码单元，所述编码单元用于预测所述样本分布的分布参数，所述解码单元用于基于自注意力机制解码得到下一个位姿，其中，所述编码单元和所述解码单元的数量相同。
[0041]在一种可能实施方式中，所述确定模块用于：
[0042]对所述样本动作类别进行全连接处理，得到样本类别特征；
[0043]对所述样本动作序列进行全连接处理，得到第一动作特征；
[0044]将所述第一动作特征和所述样本动作序列的样本位置特征进行融合，得到第二动作特征，所述样本位置特征用于表征所述样本动作序列中各个位姿在时序上的先后顺序；
[0045]将所述第二动作特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象的动作生成方法，其特征在于，所述方法包括：随机采样得到潜在动作特征，所述潜在动作特征是指将虚拟对象的位姿分布映射到标准正态分布下的随机采样值；基于待生成的动作类别，获取所述潜在动作特征的偏置信息，所述偏置信息用于表征在所述动作类别下对所述潜在动作特征的影响因子；基于所述潜在动作特征和所述偏置信息，以自回归的方式生成所述虚拟对象的动作序列，所述动作序列用于表征所述虚拟对象执行所述动作类别所对应动作的位姿。2.根据权利要求1所述的方法，其特征在于，所述基于所述潜在动作特征和所述偏置信息，以自回归的方式生成所述虚拟对象的动作序列包括：对所述动作序列中的任一位姿，将所述潜在动作特征、所述偏置信息和所述位姿以及所述位姿的各个前序位姿输入动作生成模型，通过所述动作生成模型预测得到所述动作序列中的下一个位姿。3.根据权利要求2所述的方法，其特征在于，所述将所述潜在动作特征、所述偏置信息和所述位姿以及所述位姿的各个前序位姿输入动作生成模型，通过所述动作生成模型预测得到所述动作序列中的下一个位姿包括：将所述潜在动作特征和所述偏置信息进行融合，得到动作偏置特征；将所述位姿以及所述位姿的各个前序位姿和位姿位置特征进行融合，得到前序位姿特征，所述位姿位置特征用于表征所述位姿以及所述位姿的各个前序位姿在时序上的先后顺序；基于所述动作偏置特征和所述前序位姿特征，解码得到所述下一个位姿。4.根据权利要求3所述的方法，其特征在于，所述将所述位姿以及所述位姿的各个前序位姿和位姿位置特征进行融合，得到前序位姿特征包括：对所述位姿以及所述位姿的各个前序位姿进行全连接处理，得到初始位姿特征；将所述初始位姿特征和所述位姿位置特征进行融合，得到所述前序位姿特征。5.根据权利要求3所述的方法，其特征在于，所述动作生成模型包括多个解码单元，所述解码单元用于基于自注意力机制对输入特征进行解码；所述基于所述动作偏置特征和所述前序位姿特征，解码得到所述下一个位姿包括：将所述动作偏置特征和所述前序位姿特征输入所述多个解码单元，由最后一个解码单元输出所述下一个位姿的隐向量；对所述下一个位姿的隐向量进行全连接处理，得到所述下一个位姿。6.根据权利要求1所述的方法，其特征在于，所述基于待生成的动作类别，获取所述潜在动作特征的偏置信息包括：对所述动作类别的独热编码进行全连接处理，得到所述偏置信息。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述动作序列和所述虚拟对象的对象模型，合成所述虚拟对象执行所述动作类别所对应动作的动作片段。8.一种动作生成模型的训练方法，其特征在于，所述方法包括：基于样本动作类别和样本动作序列，确定所述样本动作序列所服从的样本分布，所述样本分布与虚拟对象的位姿分布具有映射关系；
通过标准正态分布，对所述样本分布进行重参数化，从重参数化后的样本分布中采样得到样本潜在特征；基于所述样本动作类别，获取所述样本潜在特征的样本偏置信息，所述样本偏置信息用于表征在所述样本动作类别下对所述样本潜在特征的影响因子；基于所述样本潜在特征、所述样本偏置信息和所述样本动作序列，对初始动作模型进行训练，得到动作生成模型，所述动作生成模型用于以自回归的方式生成虚拟对象执行与输入的动作类别所对应动作的动作序列。9.根据权利要求8所述的方法，其特征在于，所述初始动作模型包括多个编码单元和多个解码单元，所述编码单元用于预测所述样本分布的分布参数，所述解码单元用于基于自注意力机制解码得到下一个位姿，其中，所述编码单元和所述解码单元的数量相同。10.根据权利要求9所述的方法，其特征在于，所述基于样本动作类别和样本动作序列，确定所述样本动作序列所服从的样本分布包括：对所述样本动作类别进行全连接处理，得到样本类别特征；对所述样本动作序列进行全连接处理，得到第一动作特征；将所述第一动作特征和所述样本动作序列的样本位置特征进行融合，得到第二动作特征，所述样本位置特征用于表征所述样本动作序列中各个位姿在时序上的先后顺序；将所述第二动作特征和所述样本类别特征输入所述多个编码单元，由最后一个编码单元输出所述样本分布关联的目标隐向量；基于所述目标隐向量，获取用于指示所述样本分布的分布参数。11.根据权利要求10所述的方法，其特征在于，所述分布参数包括所述样本分布的均值和标准差；所述通过标准正态分布，对所述样本分布进行重参数化包括：从所述标准正态分布中，采样得到重参数化的调整因子；基于所述调整因子，对所述标准差进行修正，得到修正后的标准差；基于所述均值和所述修正后的标...

【专利技术属性】
技术研发人员：王伟强，者雪飞，暴林超，陈欢，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：