动作轨迹生成模型的训练方法、动作轨迹生成方法及装置制造方法及图纸

本申请提供了动作轨迹生成模型的训练方法、动作轨迹生成方法及装置，通过对第一动作轨迹样本进行动作类别特征提取和动作轨迹特征提取，得到动作类别特征向量和动作轨迹特征向量；再基于动作类别特征向量和预处理后的动作轨迹特征向量进行动作轨迹预测，得到第一预测特征向量，使得该第一预测特征向量是基于动作轨迹类别和动作轨迹本身这两个维度的特征向量得到的；并且基于第一预测特征向量的动作类别识别结果和动作轨迹判别结果对模型参数进行迭代更新，并不限定预测的动作轨迹与动作轨迹样本保持一致，而是仅考虑动作类别损失和动作轨迹真伪损失来优化模型参数，这样能够确保训练后模型输出的动作轨迹的真实感、可控性和动作风格多样性。和动作风格多样性。和动作风格多样性。

【技术实现步骤摘要】
动作轨迹生成模型的训练方法、动作轨迹生成方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种动作轨迹生成模型的训练方法、动作轨迹生成方法及装置。

技术介绍

[0002]目前，随着人工智能技术的快速发展，神经网络模型的应用越来越广泛，例如，将神经网络模型应用于数字动画领域，动画制作人员可以仅仅需要绘制少量的已知动作图像帧，然后，将少量的已知动作图像帧对应的3D骨架信息输入预先训练的动作轨迹生成模型进行动作图像帧补全，即可得到具有多个动作图像帧的目标对象动作轨迹，进而基于该目标对象动作轨迹即可渲染得到一段目标对象的数字动画视频；其中目标对象可以是任一目标动画形象，可以是目标人物，也可以是目标动物等等；然而，现有的动作轨迹生成模型所输出的目标对象动作轨迹的真实感差。

技术实现思路

[0003]本申请实施例的目的是提供一种动作轨迹生成模型的训练方法、动作轨迹生成方法及装置，能够确保训练后模型输出的动作轨迹的真实感。
[0004]为了实现上述技术方案，本申请实施例是这样实现的：
[0005]第一方面，本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作轨迹生成模型的训练方法，其特征在于，所述方法包括：获取第一样本数据集；所述第一样本数据集包括多个第一动作轨迹样本；基于所述第一动作轨迹样本进行动作类别特征提取处理，得到第一动作类别特征向量；以及，基于所述第一动作轨迹样本进行动作轨迹特征提取处理，得到原始动作轨迹特征向量，并基于所述原始动作轨迹特征向量进行预处理，得到第一预处理特征向量；将各所述第一动作轨迹样本对应的第一动作类别特征向量和第一预处理特征向量输入待训练模型进行模型迭代训练，得到动作轨迹生成模型；其中，所述待训练模型包括生成子模型和判别子模型；每次模型训练的具体实现方式有：针对每个所述第一动作轨迹样本：所述生成子模型基于所述第一动作轨迹样本对应的第一动作类别特征向量和第一预处理特征向量，生成第一预测特征向量；所述判别子模型基于所述第一预测特征向量和所述第一动作轨迹样本对应的原始动作轨迹特征向量进行轨迹真伪判别，生成动作轨迹判别结果集合；基于所述第一预测特征向量进行动作类别识别，得到动作类别识别结果；基于所述动作类别识别结果和所述动作轨迹判别结果集合对所述生成子模型进行参数更新；以及基于所述动作轨迹判别结果集合对所述判别子模型进行参数更新。2.根据权利要求1所述的方法，其特征在于，所述生成子模型包括特征向量转换网络、特征向量拼接网络和动作轨迹生成网络；所述基于所述第一动作轨迹样本对应的第一动作类别特征向量和第一预处理特征向量，生成第一预测特征向量，包括：所述特征向量转换网络对所述第一动作轨迹样本对应的第一动作类别特征向量进行特征转换处理，得到第二动作类别特征向量；所述特征向量拼接网络将所述第二动作类别特征向量与所述第一动作轨迹样本对应的第一预处理特征向量进行拼接处理，得到第一拼接特征向量；所述动作轨迹生成网络基于所述第一拼接特征向量进行动作轨迹预测，生成第一预测特征向量。3.根据权利要求1所述的方法，其特征在于，所述基于所述原始动作轨迹特征向量进行预处理，得到第一预处理特征向量，包括：对所述原始动作轨迹特征向量中目标图像帧对应的动作特征向量进行遮挡处理，得到第一动作轨迹特征向量；所述目标图像帧是从N个动作图像帧选取的，所述N个动作图像帧与所述第一动作轨迹样本中N个3D骨架信息一一对应；对所述第一动作轨迹特征向量中遮挡后的动作特征向量进行补全处理，得到第二动作轨迹特征向量；对所述第二动作轨迹特征向量中各动作图像帧对应的动作特征向量进行位置标记处理，得到第一预处理特征向量。4.根据权利要求1所述的方法，其特征在于，所述动作轨迹判别结果集合包括表征所述第一预测特征向量被判别为真的第一判别结果、表征所述原始动作轨迹特征向量被判别为真的第二判别结果、以及表征所述第一预测特征向量被判别为伪造的第三判别结果；所述基于所述动作类别识别结果和所述动作轨迹判别结果集合对所述生成子模型进
行参数更新；以及基于所述动作轨迹判别结果集合对所述判别子模型进行参数更新，包括：基于所述动作类别识别结果和所述第一判别结果对所述生成子模型进行参数更新；基于所述第二判别结果和所述第三判别结果对所述判别子模型进行参数更新。5.根据权利要求2所述的方法，其特征在于，所述基于所述第一拼接特征向量进行动作轨迹预测，生成第一预测特征向量，包括：基于所述第一拼接特征向量进行动作轨迹预测，得到第三动作轨迹特征向量；基于所述第三动作轨迹特征向量和所述原始动作轨迹特征向量，生成第一预测特征向量；所述第一预测特征向量包括所述第三动作轨迹特征向量中目标图像帧对应的动作特征向量和所述原始动作轨迹特征向量中非目标图像帧对应的动作特征向量。6.根据权利要求1所述的方法，其特征在于，所述基于所述第一动作轨迹样本进行动作类别特征提取处理，得到第一动作类别特征向量，包括：基于所述第一动作轨迹样本，构建第一动作轨迹时空图；利用预先训练后的动作分类模型基于所述第一动作轨迹时空图进行动作类别特征提取处理，得到第一动作类别特征向量。7.根据权利要求1所述的方法，其特征在于，所述基于所述第一预测特征向量进行动作类别识别，得到动作类别识别结果，包括：基于所述第一预测特征向量进行3D骨架转换处理，得到预测动作轨迹样本；基于所述预测动作轨迹样本，构建第二动作轨迹时空图；利用预先训练后的动作分类模型基于所述第二动作轨迹时空图进行动作类别特征提取处理，得到第三动作类别特征向量，并基于所述第三动作类别特征向量进行动作类别识别，得到动作类别识别结果。8.根据权利要求6或者7所述的方法，其特征在于，在获取第一样本数据集之前，还包括：获取第二样本数据集；所述第二样本数据集包括多个第二动作轨迹样本；基于所述第二动作轨迹样本，构建第三动作轨迹时空图；将各所述第三动作轨迹时空图输入待训练的动作分类模型进行动作类别特征提取处理，得到第四动作类别特征向量，并基于所述第四动作类别特征向量进行动作类别预测，得到动作类别预测结果；基于各所述第二动作轨迹样本对应的动作类别预测结果、以及特征向量偏差信息，确定分类损失值；所述特征向量偏差信息包括所述第四动作类别特征向量与目标中心特征向量的偏差信息，所述目标中心特征向量为所述第二动作轨迹样本的真实动作类别对应的中心特征向量；基于所述分类损失值对所述动作分类模型进行模型迭代训练，得到训练后的动作分类模型。9.根据权利要求8所述的方法，其特征在于，在基于所述分类损失值对所述动作分类模型进行模型迭代...

【专利技术属性】
技术研发人员：王淳，周迅溢，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：