动作生成方法、装置、电子设备及存储介质制造方法及图纸

本公开是关于一种动作生成方法、装置、电子设备及存储介质。该方法包括：获取在时序上关联的预测动作特征序列；从预设动作特征库中，确定与所述预测动作特征序列中的各个预测动作特征相匹配的量化动作特征；确定所述预测动作特征序列中各个所述预测动作特征在空间上的关联关系；按照各个所述预测动作特征在空间上的关联关系和各个所述预测动作特征在时序上的关联关系，对与各个所述预测动作特征相匹配的量化动作特征进行组合，得到目标动作特征序列。本公开能够兼顾各个预测动作特征在时序上的关联关系和在空间上的关联关系，进而能够提高生成的目标动作特征序列的标准性，以及提高目标动作特征序列在节拍上与音频节奏之间的一致性。间的一致性。间的一致性。

Action generation method, device, electronic device and storage medium

【技术实现步骤摘要】
动作生成方法、装置、电子设备及存储介质
[0001]相关申请的交叉引用
[0002]本申请要求2022年02月28日提交新加坡知识产权局的新加坡专利申请10202202011P的优先权，该申请的全部内容通过引用并入本文。


[0003]本公开涉及计算机信息
，涉及但不限于一种动作生成方法、装置、电子设备及存储介质。

技术介绍

[0004]目前，在一些场景下存在根据音乐模拟动作的需求，例如在游戏或动画等虚拟场景中，跟随当前播放的音乐模拟舞蹈或艺术体操等动作。然而，现有技术中，根据给定的音乐，所生成的动作存在与音乐节奏不一致的情况，且存在生成的动作不流畅等问题，导致难以制作出令人满意的动作。

技术实现思路

[0005]本公开提供一种动作生成方法、装置、电子设备及存储介质。
[0006]根据本公开实施例的第一方面，提供一种动作生成方法，包括：获取在时序上关联的预测动作特征序列；其中，所述预测动作特征序列至少根据音频特征生成；从预设动作特征库中，确定与所述预测动作特征序列中的各个预测动作特征相匹配的量化动作特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作生成方法，其特征在于，所述方法包括：获取在时序上关联的预测动作特征序列；其中，所述预测动作特征序列至少根据音频特征生成；从预设动作特征库中，确定与所述预测动作特征序列中的各个预测动作特征相匹配的量化动作特征；确定所述预测动作特征序列中各个所述预测动作特征在空间上的关联关系；按照各个所述预测动作特征在空间上的关联关系和各个所述预测动作特征在时序上的关联关系，对与各个所述预测动作特征相匹配的量化动作特征进行组合，得到目标动作特征序列。2.根据权利要求1所述的方法，其特征在于，所述从预设动作特征库中，确定与所述预测动作特征序列中的各个预测动作特征相匹配的量化动作特征，包括：分别对各个所述预测动作特征进行降维处理，得到编码特征；其中，所述编码特征的维度与所述预设动作特征库中的各个量化动作特征的维度相同；根据所述编码特征与所述预设动作特征库中的每个量化动作特征之间的距离，从所述预设动作特征库中，确定与各个所述预测动作特征相匹配的量化动作特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述编码特征与所述预设动作特征库中的每个量化动作特征之间的距离，从所述预设动作特征库中，确定与各个所述预测动作特征相匹配的量化动作特征，包括：确定待处理的编码特征与所述预设动作特征库中的各个量化动作特征之间的所述距离；将所述待处理的编码特征对应的各个所述距离进行排序，得到排序结果；根据所述排序结果，确定与所述待处理的编码特征对应的量化动作特征；根据各个所述待处理的编码特征对应的量化动作特征，确定与各个所述预测动作特征相匹配的量化动作特征。4.根据权利要求1至3任一项所述的方法，其特征在于，所述确定所述预测动作特征序列中各个所述预测动作特征在空间上的关联关系，包括：根据各个所述量化动作特征，确定目标角色的各个关键点与预设标准点之间的相对位置信息和所述目标角色的位移信息；其中，所述预测动作特征序列根据所述音频特征和所述目标角色的初始动作特征生成；根据所述相对位置信息和所述位移信息，确定各个所述预测动作特征在空间上的关联关系。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：获取样本动作特征序列；根据所述样本动作特征序列中的各个所述样本动作特征和各个所述样本动作特征在空间上的预设关联关系，对初始特征处理模型的模型参数和所述初始特征处理模型的初始动作特征库中的量化动作特征进行更新，得到更新结果；基于所述更新结果得到具有所述预设动作特征库的目标特征处理模型；所述从预设动作特征库中，确定与所述预测动作特征序列中的各个预测动作特征相匹配的量化动作特征，包括：
从所述目标特征处理模型的所述预设动作特征库中，确定与所述预测动作特征序列中的各个预测动作特征相匹配的量化动作特征。6.根据权利要求5所述的方法，其特征在于，所述根据所述样本动作特征序列中的各个所述样本动作特征和各个所述样本动作特征在空间上的预设关联关系，对初始特征处理模型的模型参数和所述初始特征处理模型的初始动作特征库中的量化动作特征进行更新，得到更新结果，包括：利用所述初始特征处理模型，得到各个所述样本动作特征在空间上的预测关联关系；根据在空间上的所述预测关联关系和在空间上的所述预设关联关系，确定第一损失值；对各个所述样本动作特征进行降维处理，得到样本编码特征；根据所述样本编码特征，确定第二损失值；根据所述第一损失值和所述第二损失值，得到第一目标损失值；利用所述第一目标损失值，对所述初始特征处理模型的模型参数和所述初始特征处理模型的初始动作特征库中的量化动作特征进行更新，得到所述更新结果。7.根据权利要求6所述的方法，其特征在于，所述根据所述样本编码特征，确定第二损失值，包括：根据所述样本编码特征，从所述初始动作特征库中确定与所述样本动作特征相匹配的量化动作特征；根据所述样本编码特征和与所述样本动作特征相匹配的量化动作特征，确定所述第二损失值。8.根据权利要求7所述的方法，其特征在于，所述根据所述样本编码特征和与所述样本动作特征相匹配的量化动作特征，确定所述第二损失值，包括：根据所述样本编码特征与样本量化动作特征之间的差值，确定第一子损失值；根据所述样本编码特征与所述样本量化动作特征之间的差值的相反数，确定第二子损失值；根据所述第一子损失值、所述第二子损失值以及预设权重系数，确定所述第二损失值。9.根据权利要求1至8任一项所述的方法，其特征在于，所述获取在时序上关联的预测动作特征序列，包括：根据所述音频特征中的各个子音频特征和目标角色的初始动作特征，确定与各个所述子音频特征在时序上对齐的预测动作特征；其中，各个所述子音频特征在时序上关联；根据各个所述预...

【专利技术属性】
技术研发人员：李思尧，余伟江，顾天培，林纯泽，王权，钱晨，吕健勤，刘子纬，
申请(专利权)人：南洋理工大学，
类型：发明
国别省市：