动作生成方法及相关装置、电子设备和存储介质制造方法及图纸

本申请公开了一种动作生成方法及相关装置、电子设备和存储介质，其中，动作生成方法包括：获取分别表征若干个体在若干动作帧的第一特征表示，并获取分别表征若干个体关于目标动作类别的第二特征表示；基于第一特征表示和第二特征表示进行关系建模，得到各动作帧中各个体的融合特征表示；其中，关系建模的类型与若干个体的第一总数相关；基于融合特征表示进行动作映射，得到若干个体关于目标动作类别的动作序列；其中，动作序列包括若干动作帧，且动作帧包含各个体的动作表示。上述方案，能够在提升动作生成效率的前提下，兼容单个个体和多个个体两种应用场景。个体两种应用场景。个体两种应用场景。

【技术实现步骤摘要】
动作生成方法及相关装置、电子设备和存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种动作生成方法及相关装置、电子设备和存储介质。

技术介绍

[0002]动作生成是诸如动画创作、仿人机器人交互等众多计算机视觉任务的关键所在。目前，现有的动作生成方式主要包括两种，一种是基于计算机图形学的建模
‑
渲染方式，需要依赖于设计师投入大量时间和精力进行建模、蒙皮和动作捕捉等工作，效率较低；另一种是基于机器学习特别是深度学习的方式。
[0003]得益于近年来机器学习技术的快速发展，利用深度神经网络执行动作生成任务，能够大大提升动作生成的效率。然而，现有方式通常只考虑单个个体的动作生成，而无法兼容多个个体的应用场景。有鉴于此，如何在提升动作生成效率的前提下，兼容单个个体和多个个体两种应用场景成为亟待解决的问题。

技术实现思路

[0004]本申请提供一种动作生成方法及相关装置、电子设备和存储介质。
[0005]本申请第一方面提供了一种动作生成方法，包括：获取分别表征若干个体在若干动作帧的第一特征表示，并获取分别表征若干个体关于目标动作类别的第二特征表示；基于第一特征表示和第二特征表示进行关系建模，得到各动作帧中各个体的融合特征表示；其中，关系建模的类型与若干个体的第一总数相关；基于融合特征表示进行动作映射，得到若干个体关于目标动作类别的动作序列；其中，动作序列包括若干动作帧，且动作帧包含各个体的动作表示。
[0006]因此，获取分别表征若干个体在若干动作帧的第一特征表示，并获取分别表征若干个体关于目标动作类别的第二特征表示，在此基础上，基于第一特征表示和第二特征表示进行关系建模，得到各动作帧中各个体的融合特征表示，且关系建模的类型与若干个体的第一总数相关，再基于融合特征表示进行动作映射，即可得到若干个体关于目标动作类别的动作序列，且动作序列包括若干动作帧，动作帧包括各个体的动作表示，故一方面无需依赖于人工即可自动生成动作，另一方面通过根据若干个体的第一总数来针对性地进行关系建模，能够兼容单个个体和多个个体两种应用场景。故此，能够在提升动作生成效率的前提下，兼容单个个体和多个个体两种应用场景。
[0007]其中，在若干个体的第一总数为单个的情况下，关系建模包括建模各动作帧之间的时序关系；和/或，在若干个体的第一总数为多个的情况下，关系建模包括建模各动作帧中若干个体之间的交互关系和建模各动作帧之间的时序关系。
[0008]因此，在若干个体的第一总数为单个的情况下，关系建模包括建模各动作帧之间的时序关系，故能够通过建模时序关系提升动作帧之间的时序连贯性，有利于提升动作序列的真实性，而在若干个体的第一总数为多个的情况下，关系建模包括建模各动作帧中若
干个体之间的交互关系和建模各动作帧之间的时序关系，故能够通过建模交互关系提升个体之间的交互合理性，以及能够通过建模时序关系提升动作帧之间的时序连贯性，有利于提升动作序列的真实性。
[0009]其中，在关系建模包括建模时序关系的情况下，基于第一特征表示和第二特征表示进行关系建模，得到各动作帧中各个体的融合特征表示，包括：选择个体作为目标个体，并将目标个体对应的第一特征表示和第二特征表示，作为目标个体在不同时序的时序特征表示；分别选择各个时序作为第一当前时序，并选择第一当前时序的时序特征表示作为第一当前时序表示；基于各个第一参考时序表示分别与第一当前时序表示的相关度，得到第一当前时序表示对应的融合特征表示；其中，第一参考时序表示包括目标个体在各时序的时序特征表示。
[0010]其中，在关系建模包括建模交互关系的情况下，基于第一特征表示和第二特征表示进行关系建模，得到各动作帧中各个体的融合特征表示，包括：选择个体作为目标个体，并将目标个体对应的第一特征表示和第二特征表示，作为目标个体在不同时序的时序特征表示；分别选择各个时序作为第二当前时序，并选择第二当前时序的时序特征表示作为第二当前时序表示；基于各个第二参考时序表示分别与第二当前时序表示的相关度，得到第二当前时序表示对应的融合特征表示；其中，第二参考时序表示包括各个体分别在第二当前时序的时序特征表示。
[0011]因此，选择个体作为目标个体，并将目标个体对应的第一特征表示和第二特征表示，作为目标个体在不同时序的时序特征表示，基于此将不同时序的时序特征表示，分别作为当前时序表示，再基于各参考时序表示分别与当前时序表示的相关度，得到当前时序表示对应的融合特征表示，且在建模时序关系的情况下，参考时序表示包括目标个体在各时序的时序特征表示，在建模交互关系的情况下，参考时序表示包括各个体分别在参考时序的时序特征表示，而参考时序为当前时序表示对应的时序，故能够通过相似的建模流程来建模时序关系和交互关系，故能进一步提升单个个体和多个个体两种应用场景的兼容性。
[0012]其中，在关系建模包括建模交互关系和时序关系的情况下，基于第一特征表示和第二特征表示进行关系建模，得到各动作帧中各个体的融合特征表示，包括：基于第一特征表示和第二特征表示建模在先关系，得到在先关系的输出特征表示，基于输出特征表示建模在后关系，得到融合特征表示；其中，在先关系为交互关系，在后关系为时序关系，或者，在先关系为时序关系，在后关系为交互关系。
[0013]因此，在关系建模包括建模交互关系和时序关系的情况下，将在先建模的交互关系的输出特征表示为在后建模的时序关系的输入特征表示，故在多个个体的应用场景下，通过先后建模交互关系和时序关系，使得各融合特征表示分别融入交互关系和时序关系，有利于提升交互关系和时序关系的融合效果。
[0014]其中，动作序列由动作生成模型得到，动作生成模型包括关系建模网络，且关系建模网络包括时序建模子网络和交互建模子网络，时序建模子网络用于建模时序关系，交互建模子网络用于建模交互关系。
[0015]因此，动作序列由动作生成模型得到，作生成模型包括关系建模网络，且关系建模网络包括时序建模子网络和交互建模子网络，时序建模子网络用于建模时序关系，交互建模子网络用于建模交互关系，故能够通过网络模型完成动作生成任务，有利于进一步提升
动作生成效率。
[0016]其中，第一特征表示基于高斯过程的采样得到。
[0017]因此，基于高斯过程采样得到第一特征表示，有利于大大降低第一特征表示的获取复杂度，而且还能够提升在类别丰富的动作数据上的生成质量。
[0018]其中，获取分别表征若干个体在若干动作帧的第一特征表示，包括：在若干高斯过程中，分别采样第二总数次，得到分别表征第二总数个动作帧的第一原始表示；其中，第一原始表示的长度与高斯过程的个数相同，各高斯过程的特征长度尺度各不相同；基于第一总数和第一原始表示，得到第三总数个第一特征表示；其中，第三总数为第一总数和第二总数的乘积。
[0019]因此，在若干高斯过程中，分别采样第二总数次，得到分别表征第二总数个动作帧的第一原始表示，且第一原始表示的长度与高斯过程的个数相同，各高斯过程的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作生成方法，其特征在于，包括：获取分别表征若干个体在若干动作帧的第一特征表示，并获取分别表征所述若干个体关于目标动作类别的第二特征表示；基于所述第一特征表示和所述第二特征表示进行关系建模，得到各所述动作帧中各所述个体的融合特征表示；其中，所述关系建模的类型与所述若干个体的第一总数相关；基于所述融合特征表示进行动作映射，得到所述若干个体关于所述目标动作类别的动作序列；其中，所述动作序列包括所述若干动作帧，且所述动作帧包含各所述个体的动作表示。2.根据权利要求1所述的方法，其特征在于，所述关系建模的类型与所述若干个体的第一总数相关，包括：在所述若干个体的第一总数为单个的情况下，所述关系建模包括建模各所述动作帧之间的时序关系；和/或，在所述若干个体的第一总数为多个的情况下，所述关系建模包括建模各所述动作帧中所述若干个体之间的交互关系和建模各所述动作帧之间的时序关系。3.根据权利要求2所述的方法，其特征在于，在所述关系建模包括建模所述时序关系的情况下，所述基于所述第一特征表示和所述第二特征表示进行关系建模，得到各所述动作帧中各所述个体的融合特征表示，包括：选择所述个体作为目标个体，并将所述目标个体对应的第一特征表示和第二特征表示，作为所述目标个体在不同时序的时序特征表示；分别选择各个所述时序作为第一当前时序，并选择所述第一当前时序的时序特征表示作为第一当前时序表示；基于各个第一参考时序表示分别与所述第一当前时序表示的相关度，得到所述第一当前时序表示对应的融合特征表示；其中，所述第一参考时序表示包括所述目标个体在各所述时序的时序特征表示。4.根据权利要求2所述的方法，其特征在于，在所述关系建模包括建模所述交互关系的情况下，所述基于所述第一特征表示和所述第二特征表示进行关系建模，得到各所述动作帧中各所述个体的融合特征表示，包括：选择所述个体作为目标个体，并将所述目标个体对应的第一特征表示和第二特征表示，作为所述目标个体在不同时序的时序特征表示；分别选择各个所述时序作为第二当前时序，并选择所述第二当前时序的时序特征表示分别作为第二当前时序表示；基于各个第二参考时序表示分别与所述第二当前时序表示的相关度，得到所述第二当前时序表示对应的融合特征表示；其中，所述第二参考时序表示包括各所述个体分别在所述第二当前时序的时序特征表示。5.根据权利要求2所述的方法，其特征在于，在所述关系建模包括建模所述交互关系和所述时序关系的情况下，所述基于所述第一特征表示和所述第二特征表示进行关系建模，得到各所述动作帧中各所述个体的融合特征表示，包括：基于所述第一特征表示和所述第二特征表示建模在先关系，得到所述在先关系的输出
特征表示；基于所述输出特征表示建模在后关系，得到所述融合特征表示；其中，所述在先关系为所述交互关系，所述在后关系为所述时序关系，或者，所述在先关系为所述时序关系，所述在后关系为所述交互关系。6.根据权利要求2所述的方法，其特征在于，所述动作序列由动作生成模型得到，所述动作生成模型包括关系建模网络，且所述关系建模网络包括时序建模子网络和交互建模子网络，所述时序建模子网络用于建模所述时序关系，所述交互建模子网络用于建模所述交互关系。7.根据权利要求1所述的方法，其特征在于，所述第一特征表示基于高斯过程的采样得到。8.根据权利要求7所述的方法，其特征在于，所述获取分别表征若干个体在若干动作帧的第一特征表示，包括：在若干所述高斯过程中，分别采样第二总数次，得到分别表征第二总数个所述动作帧的第一原始表示；其中，所述第一原始表示的长度与所述高斯过程的个数相同，各所述高斯过程的特征长度尺度各不相同；基于所述第一总数和所述第一原始表示，得到第三总数个所述第一特征表示；其中，所述第三总数为所...

【专利技术属性】
技术研发人员：宋子扬，王栋梁，
申请(专利权)人：上海商汤科技开发有限公司，
类型：发明
国别省市：