一种语音驱动的全身动作生成方法技术

本发明专利技术公开了一种语音驱动的全身动作生成方法，涉及三维人体动作生成技术领域。鉴于脸部动作与音频密切相关，而身体姿势与音频的相关性相对较小，本发明专利技术分别生成脸部和身体的动作，在脸部动作生成方面，设计了基于编‑解码器的端到端网络，在身体动作生成方面，设计了基于向量量化变分自动编码器(VQ‑VAE)和保留网络(RetNet)的两阶段网络，为全身不同部位设计独立的运动生成网络，最大程度满足了整体动作生成的需求；针对现有方法生成的身体动作存在不连续、不真实的问题，提出了结合SMPL‑X人体网格表面曲面点和内部关节点的混合点表示法，融合了全局约束和局部细节，使生成的结果更加合理；设计了运动表示转换网络，可将混合点表示转换为SMPL‑X轴角表示以提供更通用的运动表示；为了提高生成结果的多样性，引入了对比运动学习法。

【技术实现步骤摘要】

本专利技术属于三维人体动作生成，具体涉及一种语音驱动的全身动作生成方法。

技术介绍

1、当前，随着元宇宙产业的高速发展，其技术体系逐渐成熟，应用场景也日益丰富。其中，以数字人为中心的应用尤为热门，被广泛运用于老年助手、视频教学、儿童情绪调节、电子商务、机器人以及虚拟治疗等领域。在元宇宙中，用户与互联网的交互方式已从简单的二维界面演变为更加身临其境的三维体验，沉浸式交流成为其重要特征。然而，实现沉浸式交流方式之一的语音驱动全身动作生成技术，仍然面临着挑战和局限性。

2、其一，目前的研究主要集中在语音生成全身的部分运动，而非涵盖脸部、上半身、下半身在一起的整体运动，fan等人(fan y，lin z，saito j，et al.faceformer:speech-driven 3dfacial animatio n with transformers[c].proceedings of the ieee/cvfconference o n computer vision and pattern recognition(cvpr)，2022)利用四维本文档来自技高网...

【技术保护点】

1.一种语音驱动的全身动作生成方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种语音驱动的全身动作生成方法，其特征在于，S1中所述公共数据集预处理过程具体包括以下步骤：

3.根据权利要求2所述的一种语音驱动的全身动作生成方法，其特征在于，S2中所述语音驱动的脸部动作生成具体实现过程如下：

4.根据权利要求3所述的一种语音驱动的全身动作生成方法，其特征在于，S3中所述运动序列重建任务进一步包括以下步骤：

5.根据权利要求4所述的一种语音驱动的全身动作生成方法，其特征在于，所述S4具体包括如下内容：

6.根据权利要求5所...

【技术特征摘要】

1.一种语音驱动的全身动作生成方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种语音驱动的全身动作生成方法，其特征在于，s1中所述公共数据集预处理过程具体包括以下步骤：

3.根据权利要求2所述的一种语音驱动的全身动作生成方法，其特征在于，s2中所述语音驱动的脸部动作生成具体实现过程如下：

4....

【专利技术属性】
技术研发人员：李坤，朱敏婕，张劲松，
申请(专利权)人：天津大学，
类型：发明
国别省市：