一种制造技术

本申请公开了一种

【技术实现步骤摘要】
一种3D虚拟数字人唇形动画生成模型训练方法及装置


[0001]本申请涉及人工智能
，具体涉及一种
3D
虚拟数字人唇形动画生成模型训练方法及装置
。

技术介绍

[0002]随着计算机视觉技术的快速发展，数字孪生在各个领域得到了广泛应用
。
数字孪生是将现实世界中的对象
、
系统或过程以数字化的方式进行建模和仿真，实现对其进行监测
、
分析和优化的技术
。
元宇宙作为一个大的依托，为数字孪生的发展提供了更广阔的空间
。
元宇宙是一个虚拟的数字世界，它由数字孪生
、
虚拟现实
、
增强现实等技术构建而成，能够模拟和再现真实世界中的各种场景和对象
。
在元宇宙中，数字孪生可以作为现实世界的镜像存在，与真实世界进行互动和模拟，在各种领域发挥重要作用
。
[0003]在社交
、
购物和游戏等现代生活中，吸引人的
、
可动画化的/>3D
角本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
3D
虚拟数字人唇形动画生成模型训练方法，其特征在于，包括：步骤1：获取音频数据集以及所述音频数据集对应的文本数据集和
BlendShape
参数集；步骤2：处理所述音频数据集和所述文本数据集，使所述音频数据集和所述文本数据集与所述
BlendShape
参数集相对应；步骤3：提取处理后的所述音频数据集的音频特征和所述文本数据集的文本特征；步骤4：拼接或合并所述音频特征和所述文本特征得到融合特征，并将所述融合特征通过第一线性层进行调整和映射；步骤5：将调整和映射后的所述融合特征输入至
Transformer
模型中得到增强语义向量；步骤6：将所述增强语义向量通过第二线性层进行调整和映射，得到最终特征；步骤7：将所述最终特征输入至激活函数中得到
Blendshape
参数；步骤8：将所述
Blendshape
参数与原始
BlendShape GT
参数进行损失值计算，并通过反向传播更新参数，当损失值达到最优时，停止训练，得到
3D
虚拟数字人唇形动画生成模型
。2.
根据权利要求1所述的
3D
虚拟数字人唇形动画生成模型训练方法，其特征在于，所述步骤2中，处理所述音频数据集使所述音频数据集与所述
BlendShape
参数集相对应时具体包括：步骤
201
：判断音频数据是否与
BlendShape
参数强制对齐；步骤
202
：若音频数据集不能与
BlendShape
参数集强制对齐，则将音频数据舍弃；步骤
203
：判断音频数据和
BlendShape
参数是否满足帧数与文字数量限制要求；步骤
204
：若不满足帧数与文字数量限制要求，则将音频数据舍弃
。3.
根据权利要求1所述的
3D
虚拟数字人唇形动画生成模型训练方法，其特征在于，所述步骤3中提取所述文本数据集的文本特征时采用
...

【专利技术属性】
技术研发人员：袁海杰，
申请(专利权)人：小哆智能科技北京有限公司，
类型：发明
国别省市：