面部动画合成方法、存储介质及电子设备技术

技术编号:43662051 阅读:21 留言:0更新日期:2024-12-13 12:52
本申请实施例提供一种面部动画合成方法及电子设备,涉及虚拟数字形象技术领域,该方法包括:获取待进行动画合成的输入语音和人脸源图像;将输入语音分割为相应的语音单元序列;提取语音单元序列所对应的面部动作特征序列;基于向量量化器,将面部动作特征序列压缩转换为相应的动作离散令牌集;基于图像渲染器处理动作离散令牌集和人脸源图像,以生成相应的面部动画。由此,通过向量量化器将面部动作特征序列压缩为离散令牌集,避免了复杂的连续表征模型,实现了更高效的面部动画合成,减少了对计算资源的需求,同时也避免了身份泄露的问题。

【技术实现步骤摘要】

本申请涉及虚拟数字形象,尤其涉及一种面部动画合成方法、存储介质及电子设备


技术介绍

1、虚拟数字形象技术在虚拟现实、计算机游戏、人机交互等领域具有广泛的应用前景,而虚拟数字人脸的生成技术是其中的关键环节之一。在语音驱动面部动画生成技术中,主要关注语音和嘴唇运动的同步,从而生成较为逼真的口型动画。

2、目前,通常采用基于显式结构表示的技术来生成面部动画,具体为通过使用blendshapes、3d可变形模型(3d morphable model,3dmm)或人脸landmark来生成面部动画,从而分离面部动作和纹理信息。具体而言,blend shapes是一种在3d建模软件中常用的变形技术,可以通过混合多个目标形状来生成中间过渡状态,常用于制作面部表情动画。3d可变形模型(3dmm)是一种参数化的人脸统计模型,通过形状和纹理参数可以重建出与输入人脸图像相对应的3d人脸模型。人脸landmark是在人脸图像上标记的一组关键点,通常包括眉毛、眼睛、鼻子、嘴巴等面部器官的轮廓点,可以用来描述人脸的形状和表情特征。

3、然而,这些方案均采用显本文档来自技高网...

【技术保护点】

1.一种面部动画合成方法,包括:

2.根据权利要求1所述的方法,其中,所述向量量化器选自以下中的任意一者:单码本向量量化器、群向量量化器、残差向量量化器、群残差向量量化器或群残差有限标量量化器。

3.根据权利要求2所述的方法,其中,所述向量量化器为群残差有限标量量化器;所述将所述面部动作特征序列压缩转换为相应的动作离散令牌集,包括:

4.根据权利要求3所述的方法,其中,码本采用时间维度和动作粒度维度进行交错的码本,使得特征数据能够在时间维度与动作粒度维度交替地进行码本量化。

5.根据权利要求4所述的方法,其中,针对所述时间维度的码本量化采用...

【技术特征摘要】

1.一种面部动画合成方法,包括:

2.根据权利要求1所述的方法,其中,所述向量量化器选自以下中的任意一者:单码本向量量化器、群向量量化器、残差向量量化器、群残差向量量化器或群残差有限标量量化器。

3.根据权利要求2所述的方法,其中,所述向量量化器为群残差有限标量量化器;所述将所述面部动作特征序列压缩转换为相应的动作离散令牌集,包括:

4.根据权利要求3所述的方法,其中,码本采用时间维度和动作粒度维度进行交错的码本,使得特征数据能够在时间维度与动作粒度维度交替地进行码本量化。

5.根据权利要求4所述的方法,其中,针对所述时间维度的码本量化采用非自回归方法,以及针对所述动作粒度维度的码本量化采用多层次渐进迭代的自回归方法。

6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员:俞凯刘涛
申请(专利权)人:思必驰科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1