面部生成方法和装置制造方法及图纸

技术编号:40802098 阅读:20 留言:0更新日期:2024-03-28 19:27
本申请公开了一种面部生成方法和装置,属于数字人领域。所述面部生成方法,包括:获取目标音频和目标风格特征序列;目标风格特征序列为目标风格对象在口播任意音频情况下对应的面部特征序列;基于目标音频和目标风格特征序列,预测得到目标口型特征;目标口型特征为目标风格对象对应的唇形风格下与目标音频匹配的口型特征;基于目标口型特征和目标风格特征序列,生成整体面部特征序列。本申请的面部生成方法,可以生成不同风格且风格差异较大的不同的口型特征,有利于个性化风格的实现。

【技术实现步骤摘要】

本申请属于数字人领域,尤其涉及一种面部生成方法和装置


技术介绍

1、数字人技术不断发展,数字人逐渐替代真人应用于介绍以及互动等场景。在数字人生成领域中,相关技术中,往往使用大规模口播数据集训练音频驱动口型模型,使模型具有更高的泛化性,但该方法会导致模型在不同形象上推理时口型风格一致,不利于个性化风格的实现。


技术实现思路

1、本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种面部生成方法和装置,可以生成不同风格且风格差异较大的不同的口型特征,有利于个性化风格的实现。

2、第一方面,本申请提供了一种面部生成方法,该方法包括:

3、获取目标音频和目标风格特征序列;所述目标风格特征序列为目标风格对象在口播任意音频情况下对应的面部特征序列;

4、基于所述目标音频和所述目标风格特征序列,预测得到目标口型特征;所述目标口型特征为所述目标风格对象对应的唇形风格下与所述目标音频匹配的口型特征;

5、基于所述目标口型特征和所述目标风格特征序列,生成整体面部特征本文档来自技高网...

【技术保护点】

1.一种面部生成方法,其特征在于,包括:

2.根据权利要求1所述的面部生成方法,其特征在于,所述基于所述目标口型特征和所述目标风格特征序列,生成整体面部特征序列,包括:

3.根据权利要求2所述的面部生成方法,其特征在于,所述将从所述目标风格特征序列对应的初始面部特征中提取到的其他五官特征与所述目标口型特征进行融合,得到所述整体面部特征序列,包括:

4.根据权利要求3所述的面部生成方法,其特征在于,所述融合所述目标口型特征和所述第一面部特征,得到所述整体面部特征序列,包括:

5.根据权利要求1-4任一项所述的面部生成方法,其特征在于,所述基于...

【技术特征摘要】

1.一种面部生成方法,其特征在于,包括:

2.根据权利要求1所述的面部生成方法,其特征在于,所述基于所述目标口型特征和所述目标风格特征序列,生成整体面部特征序列,包括:

3.根据权利要求2所述的面部生成方法,其特征在于,所述将从所述目标风格特征序列对应的初始面部特征中提取到的其他五官特征与所述目标口型特征进行融合,得到所述整体面部特征序列,包括:

4.根据权利要求3所述的面部生成方法,其特征在于,所述融合所述目标口型特征和所述第一面部特征,得到所述整体面部特征序列,包括:

5.根据权利要求1-4任一项所述的面部生成方法,其特征在于,所述基于所述目标音频和所述目标风格特征序列,预测得到目标口型...

【专利技术属性】
技术研发人员:王利华彭鹏李爱军姚荣国李卓霖
申请(专利权)人:广电运通集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1