System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 人脸动画生成方法、装置、电子设备及存储介质制造方法及图纸_技高网

人脸动画生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41391629 阅读:2 留言:0更新日期:2024-05-20 19:14
本发明专利技术涉及人工智能技术领域,提供一种人脸动画生成方法、装置、电子设备及存储介质,该方法首先获取用户语音;然后提取用户语音的语义特征以及声学特征;最后基于语义特征以及声学特征,生成人脸动画。通过对用户语音进行语义特征以及声学特征的提取,可以对语音特征进行解耦,即便输入不同用户的语音,只要内容相同,语气相近,就能保证人脸动画效果在内容和风格上基本一致,可以避免生成的人脸动画受说话人音色的干扰。该方法不需要预先构建动作库,可以大大节约人脸动画的生成成本。由于语义特征以及声学特征的应用,可以更加准确的把握用户语音的内容以及说话时的情感,进而可以提升生成的人脸动画的整体效果,唇形更加准确,且丰富度更高。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种人脸动画生成方法、装置、电子设备及存储介质


技术介绍

1、现有的人脸动画生成,往往通过给定语音,确定与给定语音匹配的人脸动画实现。

2、在确定人脸动画时,一种方案是通过匹配动作库实现,该方案通过语音的音节特征匹配动作库中对应的动画。这种方案受动作库规模的影响,容易出现整体效果差、唇形不准、丰富度低等缺点。

3、另一种方案是通过深度学习模型对语音特征进行处理,进而预测出人脸动画。该方案虽然不需预先构建动作库,但是应用的语音特征包括重音、语调等,说话人音色不同,语音特征也有所不同,导致预测得到的人脸动画受说话人音色干扰,当说话人音色发生变化时人脸动画不稳定,导致动画生成效果不好,不利于人脸动画的广泛应用。


技术实现思路

1、本专利技术提供一种人脸动画生成方法、装置、电子设备及存储介质,用以解决现有技术中存在的缺陷。

2、本专利技术提供一种人脸动画生成方法,包括:

3、获取用户语音;

4、提取所述用户语音的语义特征以及声学特征;

5、基于所述语义特征以及所述声学特征,生成人脸动画。

6、根据本专利技术提供的一种人脸动画生成方法,所述人脸动画包括第一局部人脸动画和第二局部人脸动画;

7、所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:

8、基于所述语义特征以及所述声学特征,分别预测所述第一局部人脸动画以及所述第二局部人脸动画;

<p>9、基于所述第一局部人脸动画以及所述第二局部人脸动画,生成所述人脸动画。

10、根据本专利技术提供的一种人脸动画生成方法,所述基于所述语义特征以及所述声学特征,分别预测所述第一局部人脸动画以及所述第二局部人脸动画,包括:

11、基于风格特征、所述语义特征以及所述声学特征,预测所述第一局部人脸动画;

12、和/或,

13、基于风格特征、所述语义特征以及所述声学特征,预测所述第二局部人脸动画;

14、其中,所述风格特征为预先存储得到,或基于对用户选择的动画风格的标识信息进行编码得到。

15、根据本专利技术提供的一种人脸动画生成方法,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第一局部人脸动画,包括:

16、将所述风格特征、所述语义特征以及所述声学特征输入至第一局部预测模型,得到所述第一局部预测模型输出的所述第一局部人脸动画;

17、其中,所述第一局部预测模型基于第一局部人脸动画样本及其对应的风格特征、语义特征以及声学特征训练得到。

18、根据本专利技术提供的一种人脸动画生成方法,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第二局部人脸动画,包括:

19、将所述风格特征、所述语义特征以及所述声学特征输入至第二局部预测模型,得到所述第二局部预测模型输出的所述第二局部人脸动画;

20、其中,所述第二局部预测模型基于第二局部人脸动画样本及其对应的风格特征、语义特征以及声学特征训练得到。

21、根据本专利技术提供的一种人脸动画生成方法,所述第一局部人脸动画为唇形脸颊动画,和/或,所述第二局部人脸动画为眉形动画。

22、根据本专利技术提供的一种人脸动画生成方法,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:

23、基于风格特征、所述语义特征以及所述声学特征,生成所述人脸动画;

24、其中,所述风格特征为预先存储得到,或基于对用户选择的动画风格的标识信息进行编码得到。

25、根据本专利技术提供的一种人脸动画生成方法,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:

26、获取身体动作信息;

27、提取所述身体动作信息中的运动特征;

28、基于所述运动特征,生成所述人脸动画的第三局部人脸动画。

29、根据本专利技术提供的一种人脸动画生成方法,所述基于所述运动特征,生成所述人脸动画的第三局部人脸动画,包括:

30、基于风格特征以及所述运动特征,生成所述第三局部人脸动画;

31、其中,所述风格特征为预先存储得到,或基于对用户选择的动画风格的标识信息进行编码得到。

32、根据本专利技术提供的一种人脸动画生成方法,所述提取所述身体动作信息中的运动特征,包括:

33、获取镜头位置信息;

34、将所述镜头位置信息以及所述身体动作信息输入至运动特征提取模型,得到所述运动特征提取模型输出的所述运动特征;

35、其中,所述运动特征提取模型基于带有运动特征标签的样本镜头位置以及样本动作信息进行训练得到。

36、根据本专利技术提供的一种人脸动画生成方法,所述第三局部人脸动画为眼神动画。

37、根据本专利技术提供的一种人脸动画生成方法,所述提取所述用户语音的语义特征以及声学特征,包括:

38、将所述用户语音分别输入至语义特征提取模型以及声学特征提取模型,得到所述语义特征提取模型输出的所述语义特征以及所述声学特征提取模型输出的所述声学特征;

39、其中,所述语义特征提取模型基于携带有语义特征标签的样本语音训练得到,所述声学特征提取模型基于携带有声学特征标签的样本语音训练得到。

40、根据本专利技术提供的一种人脸动画生成方法,所述基于所述语义特征以及所述声学特征,生成人脸动画,之后包括:

41、获取身体动作信息;

42、提取所述身体动作信息中的运动特征;

43、基于所述运动特征,生成第三局部人脸动画;

44、基于所述第三局部人脸动画,对所述人脸动画进行优化。

45、本专利技术还提供一种人脸动画生成方法,包括:

46、获取用户语音;

47、提取所述用户语音的语音特征;

48、基于所述语音特征,分别预测第一局部人脸动画和第二局部人脸动画,并基于所述第一局部人脸动画和所述第二局部人脸动画,生成人脸动画。

49、本专利技术还提供一种人脸动画生成装置,包括:

50、第一语音获取模块,用于获取用户语音;

51、第一特征提取模块,用于提取所述用户语音的语义特征以及声学特征;

52、第一动画生成模块,用于基于所述语义特征以及所述声学特征,生成人脸动画。

53、本专利技术还提供一种人脸动画生成装置,包括:

54、第二语音获取模块,用于获取用户语音;

55、第二特征提取模块,用于提取所述用户语音的语音特征;

56、第二动画生成模块,用于基于所述语音特征,分别预测第一局部人脸动画和第二局部人脸动画,并基于所述第一局部人脸动画和所述第二局部人脸动画,生成人脸动画。

57、本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序本文档来自技高网...

【技术保护点】

1.一种人脸动画生成方法,其特征在于,包括:

2.根据权利要求1所述的人脸动画生成方法,其特征在于,所述人脸动画包括第一局部人脸动画和第二局部人脸动画;

3.根据权利要求2所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,分别预测所述第一局部人脸动画以及所述第二局部人脸动画,包括:

4.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第一局部人脸动画,包括:

5.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第二局部人脸动画,包括:

6.根据权利要求2所述的人脸动画生成方法,其特征在于,所述第一局部人脸动画为唇形脸颊动画,和/或,所述第二局部人脸动画为眉形动画。

7.根据权利要求1所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:

8.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:

9.根据权利要求8所述的人脸动画生成方法,其特征在于,所述基于所述运动特征,生成所述人脸动画的第三局部人脸动画,包括:

10.根据权利要求8所述的人脸动画生成方法,其特征在于,所述第三局部人脸动画为眼神动画。

11.根据权利要求10所述的人脸动画生成方法,其特征在于,所述提取所述身体动作信息中的运动特征,包括:

12.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述提取所述用户语音的语义特征以及声学特征,包括:

13.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,之后包括:

14.一种人脸动画生成方法,其特征在于,包括:

15.一种人脸动画生成装置,其特征在于,包括:

16.一种人脸动画生成装置,其特征在于,包括:

17.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-14中任一项所述的人脸动画生成方法。

18.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-14中任一项所述的人脸动画生成方法。

...

【技术特征摘要】

1.一种人脸动画生成方法,其特征在于,包括:

2.根据权利要求1所述的人脸动画生成方法,其特征在于,所述人脸动画包括第一局部人脸动画和第二局部人脸动画;

3.根据权利要求2所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,分别预测所述第一局部人脸动画以及所述第二局部人脸动画,包括:

4.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第一局部人脸动画,包括:

5.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第二局部人脸动画,包括:

6.根据权利要求2所述的人脸动画生成方法,其特征在于,所述第一局部人脸动画为唇形脸颊动画,和/或,所述第二局部人脸动画为眉形动画。

7.根据权利要求1所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:

8.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:

9.根据权利要求8所述的人脸动画生成方法,其特征在于,所述...

【专利技术属性】
技术研发人员:姜悦人王斌柴金祥
申请(专利权)人:魔珐上海信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1