System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及人工智能,尤其涉及一种人脸动画生成方法、装置、电子设备及存储介质。
技术介绍
1、现有的人脸动画生成,往往通过给定语音,确定与给定语音匹配的人脸动画实现。
2、在确定人脸动画时,一种方案是通过匹配动作库实现,该方案通过语音的音节特征匹配动作库中对应的动画。这种方案受动作库规模的影响,容易出现整体效果差、唇形不准、丰富度低等缺点。
3、另一种方案是通过深度学习模型对语音特征进行处理,进而预测出人脸动画。该方案虽然不需预先构建动作库,但是应用的语音特征包括重音、语调等,说话人音色不同,语音特征也有所不同,导致预测得到的人脸动画受说话人音色干扰,当说话人音色发生变化时人脸动画不稳定,导致动画生成效果不好,不利于人脸动画的广泛应用。
技术实现思路
1、本专利技术提供一种人脸动画生成方法、装置、电子设备及存储介质,用以解决现有技术中存在的缺陷。
2、本专利技术提供一种人脸动画生成方法,包括:
3、获取用户语音;
4、提取所述用户语音的语义特征以及声学特征;
5、基于所述语义特征以及所述声学特征,生成人脸动画。
6、根据本专利技术提供的一种人脸动画生成方法,所述人脸动画包括第一局部人脸动画和第二局部人脸动画;
7、所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:
8、基于所述语义特征以及所述声学特征,分别预测所述第一局部人脸动画以及所述第二局部人脸动画;
< ...【技术保护点】
1.一种人脸动画生成方法,其特征在于,包括:
2.根据权利要求1所述的人脸动画生成方法,其特征在于,所述人脸动画包括第一局部人脸动画和第二局部人脸动画;
3.根据权利要求2所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,分别预测所述第一局部人脸动画以及所述第二局部人脸动画,包括:
4.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第一局部人脸动画,包括:
5.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第二局部人脸动画,包括:
6.根据权利要求2所述的人脸动画生成方法,其特征在于,所述第一局部人脸动画为唇形脸颊动画,和/或,所述第二局部人脸动画为眉形动画。
7.根据权利要求1所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:
8.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述基于所述语义特
9.根据权利要求8所述的人脸动画生成方法,其特征在于,所述基于所述运动特征,生成所述人脸动画的第三局部人脸动画,包括:
10.根据权利要求8所述的人脸动画生成方法,其特征在于,所述第三局部人脸动画为眼神动画。
11.根据权利要求10所述的人脸动画生成方法,其特征在于,所述提取所述身体动作信息中的运动特征,包括:
12.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述提取所述用户语音的语义特征以及声学特征,包括:
13.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,之后包括:
14.一种人脸动画生成方法,其特征在于,包括:
15.一种人脸动画生成装置,其特征在于,包括:
16.一种人脸动画生成装置,其特征在于,包括:
17.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-14中任一项所述的人脸动画生成方法。
18.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-14中任一项所述的人脸动画生成方法。
...【技术特征摘要】
1.一种人脸动画生成方法,其特征在于,包括:
2.根据权利要求1所述的人脸动画生成方法,其特征在于,所述人脸动画包括第一局部人脸动画和第二局部人脸动画;
3.根据权利要求2所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,分别预测所述第一局部人脸动画以及所述第二局部人脸动画,包括:
4.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第一局部人脸动画,包括:
5.根据权利要求3所述的人脸动画生成方法,其特征在于,所述基于风格特征、所述语义特征以及所述声学特征,预测所述第二局部人脸动画,包括:
6.根据权利要求2所述的人脸动画生成方法,其特征在于,所述第一局部人脸动画为唇形脸颊动画,和/或,所述第二局部人脸动画为眉形动画。
7.根据权利要求1所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:
8.根据权利要求1-7中任一项所述的人脸动画生成方法,其特征在于,所述基于所述语义特征以及所述声学特征,生成人脸动画,包括:
9.根据权利要求8所述的人脸动画生成方法,其特征在于,所述...
【专利技术属性】
技术研发人员:姜悦人,王斌,柴金祥,
申请(专利权)人:魔珐上海信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。