数字人脸合成方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:42190277 阅读:23 留言:0更新日期:2024-07-30 18:40
本申请公开一种数字人脸合成方法、装置、计算机设备及存储介质,解决现有的语音驱动数字人脸的方法在感染力上与真实的客服人员的感染力有较大的差距的问题。方法包括:提取出样本视频的语音信息与人脸图像,将语音信息输入语音特征提取器,获取与人脸的相关度较高的第一特征信息和第二特征信息,将第一特征信息输入预设多层神经网络,获取人脸分布信息和人脸表情信息,将第二特征信息输入至预设多层神经网络,获取躯干信息,根据人脸分布信息、人脸表情信息以及躯干信息生成数字人脸图像,计算人脸图像与数字人脸图像的损失函数直至符合预设收敛条件,停止训练,得到数字人脸合成模型。如此,所生成的数字人脸高度逼近于样本视频中的人脸。

【技术实现步骤摘要】

本专利技术涉及神经网络,尤其涉及一种数字人脸合成方法、装置、计算机设备及存储介质


技术介绍

1、对于金融系统而言,用户在了解相同产品的过程中需要咨询较多重复的问题,若采用人工客服在线一一回答的方式将使得人力成本大幅上涨,而采用离线客服自动回答用户的问题,又会导致用户在咨询的过程中的交互体验大幅下降,当前有学者提出基于语音驱动数字人脸生成对应的视频,在简化原始数据的过程也能提升用户在智能客服场景中有更好的交互体验。但现有的基于语音驱动数字人脸生成对应的视频,相较于销售人员在说同样内容时,在感染力上仍有较大的差距,导致潜在的优质用户流失。


技术实现思路

1、本申请的实施例供了一种数字人脸合成方法、装置、计算机设备及存储介质,旨在解决现有的语音驱动数字人脸的方法在感染力上与真实的客服人员的感染力仍有较大的差距的问题。

2、第一方面,本申请提供了一种数字人脸合成方法,方法包括:

3、获取样本视频,提取出样本视频的语音信息与人脸图像;

4、将语音信息输入语音特征提取器,获取第一特征本文档来自技高网...

【技术保护点】

1.一种数字人脸合成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数字人脸合成方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的数字人脸合成方法,其特征在于,在所述将所述语音信息输入语音特征提取器之前,所述方法还包括:

4.根据权利要求1所述的数字人脸合成方法,其特征在于,所述预设多层神经网络包括神经辐射场;所述预设多层神经网络根据所述人脸分布信息、人脸表情信息以及躯干信息生成数字人脸图像,包括:

5.根据权利要求4所述的数字人脸合成方法,其特征在于,从所述样本视频中提取出多张连续帧的所述人脸图像;所述计算所述第一人脸...

【技术特征摘要】

1.一种数字人脸合成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数字人脸合成方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的数字人脸合成方法,其特征在于,在所述将所述语音信息输入语音特征提取器之前,所述方法还包括:

4.根据权利要求1所述的数字人脸合成方法,其特征在于,所述预设多层神经网络包括神经辐射场;所述预设多层神经网络根据所述人脸分布信息、人脸表情信息以及躯干信息生成数字人脸图像,包括:

5.根据权利要求4所述的数字人脸合成方法,其特征在于,从所述样本视频中提取出多张连续帧的所述人脸图像;所述计算所述第一人脸信息与所述第二人脸信息的损失函数,若所述损失函数符合预设收敛条件,停止训练,得...

【专利技术属性】
技术研发人员:张旭龙王健宗程宁史屹琛
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1