【技术实现步骤摘要】
本专利技术涉及神经网络,尤其涉及一种数字人脸合成方法、装置、计算机设备及存储介质。
技术介绍
1、对于金融系统而言,用户在了解相同产品的过程中需要咨询较多重复的问题,若采用人工客服在线一一回答的方式将使得人力成本大幅上涨,而采用离线客服自动回答用户的问题,又会导致用户在咨询的过程中的交互体验大幅下降,当前有学者提出基于语音驱动数字人脸生成对应的视频,在简化原始数据的过程也能提升用户在智能客服场景中有更好的交互体验。但现有的基于语音驱动数字人脸生成对应的视频,相较于销售人员在说同样内容时,在感染力上仍有较大的差距,导致潜在的优质用户流失。
技术实现思路
1、本申请的实施例供了一种数字人脸合成方法、装置、计算机设备及存储介质,旨在解决现有的语音驱动数字人脸的方法在感染力上与真实的客服人员的感染力仍有较大的差距的问题。
2、第一方面,本申请提供了一种数字人脸合成方法,方法包括:
3、获取样本视频,提取出样本视频的语音信息与人脸图像;
4、将语音信息输入语音特征
...【技术保护点】
1.一种数字人脸合成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数字人脸合成方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的数字人脸合成方法,其特征在于,在所述将所述语音信息输入语音特征提取器之前,所述方法还包括:
4.根据权利要求1所述的数字人脸合成方法,其特征在于,所述预设多层神经网络包括神经辐射场;所述预设多层神经网络根据所述人脸分布信息、人脸表情信息以及躯干信息生成数字人脸图像,包括:
5.根据权利要求4所述的数字人脸合成方法,其特征在于,从所述样本视频中提取出多张连续帧的所述人脸图像;
...【技术特征摘要】
1.一种数字人脸合成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数字人脸合成方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的数字人脸合成方法,其特征在于,在所述将所述语音信息输入语音特征提取器之前,所述方法还包括:
4.根据权利要求1所述的数字人脸合成方法,其特征在于,所述预设多层神经网络包括神经辐射场;所述预设多层神经网络根据所述人脸分布信息、人脸表情信息以及躯干信息生成数字人脸图像,包括:
5.根据权利要求4所述的数字人脸合成方法,其特征在于,从所述样本视频中提取出多张连续帧的所述人脸图像;所述计算所述第一人脸信息与所述第二人脸信息的损失函数,若所述损失函数符合预设收敛条件,停止训练,得...
【专利技术属性】
技术研发人员:张旭龙,王健宗,程宁,史屹琛,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。