【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种人脸驱动模型的训练方法、视频生成方法及装置。
技术介绍
1、目前，随着人工智能技术的快速发展，基于语音驱动生成虚拟数字人视频的应用越来越广泛，其中，虚拟数字人可以是虚拟客服、虚拟导游、智能助手等助手型数字人，还可以是虚拟歌手、虚拟代言人等娱乐型数字人，也可以是虚拟主播、虚拟主持人等主播型数字人；然而，现有的用于生成虚拟数字人视频的人脸驱动模型的参数准确度低，导致虚拟数字人的表情预测准确度低，从而导致视频中虚拟数字人的表情真实性差的问题。
技术实现思路
1、本申请实施例的目的是提供一种人脸驱动模型的训练方法、视频生成方法及装置，能够提高面部表情预测子模型的表情预测准确度，进而提高利用训练后的人脸驱动模型生成的虚拟数字人视频的表情真实性。
2、为了实现上述技术方案，本申请实施例是这样实现的：
3、第一方面，本申请实施例提供的一种人脸驱动模型的训练方法，所述方法包括：
4、获取n个视频样本数据；每个所述视频样本数据包括样本用户的...
【技术保护点】
1.一种人脸驱动模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述待训练模型还包括面部表情渲染器和口型语音同步识别子模型；每次模型训练的具体实现方式还包括：
3.根据权利要求2所述的方法，其特征在于，所述口型语音同步识别子模型包括多层神经网络和损失信息输出网络；
4.根据权利要求1所述的方法，其特征在于，所述面部表情预测子模型包括向量拼接网络和面部表情识别网络；
5.根据权利要求1所述的方法，其特征在于，在获取N个视频样本数据之前，还包括：
6.根据权利要求2所述的方法...
【技术特征摘要】
1.一种人脸驱动模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述待训练模型还包括面部表情渲染器和口型语音同步识别子模型；每次模型训练的具体实现方式还包括：
3.根据权利要求2所述的方法，其特征在于，所述口型语音同步识别子模型包括多层神经网络和损失信息输出网络；
4.根据权利要求1所述的方法，其特征在于，所述面部表情预测子模型包括向量拼接网络和面部表情识别网络；
5.根据权利要求1所述的方法，其特征在于，在获取n个视频样本数据之前，还包括：
6.根据权利要求2所述的方法，其特征在于，在获取n个视频样本数据之前，还包...
【专利技术属性】
技术研发人员：杨春勇，蒋宁，刘敏，曾琳铖曦，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。