【技术实现步骤摘要】
本专利技术涉及视频处理，尤其涉及一种面部视频生成方法、装置、设备及介质。
技术介绍
1、随着互联网技术的快速发展，虚拟数字人应运而生。虚拟数字人的语音信息与对应的视频信息的匹配度要求逐渐增加。
2、目前，通过对样本对象说话时的样本语音数据和样本视频数据分别进行特征提取，得到样本数据的语音特征和面部特征，将得到的面部特征作为语音特征的训练标签，让模型可以学习从语音特征到面部特征的方法。
3、采用上述方法训练得到的面部特征预测模型，精度较低。
技术实现思路
1、本专利技术提供一种面部视频生成方法、装置、设备及介质，用以解决相关技术中面部特征预测模型精度较低的技术问题。
2、第一方面，本专利技术实施例提供一种面部视频生成方法，该方法包括：
3、获取文本信息，文本信息用于生成面部视频，面部视频为虚拟形象朗读文本信息的视频；
4、将文本信息输入面部特征预测模型，得到文本信息对应的音频特征参数和面部视频特征参数；其中，面部特征预测模型包括编码...
【技术保护点】
1.一种面部视频生成方法，其特征在于，包括：
2.根据权利要求1所述的面部视频生成方法，其特征在于，所述历史面部视频特征参数为上一时刻的面部视频特征参数，所述将所述文本信息输入面部特征预测模型，得到所述文本信息对应的音频特征参数和面部视频特征参数，包括：
3.根据权利要求2所述的面部视频生成方法，其特征在于，所述将所述文本信息输入面部特征预测模型，得到所述文本信息对应的音频特征参数和面部视频特征参数之后，所述方法还包括：
4.根据权利要求1所述的面部视频生成方法，其特征在于，所述面部特征预测模型通过如下方法进行训练：
5...
【技术特征摘要】
1.一种面部视频生成方法，其特征在于，包括：
2.根据权利要求1所述的面部视频生成方法，其特征在于，所述历史面部视频特征参数为上一时刻的面部视频特征参数，所述将所述文本信息输入面部特征预测模型，得到所述文本信息对应的音频特征参数和面部视频特征参数，包括：
3.根据权利要求2所述的面部视频生成方法，其特征在于，所述将所述文本信息输入面部特征预测模型，得到所述文本信息对应的音频特征参数和面部视频特征参数之后，所述方法还包括：
4.根据权利要求1所述的面部视频生成方法，其特征在于，所述面部特征预测模型通过如下方法进行训练：
5.根据权利要求4所述的面部视频生成方法，其特征在于，所述根据所述面部特征预测参数与所述标签的差别，确定损失函数，包括：
6.根...
【专利技术属性】
技术研发人员：何轶，孟猛，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。