【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及深度学习、大数据、计算机视觉、语音技术等，尤其涉及一种人脸视频生成方法、装置及电子设备。
技术介绍
1、目前的人脸口型驱动方案主要为，获取人脸口型驱动模型；获取目标对象的人脸图像，以及音频或者视频；将音频或者视频，以及目标对象的人脸图像，输入人脸口型驱动模型，获取人脸口型驱动模型输出的目标对象的人脸视频。
2、上述方案中，人脸口型驱动模型为通用的人脸口型驱动模型，输出的人脸视频，为通用风格下目标对象的人脸视频，难以体现不同目标对象的个性化口型风格，导致生成的人脸视频的准确度低。
技术实现思路
1、本公开提供了一种人脸视频生成方法、装置及电子设备。
2、根据本公开的一方面，提供了一种人脸视频生成方法，所述方法包括：获取口型多媒体资源以及目标对象的参考人脸图像；获取所述目标对象的参考风格向量；针对所述口型多媒体资源中的每个资源帧，对所述资源帧进行特征提取处理，得到口型驱动特征；根据所述口型驱动特征、所述参考人脸图像以及所述参考风格向量，生成所...
【技术保护点】
1.一种人脸视频生成方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述参考风格向量符合高斯分布；所述获取所述目标对象的参考风格向量，包括：
3.根据权利要求2所述的方法，其中，所述根据所述样本资源帧、所述样本参考人脸图像以及所述样本视频帧，从各个候选高斯分布中选择目标高斯分布，包括：
4.根据权利要求1所述的方法，其中，所述根据所述口型驱动特征、所述参考人脸图像以及所述参考风格向量，生成所述资源帧对应的风格人脸图像，包括：
5.根据权利要求1所述的方法，其中，所述口型多媒体资源为，口型音频或者口型视频。>
6.根据权利...
【技术特征摘要】
1.一种人脸视频生成方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述参考风格向量符合高斯分布；所述获取所述目标对象的参考风格向量，包括：
3.根据权利要求2所述的方法，其中，所述根据所述样本资源帧、所述样本参考人脸图像以及所述样本视频帧，从各个候选高斯分布中选择目标高斯分布，包括：
4.根据权利要求1所述的方法，其中，所述根据所述口型驱动特征、所述参考人脸图像以及所述参考风格向量，生成所述资源帧对应的风格人脸图像，包括：
5.根据权利要求1所述的方法，其中，所述口型多媒体资源为，口型音频或者口型视频。
6.根据权利要求1所述的方法，其中，所述口型多媒体资源，为非目标对象的口型多媒体资源；或者，为合成得到的口型多媒体资源。
7.一种人脸口型驱动模型的训练方法，所述方法包括：
8.根据权利要求7所述的方法，其中，所述获取样本口型多媒体资源中各个样本资源帧的样本口型驱动特征、样本参考人脸图像、以及样本风格人脸视频，包括：
9.根据权利要求8所述的方法，其中，所述获取所述样本口型多媒体资源、所述样本参考人脸图像、以及所述样本风格人脸视频，包括：
10.根据权利要求7所述的方法，其中，所述根据所述预测风格向量所属的分布、高斯分布、所述预测风格人脸图像以及所述样本资源帧对应的样本视频帧，对所述编码网络以及所述人脸口型驱动模型中的所述人脸驱动网络进行参数调整处理，以获取训练好的人脸口型驱动模型，包括：
11.一种人脸视频生成装置...
【专利技术属性】
技术研发人员：范锡睿，赵亚飞，陈毅，杜宗财，王志强，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。