人脸修复模型的训练方法、视频处理方法技术

本申请提供人脸修复模型的训练方法、视频处理方法，其中所述人脸修复模型的训练方法通过嘴型模型，使样本音频驱动第一人脸图像序列中的嘴部区域运动，得到第二人脸图像序列，将第二人脸图像序列作为预训练人脸修复模型的输入，输出第三人脸图像序列，根据第三人脸图像序列相较于第一人脸图像序列，二者对应视频帧中嘴部区域以及人脸区域的不同，分别构建嘴部损失函数与人脸损失函数，通过嘴部损失函数与人脸损失函数对预训练人脸修复模型进行调参，得到目标人脸修复模型，实现人脸修复模型的训练，提升训练后的人脸修复模型对于人脸图像的修复精度，解决人脸图像修复中产生的牙齿崩坏问题。

【技术实现步骤摘要】

本申请涉及人脸图像变形，特别涉及一种人脸修复模型的训练方法、一种视频处理方法。本申请同时涉及一种人脸修复模型的训练装置、一种视频处理装置、两种方法对应的计算设备，以及两种方法对应的计算机可读存储介质。

技术介绍

1、随着计算机技术的发展，虚拟数字人被越来越多的应用于生活场景，现有技术中，对于虚拟数字人生成的视觉精度愈发重视，在虚拟数字人的生成过程中，通过将音频和视频的特征进行对齐，但语音驱动嘴唇运动方法在处理动态的和无约束的说话人脸视频时，通常无法准确地合成口型，导致生成的视频与音频不同步。

2、产生此问题的原因主要包括两个方面：

3、1.基于像素的人脸重建损失无法准约束音频-口型同步：因为面部重建损失是基于整个图像计算的，而唇部区域只占整个图像的很小一部分（不到4%），因而无法聚焦唇部细节。此外，在人脸重建的训练过程中，只有在训练的中后期才开始优化口型，导致前期监督信息缺乏。

4、2.传统的以深度学习为基础的图像合成技术gan的判别器在音频-口型同步检测方面准确率较低：传统的gan判别器只使用单帧图像来评估口型同步，缺本文档来自技高网...

【技术保护点】

1.一种人脸修复模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将预处理样本文件中包含的第一人脸图像序列与样本音频输入至嘴型模型，得到第二人脸图像序列，包括：

3.根据权利要求2所述的方法，其特征在于，所述采集所述样本视频中的人脸图像，得到第一人脸图像序列，包括：

4.根据权利要求2所述的方法，其特征在于，所述采集所述样本视频中的人脸图像，得到第一人脸图像序列，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述第二人脸图像序列输入至预训练人脸修复模型，得到第三人脸图像序列，包括：

6....

【技术特征摘要】

1.一种人脸修复模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将预处理样本文件中包含的第一人脸图像序列与样本音频输入至嘴型模型，得到第二人脸图像序列，包括：

3.根据权利要求2所述的方法，其特征在于，所述采集所述样本视频中的人脸图像，得到第一人脸图像序列，包括：

4.根据权利要求2所述的方法，其特征在于，所述采集所述样本视频中的人脸图像，得到第一人脸图像序列，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述第二人脸图像序列输入至预训练人脸修复模型，得到第三人脸图像序列，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述第一人脸图像序列中每一图像...

【专利技术属性】
技术研发人员：王瑜，
申请(专利权)人：成都帆点创想科技有限公司，
类型：发明
国别省市：