视频换脸方法、装置及存储介质制造方法及图纸

本申请提供了视频换脸模型的训练方法及视频换脸方法。首先在图像数据集上利用判别器对视频换脸模型中外观编码器和生成器进行对抗式训练直到判别器无法判断生成器的输出结果的真实性；接着视频数据集上通过光流场判别器继续对该视频换脸模型中外观编码器和生成器进行对抗式训练直到光流场判别器无法判断来自生成器的相邻两帧图像之间的光流场的真实性。这样，通过采用这种面向视频的光流场判别器在视频数据集上进一步训练换脸模型，加速了模型收敛，使得在少量人脸图像样本集上训练的生成器能生成逼真和更加稳定的图像，减少了合成后视频中的抖动、伪影和闪烁等现象，同时也摆脱了对大量高质量样本数据的依赖。也摆脱了对大量高质量样本数据的依赖。也摆脱了对大量高质量样本数据的依赖。

【技术实现步骤摘要】
视频换脸方法、装置及存储介质


[0001]本专利技术涉及计算机视觉与深度学习，尤其涉及用于视频中人脸替换的方法、装置及存储介质。

技术介绍

[0002]人脸替换(可简称为换脸)通常是将源人脸融合到目标人脸图像，获得具有源人脸身份信息并保持目标人脸表情、姿态、光照等属性信息的合成人脸的过程。人脸替换对保护个人隐私安全、推动影视行业发展具有重要意义。随着人工智能(AI)技术的发展，通过AI换脸技术生成的图像真实程度越来越高。然而，现有的AI换脸技术需要大量的高清人脸样本对复杂的模型进行训练才能得到较好的换脸效果。但大量高质量的样本比较难以获取，且复杂的模型使得换脸模型训练缓慢，计算成本很高。并且当人脸在视频中移动时，通过这种基于静态人脸图像训练的换脸模型生成的换脸后的视频中普遍存在抖动、伪影和闪烁等问题。

技术实现思路

[0003]本专利技术的目的是提供一种新的视频换脸方法、装置及存储介质，能快速构建稳定的换脸模型而不需要依赖大量的高清人脸图像，并消除了换脸后的视频中的抖动、伪影和闪烁等现象。
[0004]上述目的是通过以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练换脸模型的方法，其中所述换脸模型包括外观编码器、生成器、判别器、光流场编码器、光流场判别器以及预先训练好的人脸识别器；其中光流场编码器用于提取输入的两帧图像之间的光流场；所述光流场判别器用于判断从光流场编码器接收的光流场的真实性；所述方法包括：步骤S1)基于视频数据集预先训练光流场编码器，所述光流场编码器以一个人的视频序列中相邻两帧图像作为输入，其输出这相邻两帧图像之间的光流场，所述视频数据集包括对多个人分别采集的视频序列；步骤S2)从包含多个人脸图像的图像数据集提取的多个样本对来训练外观编码器、生成器和判别器；其中每个样本对由源人脸图像和目标人脸图像构成，所述生成器用于根据经由人脸识别器从源人脸图像中提取的身份特征和经由外观编码器从目标人脸图像中提取的外观特征来生成换脸图像，所述判别器用于判断所述生成器所生成的换脸图像的真实性；步骤S3)从视频数据集中两个不同人的视频序列分别提取相邻两帧图像，由此构成两个相邻的样本对，并通过所述生成器对于这两个相邻的样本对生成两个相邻的换脸图像；步骤S4)利用该光流场编码器提取来自生成器的两个相邻的换脸图像之间的光流场，并利用光流场判别器判断所述光流场的真实性，根据光流场判别器的判断结果调整外观编码器和生成器的参数；重复上述步骤S3)和步骤S4，直到光流场判别器无法判断来自生成器的两个相邻的换脸图像之间的光流场的真实性为止。2.根据权利要求1所述的方法，其中所述生成器采用由若干卷积层、归一化层、全连接层和上采样层构成的网络结构。3.根据权利要求1所述的方法，还包括在生成器中对所接收的来自源人脸图像的身份特征和来自目标人脸图像的外观特征进行融合；以及在生成器的一个或多个层处将其中间特征分别与身份特征进行融合。4...

【专利技术属性】
技术研发人员：纪昱锋，张杰，山世光，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：