一种面向人脸重演中表情分离任务的弱标注学习方法技术

本发明专利技术涉及一种面向人脸重演中表情分离任务的弱标注学习方法，本发明专利技术设计了一个人脸重演框架，包含一个面部网络，一个身份编码器，一个运动特征提取器，一个AdaAttN模块和两个判别器(图像质量判别器和身份判别器)。其中，面部网络和身份编码器需要通过预训练分别实现编码给定图像的面部信息和身份信息。此外，本发明专利技术使用多尺度的驱动图像的面部信息特征减去身份信息特征得到对应尺度的驱动图像的面部运动特征，并迁移图像翻译任务中的AdaAttN模块，以融合驱动图像的多尺度面部运动特征，并将其作为弱标注指导重演图像的生成。本发明专利技术能够在无需附加面部信息标注(如面部标志点、轮廓线等)的同时，解决运动特征的解耦问题，实现高质量的人脸重演。实现高质量的人脸重演。实现高质量的人脸重演。

【技术实现步骤摘要】
一种面向人脸重演中表情分离任务的弱标注学习方法


[0001]本专利技术属于图像处理
，涉及一种面向人脸重演中表情分离任务的弱标注学习方法，能够在无需附加面部信息标注的同时，实现高质量的人脸重演。

技术介绍

[0002]人脸重演，旨在通过驱动人脸的运动(姿势和表情)来制作源人脸视频。对于生成的视频，我们需要保存源人脸的面部身份特征并执行驱动人脸的运动(姿势和表情)。因其巨大的应用价值(如面部动画、人机交互等)与潜在的安全隐患(如通过恶意篡改国家政要、明星等公众人物的视频来散播虚假内容、侵蚀社会信任度)，人脸重演逐渐成为计算机视觉领域一个引人注目的研究课题。
[0003]目前，基于深度学习的人脸重演技术大致分为两类。一类是基于直接扭曲的方法将驱动图像到源图像的运动(姿势和表情)以域转换的方式进行直接扭曲，另一类是利用面部附加信息来指导合成的图像学习驱动图像的面部动作(姿势和表情)。就合成的真实性而言，在现阶段的方法中，利用面部附加信息来进行人脸重演的技术占据主导地位。
[0004]应用于人脸重演的附加面部信息大致分为三类：第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人脸重演中表情分离任务的弱标注学习方法，其特征在于步骤如下：步骤1、构建并训练面部重构网络：由一个面部编码器和一个面部解码器串联而成，其中：面部编码器的网络结构由4个下采样模块和4个残差块串接为以E
face
，面部解码器由4个上采样模块连接构成为D
face
；训练方式如下：将任意一张图片I输入面部编码器得到编码的面部特征，再将面部特征输入面部解码器得到I的重构图片I
rec
，对I和I
rec
做L1度量，并以此作为损失函数对面部网络进行训练；使用一个多尺度的PatchGAN判别器D1与面部重构网络进行对抗训练，用于评定生成图像的真实性，网络结构如下：首先连接2个下采样模块，然后分三个分支，第一个分支继续连接一个全局自适应最大池化层和一个全连接层为输出一个标量，第二个分支连接两个下采样模块和一个用于调整通道数的卷积模块为输出尺度为1
×
30
×
30，第三个分支连接4个下采样模块和一个用于调整通道数的卷积模块为输出尺度为1
×6×
6；训练判别器D1时，分别输入生成图像和真实图像，对得到的三个尺度的输出特征分别计算损失后相加，优化函数如下：其中，i表示判别器D1的第i个分支，表示对其输入求数学期望，log(
·
)表示对其输入求以10为底的对数；训练面部重构网络的总损失函数为：其中，是判别器提供的对抗损失，用于衡量面部网络重构图像的质量；是I和I
rec
之间的L1损失；其中，||
·
||1表示L1距离；步骤2、构建并训练身份编码器：由4个下采样模块和4个残差块连接组成为E
id
，具有双生网络结构；对身份匹配器E
id
进行训练：将一组图像I1和I2分别输入身份编码器，得到对应的身份编码向量z1和z2，计算z1和z2之间的L2距离；当I1和I2来自同一个身份时，它们之间距离越小越好；当I1和I2来自不同身份时，它们之间距离越大越好；训练身份编码器的损失函数为：其中，||
·
||2表示L2距离；max{
·
,
·
}2表示取两者较大值的平方；N表示批处理大小；Y为两个样本是否匹配的标签，Y＝0表示I1和I2来自不同身份，Y＝1表示I1和I2来自同一个身份；m＝1为设定的阈值；步骤3、构建面向人脸重演中表情分离任务的弱标注学习框架：包括步骤1中的面部重构网络，一个身份编码器，一个运动特征提取器和一个AdaAttN模块；
所述运动特征提取器由四个下采样模块串联组成；所述AdaAttN模块是一个注意力模块，用于融合源图像的身份信息与驱动图像的面部运动特征；步骤4、训练面向人脸重演中表情分离任务的弱标注学习框架：训练过程中需要训练额外两个判别器，分别为图像质量判别器为D2和身份判别器为D3；所述图像质量判别器使用与步骤1的判别器D1具有相同架构的多尺度判别器，用于评定生成图像的真实性；所述身份判别器采用双生的ResNeXt50结构，用于判断输入的真实人脸和生成人脸是否具有相同的身份；在训练整体网络时，对步骤1和步骤2预训练好的面部网络和身份编码器进行微调；采用自监督的训练方式，即在训练阶段，驱动图像和源...

【专利技术属性】
技术研发人员：程塨，孙绪祥，仝慧紫，蔡晓妍，韩军伟，郭雷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：