基于两阶段掩码指导的生成对抗网络人脸校正方法及系统技术方案

本发明专利技术公开了一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统，构造并训练基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络，该网络包含生成器和判别器；构造并训练基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，该网络包含生成器、判别器和人脸特征提取器网络；输入侧脸图像至第一阶段网络生成正面化五官掩码图像，级联侧脸图像和生成的正面化五官掩码图像输入至第二阶段网络生成正脸图像；本发明专利技术将人脸校正划分为两阶段任务，第一阶段从侧脸五官掩码图像生成正脸五官掩码图像，第二阶段使用生成的正脸五官掩码图像指导生成正脸图像，使得生成的正脸图像在五官局部区域上能够与真实的正脸图像保持较好的一致性。

【技术实现步骤摘要】
基于两阶段掩码指导的生成对抗网络人脸校正方法及系统
本专利技术属于图像生成
，具体涉及一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统。
技术介绍
人脸识别本质上是一种识别不合作对象的被动生物识别技术，现实无约束环境中由于姿态变化、光照、表情和遮挡等因素极大的降低了人脸识别的精度。尽管由于深度卷积神经网络能够对图像特征进行很强的表示，事实证明以上存在的一系列问题对人脸识别的最终性能存在很大影响，尤其是当姿态存在较大的变化时，特别是当人脸偏转角接近90°时，此时人脸识别的准确率迅速下降。人脸校正再识别目前能够较好的提升在大角度姿态下的人脸识别准确率。人脸校正再识别的一般流程为给一张侧脸图像，通过一个模型生成其对应身份的正脸图像，然后再与人脸底库中的正脸图像进行验证比对。借助于生成对抗网络强大的生成能力，衍生出了一系列基于生成对抗网络进行人脸校正的方法。在较大偏转角下，由于自遮挡造成二维人脸图像上对应语义的丢失以及人脸纹理形状随姿态变化发生较大形变，导致侧脸图像生成对应身份的正脸图像难度较大，生成的正脸图像在五官局部区域上与真实正脸图像的一致性并不好。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统，第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像；第二阶段使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。本专利技术采用以下技术方案：一种基于两阶段掩码指导的生成对抗网络人脸校正方法，其特征在于，包括以下步骤：S1、构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；S2、使用离线预训练的人脸解析网络对步骤S1构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；S3、构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用步骤S2中的成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；S4、构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用步骤S1中成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用步骤S2中真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过步骤S3的生成对抗网络生成对应正脸的五官掩码图像；S5、输入侧脸图像至步骤S2中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至步骤S3中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至步骤S4中的生成对抗网络生成正脸图像，实现人脸校正。具体的，步骤S1中，侧脸图像Ip的偏转角由-90°以15°为间隔变化至+90°，包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像If。具体的，步骤S2中，将眉毛、眼睛、眼镜、鼻子和嘴巴对应的像素灰度值设置为0，剩余语义类别设置为255，得到人脸的五官掩码图像。具体的，步骤S3中，对构造的基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络进行训练具体为：构造针对生成的正脸五官掩码图像和真实的正脸五官掩码图像Mf的像素损失函数对抗损失函数针对生成的正脸五官掩码图像的对称损失函数和整体损失函数通过上面构造的损失函数、侧脸五官掩码图像Mp和正脸五官掩码图像Mf，结合批随机梯度下降方法，对生成器网络GM和判别器网络DM依次进行交替训练；最终得到生成器网络GM和判别器网络DM训练后权值。进一步的，借助批随机梯度下降方法对判别器网络DM、生成器网络GM依次进行交替训练具体为：S301、设置训练批次大小n＝32和迭代次数t＝50，以及损失函数中包含的三种权重参数S302、侧脸五官掩码图像-正脸五官掩码图像对中随机采样一个批次n个样本S303、通过批随机梯度下降的方法更新判别器网络DM；S304、通过批随机梯度下降的方法更新生成器网络GM；S305、重复步骤S302至步骤S304，直到达到迭代次数t；S306、输出训练完成的生成器网络GM的权值判别器网络DM的权值具体的，步骤S3中，生成器网络GM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；输入层为128×128×3大小的图像，输出层大小为128×128×3的图像；生成器网络GM的输入为侧脸五官掩码图像Mp，输出为正面化五官掩码图像随机初始化该网络中各个卷积核的参数，得到初始化的网络；判别器网络DM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；输入层的输入为128×128×1大小的图像,输出是一个标量；判别器网络DM的输入为真实的正脸五官掩码图像Mf和生成的正脸五官掩码图像用来判别输入图像是来自于真实的正脸五官掩码图像Mf还是生成的正脸五官掩码图像随机初始化该网络中各个卷积核的参数，得到初始化的网络。具体的，步骤S4中，对构造的基于正脸五官掩码图像指导生成正脸图像的生成对抗网络进行训练具体为：构造针对生成的正脸图像和真实的正脸图像If的像素损失函数Lpixel、针对生成的正脸图像的对称损失函数的Lsym、针对生成的正脸图像的正则项Ltv、对抗损失函数Ladv、针对生成的正脸图像和真实的正脸图像If的身份损失函数Lip和整体损失函数Ltotal；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；通过上面构造的损失函数、侧脸Ip和正脸If图像对，结合批随机梯度下降方法，对生成器网络G和判别器网络D依次进行交替训练；最终得到生成器网络G和判别器网络D训练后权值。进一步的，借助批随机梯度下降方法对判别器网络D、生成器网络G依次进行交替训练具体为：S401、设置训练批次大小n＝32和迭代次数t＝200，以及损失函数中包含的五种权重参数λ1＝10、λ2＝0.1、λ3＝100、λ4＝0.3和λ5＝0.0001；S402、侧脸-正脸图像对中随机采样一个批次n个样本S403、通过批随机梯度下降的方法更新判别器网络D；S404、通过批随机梯度下降的方法更新生成器网络G；S405、重复步骤S402至步骤S404，直到达到迭代次数t；S406、输出训练完成的生成器网络G的权值θG、判别器网络D的权值θD；S407、将测试集中的侧脸图像输入步骤S2中网络的生成器GM生成正面化五官掩码图像，将侧脸图像本文档来自技高网...

【技术保护点】
1.基于两阶段掩码指导的生成对抗网络人脸校正方法，其特征在于，包括以下步骤：/nS1、构建不同偏转角下成对的侧脸I

【技术特征摘要】
1.基于两阶段掩码指导的生成对抗网络人脸校正方法，其特征在于，包括以下步骤：
S1、构建不同偏转角下成对的侧脸Ip和正脸If图像对作为训练集；
S2、使用离线预训练的人脸解析网络对步骤S1构建的侧脸Ip-正脸If图像对提取五官掩码图像，分别得到侧脸五官掩码图像Mp和正脸五官掩码图像Mf；
S3、构造基于侧脸五官掩码图像Mp生成对应正脸五官掩码图像Mf的生成对抗网络，其中，生成对抗网络包括生成器网络GM和判别器网络DM，使用步骤S2中的成对的侧脸五官掩码图像Mp和正脸五官掩码图像Mf进行训练；
S4、构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络G、判别器网络D和人脸特征提取网络B；使用步骤S1中成对的侧脸Ip和正脸If图像对生成对抗网络进行训练，训练阶段使用步骤S2中真实的侧脸五官掩码图像Mp和正脸五官掩码图像Mf，测试阶段使用侧脸图像经过步骤S3的生成对抗网络生成对应正脸的五官掩码图像；
S5、输入侧脸图像至步骤S2中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至步骤S3中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至步骤S4中的生成对抗网络生成正脸图像，实现人脸校正。


2.根据权利要求1所述的方法，其特征在于，步骤S1中，侧脸图像Ip的偏转角由-90°以15°为间隔变化至+90°，包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像If。


3.根据权利要求1所述的方法，其特征在于，步骤S2中，将眉毛、眼睛、眼镜、鼻子和嘴巴对应的像素灰度值设置为0，剩余语义类别设置为255，得到人脸的五官掩码图像。


4.根据权利要求1所述的方法，其特征在于，步骤S3中，对构造的基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络进行训练具体为：
构造针对生成的正脸五官掩码图像和真实的正脸五官掩码图像Mf的像素损失函数对抗损失函数针对生成的正脸五官掩码图像的对称损失函数和整体损失函数通过上面构造的损失函数、侧脸五官掩码图像Mp和正脸五官掩码图像Mf，结合批随机梯度下降方法，对生成器网络GM和判别器网络DM依次进行交替训练；最终得到生成器网络GM和判别器网络DM训练后权值。


5.根据权利要求4所述的方法，其特征在于，借助批随机梯度下降方法对判别器网络DM、生成器网络GM依次进行交替训练具体为：
S301、设置训练批次大小n＝32和迭代次数t＝50，以及损失函数中包含的三种权重参数
S302、侧脸五官掩码图像-正脸五官掩码图像对中随机采样一个批次n个样本
S303、通过批随机梯度下降的方法更新判别器网络DM；
S304、通过批随机梯度下降的方法更新生成器网络GM；
S305、重复步骤S302至步骤S304，直到达到迭代次数t；
S306、输出训练完成的生成器网络GM的权值判别器网络DM的权值


6.根据权利要求1所述的方法，其特征在于，步骤S3中，生成器网络GM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；输入层为128×128×3大小的图像，输出层大小为128×128×3的图像；
生成器网络GM的输入为侧脸五官掩码图像Mp，输出为正面化五官掩码图像随机初始化该网络中各个卷积核的参数，得到初始化的网络；
判别器网络DM包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；输入层的输入为128×128×1大小的图像,输出是一个标量；
判别器网络DM的输入为真实的正脸五官掩码图像Mf和生成的正脸五官掩码图像用来判别输入图像是来自于真实的正脸五官掩码图像Mf还是生成的正脸五官掩码图像随机初始化该网络中各个卷积核的参数，得到初始化的网络。


7.根据...

【专利技术属性】
技术研发人员：刘芳，李任鹏，李玲玲，焦李成，黄欣研，刘旭，陈璞华，李硕，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61