一种人脸图像自动上妆方法技术

本发明专利技术提供一种人脸图像自动上妆方法。本发明专利技术方法首先将获取的人脸图像数据集分为目标图像集和参考图像集；然后采用图像分割技术，对目标图像进行分割，得到目标图像的分割图，再通过分割图为目标图像集中的每一张人脸做好定制掩膜；然后将目标图像集和参考图像集以及目标图像集的掩膜分别输入到人脸图像自动上妆网络中训练网络模型，计算人脸图像自动上妆网络的损失函数，最后使用测试集测试训练好的人脸图像自动上妆网络模型。本发明专利技术为每张目标图像定制的掩膜，对神经网络进行了约束，避免图像中不需要化妆的区域发生改变，确保了生成图像的真实性。

【技术实现步骤摘要】
一种人脸图像自动上妆方法
本专利技术涉及计算机视觉领域，具体的涉及图像风格迁移，为图像重的人脸自动上妆的方法。技术背景社交媒体的快速发展让越来越多的人们通过各种社交网络来分享自己的故事和照片。人们喜欢上传好看的自拍到社交网络上，来获取更多的关注和点赞。尽管不计其数的化妆品可以为人们提供各种各样的妆容，但人们更希望通过一种快捷且有效的方式来获取一张好看的自拍照。人脸图像自动化妆技术提供了一种可行的解决方案。早期的人脸自动化妆主要依赖于各种数字图像处理方法的叠加。如美图秀秀、Photoshop等图像处理软件通过内置各种图像处理方法，并给出了便于使用者调用这些方法的图形界面，来方便用户对包括人脸图像在内的图像进行处理，进而达到美化图像中人脸的效果。随着计算机算力的不断提升，人们可以将计算量更大更复杂的任务交给计算机，来协助人们完成更复杂的图像处理任务。人工智能的研究浪潮也随之而来，其中图像生成领域的研究中，人们利用神经网络的学习特性，提出了许多不同领域之间图像风格迁移的研究成果。IanGoodfellow提出的生成对抗网络(Generativeadversarialnetwork，GAN)利用生成网络G和判别器网络D之间的动态博弈来生成具有目标域风格的图片。这种博弈行为令生成对抗网络带来了更强的学习能力，能充分的学习到目标域中图像的信息。因此，基于生成对抗网络,我们可以将化妆的人脸图像作为目标域，使用生成对抗网络学习为没有上妆的人脸图像自动添加妆容的能力。尽管利用生成对抗网络有助于图像风格的转换，但该网络生成的图像也仅是生成网络G和判别器网络D之间博弈的产物，并不是真实的图像。在某些应用中人们并不要求图像的真实性，例如生成的风景图，图像风格的迁移等等。但在人脸自动上妆领域，我们需要保证为图像中的人脸完成上妆的同时，同时保留图像中人脸所代表的身份没有发生变化以及保证图像的真实性。人们不会希望自己发表在社交媒体上的图像被人指出其不真实。此外，对于自动化妆这一任务来讲，所需要处理的部分为图像中人脸的化妆区域，对于化妆区域以外的内容我们需要尽可能的保留，例如脖子、头发以及背景这些不属于化妆区域的部分如果发生了改变也会令生成的图像显得不真实。所以，简单地使用生成对抗网络不仅不能很好地完成图像中人脸的自动上妆，更有可能生成不真实的图像。因此，完成人脸图像自动上妆的同时保证图像的真实性和连续性是该技术能够被更好地应用的前提。
技术实现思路
针对现有技术中存在的不足，本专利技术提出一种人脸图像自动上妆方法。本方法可以在保证在图像中人脸的身份不变以及图像整体的真实性、连续性不被破环的前提下完成图像中人脸的自动上妆。本专利技术根据生成对抗网络的博弈原理，设计了一种双输入、双输出的人脸图像自动上妆网络。将一张带有妆容的图像作为参考图像，以及一张未上妆的图像作为目标图像输入到网络中，通过网络的学习能力，为目标图像中的人脸上妆，并同时保证背景不变，图像中人脸的身份也不发生改变。本专利技术解决其技术问题所采用的技术方案包括如下步骤：步骤(1)、将获取的人脸图像数据集按未上妆的人脸图像即目标图像和带妆的人脸图像即参考图像分为两个图像集，分别称为目标图像集和参考图像集；步骤(2)、采用图像分割技术，对目标图像进行分割，得到目标图像的分割图，目标图像中的不同部位，如五官、头发和背景会被计算机以不同的灰度值标注出来，方便后续处理。利用分割图将需要保留的区域和不需保留的区域分开；所述的需要保留的区域为脸部、嘴巴、眼睛周围需要化妆的区域，所述的不需保留的区域，为无法被化妆的区域如牙齿、眼睛、头发以及背景；步骤(3)、通过分割图为目标图像集中的每一张人脸做好定制掩膜，使卷积神经网络只关注图像中的化妆区域，从而减少背景以及其他区域对人脸自动上妆过程的干扰；首先划分出目标图像分割图的前景和背景，并逐像素判断。将前景包含的特征的像素值全部转换为0，而背景区域的像素值全部转换为255，获得目标图像定制掩膜；步骤(4)、将目标图像集和参考图像集以及目标图像集的掩膜分别输入到人脸图像自动上妆网络中训练网络模型。所述的人脸图像自动上妆网络包括身份信息编码器，妆容信息编码器，图像生成器以及图像判别器。所述的身份信息编码器，妆容信息编码器和图像生成器构成了图像生成模块，所述的身份信息编码器由多层卷积层组成，接收到输入的目标图像后使用卷积层对目标图像中的身份信息进行特征提取，最终输出目标图像的身份信息编码。所述的妆容信息编码器使用多层的卷积层和池化层组成，接收到输入的目标图像和参考图像后使用卷积层对对图像中的人脸的妆容信息进行提取，最后使用池化层压缩输出的特征信息，输出对应的目标图像妆容信息编码和参考图像妆容信息编码。所述的图像生成器为图像解码器，接收身份信息编码和妆容信息编码，使用卷积层对二者进行融合，并对图像上采样，最终输出新图像。所述的新图像包括带有参考图像妆容和目标图像中人脸身份的带妆图像和目标图像的重建图像；图像判别器与生成对抗网路中的判别器相似，用于判别图像生成模块生成的图像是否属于带妆图像，若图像判别器认为生成的图像是带妆图像的概率高，则输出越趋近于1；反之，其输出越趋近于0。图像生成模块通过身份信息编码和妆容信息编码生成新图像，图像判别器辨别生成的新图像是否为带妆图像，持续对抗博弈的过程促进生成带妆图像的效果。步骤(5)、计算人脸图像自动上妆网络的损失函数；损失函数包括对抗损失函数和图像重构函数。通过神经网络的回传迭代，不断地优化网络参数，得到泛化能力强的人脸图像自动上妆网络模型。生成对抗损失函数体现了生成器和判别器之间的博弈，对抗损失函数公式如下：Ladv＝E[logD(x)+log(1-D(G(Ix,Sy)))]其中G表示图像生成器，D表示图像判别器，x表示输入到网络中的目标图像，Ix表示身份内容编码，Sy表示参考图像妆容信息编码。图像重构损失函数对生成器进行约束，避免生成器对化妆区域以外的部分进行过多的处理，导致背景发生改变，图像失去真实性和连续性，公式如下：Lrecon＝E[||x-rx||1].其中rx表示重建图像。因此，该人脸图像自动上妆网络的总的损失函数可以总结为:L＝Ladv+Lrecon通过损失函数对神经网络进行约束，引导神经网络学习到参考图像集中图像的各种化妆风格，进而在数据集以外的目标图像中进行验证和应用。步骤(6)、使用测试集测试训练好的人脸图像自动上妆网络模型，如果模型效果不明显，则修改学习率、训练轮数和各个损失的比重，重复步骤3到步骤5，直到训练出泛化能力强的人脸图像自动上妆网络模型。具体的测试步骤为：输入测试集中任意一张未化妆的人脸图像作为目标图像，并选择n张带妆的参考图像。为目标图像定制好掩膜，并将目标图像、参考图像集和目标图像的掩膜输入到训练好的模型中。人脸图像自动上妆网络为目标图像中的人脸化妆区域分别添加参考图像集中人脸本文档来自技高网...

【技术保护点】
1.一种人脸图像自动上妆方法，其特征在于，包括如下步骤：/n步骤(1)、将获取的人脸图像数据集按未上妆的人脸图像即目标图像和带妆的人脸图像即参考图像分为两个图像集，分别称为目标图像集和参考图像集；/n步骤(2)、采用图像分割技术，对目标图像进行分割，得到目标图像的分割图，目标图像中的不同部位，如五官、头发和背景会被计算机以不同的灰度值标注出来，方便后续处理；/n利用分割图将需要保留的区域和不需保留的区域分开；/n所述的需要保留的区域为脸部、嘴巴、眼睛周围需要化妆的区域，所述的不需保留的区域，为无法被化妆的区域如牙齿、眼睛、头发以及背景；/n步骤(3)、通过分割图为目标图像集中的每一张人脸做好定制掩膜，使卷积神经网络只关注图像中的化妆区域，从而减少背景以及其他区域对人脸自动上妆过程的干扰；/n步骤(4)、将目标图像集和参考图像集以及目标图像集的掩膜分别输入到人脸图像自动上妆网络中训练网络参数；所述的人脸图像自动上妆网络包括身份信息编码器，妆容信息编码器，图像生成器以及图像判别器；/n所述的身份信息编码器，妆容信息编码器和图像生成器构成了图像生成模块，所述的身份信息编码器由多层卷积层组成，接收到输入的目标图像后使用卷积层对目标图像中的身份信息进行特征提取，最终输出目标图像的身份信息编码；所述的妆容信息编码器使用多层的卷积层和池化层组成，接收到输入的目标图像和参考图像后使用卷积层对对图像中的人脸的妆容信息进行提取，最后使用池化层压缩输出的特征信息，输出对应的目标图像妆容信息编码和参考图像妆容信息编码；所述的图像生成器为图像解码器，接收身份信息编码和妆容信息编码，使用卷积层对二者进行融合，并对图像上采样，最终输出新图像；所述的新图像包括带有参考图像妆容和目标图像中人脸身份的带妆图像和目标图像的重建图像；/n图像判别器与生成对抗网路中的判别器相似，用于判别图像生成模块生成的图像是否属于带妆图像，若图像判别器认为生成的图像是带妆图像的概率高，则输出越趋近于1；反之，其输出越趋近于0；/n图像生成模块通过身份信息编码和妆容信息编码生成新图像，图像判别器辨别生成的新图像是否为带妆图像，持续对抗博弈的过程促进生成带妆图像的效果；/n步骤(5)、计算人脸图像自动上妆网络的损失函数；/n步骤(6)、使用测试集测试训练好的人脸图像自动上妆网络模型，如果模型效果不明显，则修改学习率、训练轮数和各个损失的比重，重复步骤3到步骤5，直到训练出泛化能力强的人脸图像自动上妆网络模型。/n...

【技术特征摘要】
1.一种人脸图像自动上妆方法，其特征在于，包括如下步骤：
步骤(1)、将获取的人脸图像数据集按未上妆的人脸图像即目标图像和带妆的人脸图像即参考图像分为两个图像集，分别称为目标图像集和参考图像集；
步骤(2)、采用图像分割技术，对目标图像进行分割，得到目标图像的分割图，目标图像中的不同部位，如五官、头发和背景会被计算机以不同的灰度值标注出来，方便后续处理；
利用分割图将需要保留的区域和不需保留的区域分开；
所述的需要保留的区域为脸部、嘴巴、眼睛周围需要化妆的区域，所述的不需保留的区域，为无法被化妆的区域如牙齿、眼睛、头发以及背景；
步骤(3)、通过分割图为目标图像集中的每一张人脸做好定制掩膜，使卷积神经网络只关注图像中的化妆区域，从而减少背景以及其他区域对人脸自动上妆过程的干扰；
步骤(4)、将目标图像集和参考图像集以及目标图像集的掩膜分别输入到人脸图像自动上妆网络中训练网络参数；所述的人脸图像自动上妆网络包括身份信息编码器，妆容信息编码器，图像生成器以及图像判别器；
所述的身份信息编码器，妆容信息编码器和图像生成器构成了图像生成模块，所述的身份信息编码器由多层卷积层组成，接收到输入的目标图像后使用卷积层对目标图像中的身份信息进行特征提取，最终输出目标图像的身份信息编码；所述的妆容信息编码器使用多层的卷积层和池化层组成，接收到输入的目标图像和参考图像后使用卷积层对对图像中的人脸的妆容信息进行提取，最后使用池化层压缩输出的特征信息，输出对应的目标图像妆容信息编码和参考图像妆容信息编码；所述的图像生成器为图像解码器，接收身份信息编码和妆容信息编码，使用卷积层对二者进行融合，并对图像上采样，最终输出新图像；所述的新图像包括带有参考图像妆容和目标图像中人脸身份的带妆图像和目标图像的重建图像；
图像判别器与生成对抗网路中的判别器相似，用于判别图像生成模块生成的图像是否属于带妆图像，若图像判别器认为生成的图像是带妆图像的概率高，则输出越趋近于1；反之，其输出越趋近于0；
图像生成模块通过身份信息编码和妆容信息编码生成新图像，图像判别器辨别生成的新图像是否为带妆图像，持续对抗博弈的过程促进生成带妆图像的效果；
步骤(5)、计算人脸图像自动上妆网络的损失函数；
步骤(6)、使用测试集测试训练好的人脸图像自...

【专利技术属性】
技术研发人员：颜成钢，黄智坤，王文铅，陈安琪，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33