一种基于人脸轮廓的人脸图像自动生成方法技术

本发明专利技术涉及一种基于人脸轮廓的人脸图像自动生成方法，包括如下步骤：步骤1、建立及准备数据集；步骤2、设计基于图像掩模mask的人脸图像生成模型；步骤3、训练基于mask的人脸图像生成模型；步骤4、使用matting对步骤3中的人脸图像生成模型进行输入数据的改进；步骤5、训练基于matting的人脸图像生成模型；步骤6、基于训练好的人脸图像生成模型自动生成人脸图像。

An automatic face image generation method based on face contour

【技术实现步骤摘要】
一种基于人脸轮廓的人脸图像自动生成方法
本专利技术是一种基于人脸轮廓的人脸图像自动生成方法，属于计算机视觉领域。
技术介绍
在图像生成领域，人脸生成是一个很大的挑战，也有十分广阔的应用场景。近年来，关于人脸的相关技术研究十分火热。人脸检测，人脸识别，图像美学等人工智能技术在实现物联网一体化中有着举足轻重的作用。但是，人脸数据集的缺乏也大大制约了人脸检测等相关深度学习技术的发展。尽管公认的有一些特定人脸数据集，但是对于种类繁多的人脸相关技术来说，现有的数据集往往不够全面。大多数数据集都是欧美人脸，制约了其他地方人脸相关模型的训练。现有的解决办法是利用网络爬虫技术，搜集网络上人脸图片，但是这种方法搜集来的图片数据集，难以保证其质量，往往数据集的分布不平均，导致训练的结果无法令人满意。
技术实现思路
为了解决上述技术问题，本专利技术在当前人脸数据集不足且不全面的基础上提出了基于人脸轮廓的人脸图像自动生成方法。在结合了生成对抗网络之后，训练得到的人脸生成模型能够很好的实现高质量人脸图像的生成，流程简单功能强大。本专利技术的技术解决方案：一种基于人脸轮廓的人脸图像自动生成方法，包括如下步骤：步骤1、建立及准备数据集；步骤2、设计基于图像掩模mask的人脸图像生成模型；步骤3、训练基于mask的人脸图像生成模型；步骤4、使用matting对步骤3中的人脸图像生成模型进行输入数据的改进；步骤5、训练基于matting的人脸图像生成模型；步骤6、基于训练好的人脸图像生成模型自动生成人脸图像。具体如下：步骤1、数据集的准备及建立：参考人脸抠图数据集，采用semantichumanmatting算法所用的matting数据集，该数据集有34000张图片，图片多为欧美上身人脸，以彩色图片为主，夹杂黑白图片。为生成符合基于mask的人脸图像生成的数据集，本专利技术将matting数据集的边缘进行修改，生成34000张mask数据集。本专利技术选择其中的12000张图片作为数据集，其中11000张作为训练集，1000张作为验证集。使用matting对人脸图像生成模型进行修改时，使用抠图领域的matting数据集，数据集中包含34000张图片，本专利技术选择与mask数据集相同的12000张图片，其中11000张作为训练集，1000张作为验证集。步骤2、基于mask的人脸图像生成模型的设计：mask标注人脸轮廓信息，相当于将人脸的风格信息天然地分为两类，一类是由mask提供的轮廓信息，另一类是人脸的其他部分组成的风格信息。本专利技术将这两类的信息分别生成。在带有语义标签图的有条件GAN生成的启发下，将mask看作是具有两类的语义标签图，一类是人脸图，另一类是背景图。与pix2pix模型类似，可以将标注有两类语义的mask图作为生成器的输入，通过卷积进行下采样，扩充维度，再经过不断地卷积，进行信息地扩充，这样保证了语义轮廓特征的准确性。此外，像pix2pix这样的结构可以通过卷积，以大的参数量学习到一些粗糙、以及中等的风格；人脸生成，由于只关注于人脸一个类别，且人脸类别变化大，有眼睛、鼻子、耳朵等部位，也有头发、眉毛、皱纹等细节变化，这导致不能单纯地将人脸生成看作是像素与像素之间的语义生成。关键是在pix2pix的基础上关注于细节信息(细致风格)的生成。参考于StyleGAN对于细致风格是在到尺度上进行注入，而pix2pix对于图片三次(4次)下采样后，正好落入细致风格的尺度区间上，因此可以在下采样后卷积的过程中，类似于StyleGAN进行细致风格的注入。步骤3、基于mask的人脸图像生成模型的训练：(1)mask作为语义标签图先与生成器生成的假图片一起送入辨别器，得到辨别器将假图片预测为假所造成的损失Lfakefake；(2)mask作为语义标签图与真实图片一起送入辨别器，得到辨别器将真实图片预测为真所造成的损失Ltruetrue，并保存4层下采样卷积后的结果；(3)语义分割图与假图片再次一起送入辨别器，得到辨别器将假图片预测为真所造成的损失Lfaketrue，并保存4层下采样卷积后的结果；(4)将两次保存结果进行L1loss比较，计算细节损失Ldetail；(5)分别对生成器与辨别器进行训练。其中生成器损失为：Lg＝Lfaketrue+Ldetail。并且细节损失Ldetail额外训练一次AdaIN以及映射网络参数，辨别器损失为：Ld＝Lfakefake+Ltruetrue；(6)本专利技术采用LSGAN用于稳定训练，具体的实验参数为一个训练批次为8，初始学习率为0.0002，共训练200轮，每一轮学习率下降0.1，使用的优化算法为Adam优化算法，其动量参数为0.5。损失函数中，采用的10个PatchGAN损失，感知损失采用的是VGG不同层的对比损失L1，VGG采用的是预训练好的网络。两部分组成的辨别器损失，分别占比为0.5，三部分组成的生成器损失，分别占比为1/3。步骤4、使用matting对人脸图像生成模型进行改进：本专利技术将输入数据做如下处理：(1)将matting转化为对应的三分图。三分图可以理解为粗糙版本的mask图，三分图标注了三类，一类是纯背景，类别为0，一类是纯前景，类别为1，一类是边缘部分，类别为2。转化为三分图相当于人为地对数据进行了分类，让模型可以分离地关注于边缘部分和非边缘部分地生成；(2)将matting图与生成的三分图，在维度上进行拼接，作为模型的最终输入。matting图与三分图拼接的好处在于，给予模型边缘细节方面更多的信息。可以让生成器在边缘细节方面，前背景过渡方面，进行更好的生成；(3)对于辨别器的输入，基于mask的人脸生成模型输入由两部分组成，一是生成器的输入，另一部分是生成器生成的图像或真实图像。基于matting的人脸生成模型的输入改为matting图与生成器生成的图与真实图像的拼接。这样做的好处是，由于matting图在边缘部分不再是生硬的0或者1(前景或者背景)，这使得生成器在边缘部分有更加精确且平滑的约束。最后生成的效果更佳。步骤5、基于matting的人脸图像生成模型的训练：(1)动态训练损失。GAN本身的训练过程已经是动态的学习过程，但辨别器的损失函数却没有随着训练过程的变化而变化。基于此，本专利技术在GAN训练过程中设计了动态的损失函数，在不同的训练阶段，各部分的损失函数有着不同的占比。本专利技术辨别器采用的损失函数三部分构成，一是辨别器判断图像真假的二分类交叉熵损失，二是PatchGAN所产生的细节比较L1损失，三是感知损失，本专利技术采取VGG损失。其中判断图像真假产生的损失由于是对整幅图像的辨别，可以认为是整体评价损失，而细节损失与感知损失由于受卷积层感受野的限制，可以认为是细节评价损失。整体评价损失和细节评价损失的比重会随着训练过程的变化而变化。本专利技术将训练过程分为三个阶段，分别为初始阶段，中期阶段，以及后期本文档来自技高网...

【技术保护点】
1.一种基于人脸轮廓的人脸图像自动生成方法，其特征在于，包括如下步骤：/n步骤1、建立及准备数据集；/n步骤2、设计基于图像掩模mask的人脸图像生成模型；/n步骤3、训练基于mask的人脸图像生成模型；/n步骤4、使用matting对步骤3中的人脸图像生成模型进行输入数据的改进；/n步骤5、训练基于matting的人脸图像生成模型；/n步骤6、基于训练好的人脸图像生成模型自动生成人脸图像。/n

【技术特征摘要】
1.一种基于人脸轮廓的人脸图像自动生成方法，其特征在于，包括如下步骤：
步骤1、建立及准备数据集；
步骤2、设计基于图像掩模mask的人脸图像生成模型；
步骤3、训练基于mask的人脸图像生成模型；
步骤4、使用matting对步骤3中的人脸图像生成模型进行输入数据的改进；
步骤5、训练基于matting的人脸图像生成模型；
步骤6、基于训练好的人脸图像生成模型自动生成人脸图像。


2.根据权利要求1所述的一种基于人脸轮廓的人脸图像自动生成方法，其特征在于，步骤(1)建立及准备数据集，包括如下步骤：
参考人脸抠图数据集，采用semantichumanmatting算法所用的matting数据集；
将matting数据集的边缘进行修改，生成34000张mask数据集；选择其中的12000张图片作为数据集，其中11000张作为训练集，1000张作为验证集；
基于matting的人脸图像生成模型，使用抠图领域的matting数据集，数据集中包含34000张图片，选择与mask数据集相同的12000张图片，其中11000张作为训练集，1000张作为验证集。


3.根据权利要求1所述的一种基于人脸轮廓的人脸图像自动生成方法，其特征在于，步骤(2)设计基于图像掩模mask的人脸图像生成模型，具体包括：
首先是生成器的设计，生成器部分输入为人脸掩模的mask图像，经过生成器中的卷积，归一化和激励函数，残差块以及AdaIN结构的计算得到生成的图像然后和人脸掩模的mask图像输入到辨别器中，具体步骤如下：
步骤(2.1)参考StyleGAN，设计由8层全连接层组成的映射网络，512维的隐向量经过映射网络后生成风格空间；
步骤(2.2)将pix2pix生成器网络作为粗糙以及中等风格生成网络；
步骤(2.3)将ResNet结构与AdaIN风格注入器相结合，得到ResNet+AdaIN模块，；
步骤(2.4)所有的归一化函数为实例归一化，激励函数为ReLU函数；
辨别器设计为：
步骤(2.5)将mask图分别与训练集真实图片，生成器生成的假图片在通道维度上进行拼接，作为辨别器的输入；
步骤(2.6)采用PatchGAN，将真图片与假图片在不同下采样尺度上的结果做L1损失函数的比较，指导生成器细节的生成；
步骤(2.7)将PathGAN产生的损失额外地指导AdaIN以及映映射网络部分的梯度下降，让其专注于细致的风格。


4.根据权利要求1所述的一种基于人脸轮廓的人脸图像自动生成方法，其特征在于，步骤(3)训练基于mask的人脸图像生成模型，具体如下：
(3.1)人脸图像掩模mask作为语义标签图先与生成器生成的假图片一起送入辨别器，得到辨别器将假图片预测为假所造成的损失Lfakefake；
(3.2)人脸图像掩模mask作为语义标签图与真实图片一起送入辨别器，得到辨别器将真实图片预测为真所造成的损失Ltruetrue，保存输入辨别器的图像连续经过4层的下采样卷积层后的结果；
(3.3)语义分割图与假图片再次一起送入辨别器，得到辨别器将假图片预测为真所...

【专利技术属性】
技术研发人员：金鑫，李忠兰，于明学，李晓东，肖超恩，
申请(专利权)人：北京电子科技学院，
类型：发明
国别省市：北京;11