一种基于生成对抗网络的交互式人脸卡通方法技术

本发明专利技术公开了一种基于生成对抗网络的交互式人脸卡通方法。本发明专利技术对待处理的图像，首先行交互式分割处理，得到眉眼、嘴鼻、头发和脸部图像，再将眉眼、嘴鼻、头发分别输入三个训练好的眼、嘴鼻、头发生成模型，输出对应的卡通五官图像；基于脸部图像的卡通化处理，直接得到卡通人脸；再将人脸五官合成在卡通人脸上，并叠加上头发效果，得到最终的卡通图像。本发明专利技术利用交互式和生成对抗网络的优势，通过交互式分割得到人物头发、脸型与人脸五官，消除训练样本之间由于背景不同导致的差异性，再通过生成对抗网络对各个部分进行风格转化，尽可能多地保留眼角、嘴角等细节部分的信息。

【技术实现步骤摘要】
一种基于生成对抗网络的交互式人脸卡通方法
本专利技术属于图像处理和计算机视觉
，是一种基于生成对抗网络的交互式人脸卡通方法。
技术介绍
近年来，伴随着移动网络和手机的快速发展，特别是移动互联网的蓬勃发展，数字娱乐凭借其特殊优势在产业内规模越来越大，人脸卡通画技术应运而生，这一技术主要是利用图像处理和计算机程序自动地生成卡通化结果，能够极大地减少绘画师的工作量，提高卡通化效率。目前人脸卡通化方法主要有基于交互式的方法和无监督学习的方法。基于交互式的方法采用了人机交互的方式，提取出人脸轮廓线条，然后对人脸特征突出区域进行人为的夸张变形来生成个性卡通画，虽然交互式能够更加准确的得到人脸关键点信息，但是这种方法只能生成单一的卡通线条画，没有颜色渲染，并且耗时比较长。无监督学习的方法主要是利用机器学习或深度学习的方法对人脸图像进行卡通化转换。基于机器学习的方法中，一类是使用变形或颜色变换的方法对输入人脸图像像素进行处理，从而得到一定的卡通效果；另一类是基于样本学习的方法，对人脸图像整体进行特征提取，学习从人脸图像到风格图像的映射关系，然后生成卡通人脸。深度学习作为机器学习的分支，沿用了机器学习的思想，通过建立神经网络，能够学习到更具有高层语义特征，从而具有更强的学习能力，被广泛应用于物体检测、分类、分割与图像生成等领域。生成对抗网络也属于深度神经网络的一种，实质上是一种生成模型与判别模型的结合，生成模型是通过训练样本学习到输入到输出的条件概率分布，即一种生成关系，判别模型是由数据直接学习决策函数或预测函数，即对结果的决策或预测。生成对抗网络将两种模型相结合，并建立一种竞争的关系，利用生成模型将输入噪声或图片转换成风格图像，利用判别模型来判断生成图像的真假，真实样本即为真，生成图像记为假。训练过程既是一种相互博弈的过程，生成模型想要尽可能的欺骗判别网络，而判别网络想要尽可能的识别出假的图片。基于这一原理，生成对抗网络广泛应用于图像生成与风格迁移，相较于一般的生成模型，该网络能够生成更加清晰的图像，但是细节仍有不足，同时依赖于大量的风格类似的训练样本。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一般的卡通化转换受到复杂背景的影响，生成的图像质量不佳。为了将训练模型能应用于数据集以外的图像当中，本专利技术尝试在对人脸头像进行卡通化之前进行交互式分割方法得到人物头发、脸部轮廓以及人脸五官，并分别进行卡通化转换，提升卡通画的细节处理，最后合成为完整的卡通图像。本专利技术的基于生成对抗网络的交互式人脸卡通方法，包括下列步骤：步骤S1：基于一一对应的真实人脸图像和卡通人脸图像，采用生成对抗网络训练关于头发、眉眼、嘴鼻的卡通生成模型：对真实人脸图像和卡通人脸图像进行尺寸归一化处理；再对所有图像进行交互式分割处理，获取眉眼数据库、嘴鼻数据库和头发数据库；构建三个生成对抗网络，每个生成对抗网络包括两对生成器和判别器，生成器GA用于将真实人脸图像生成卡通人脸图像，生成器GB用于将卡通图像生成真实人脸图像；训练时，将两个生成器输出的生成图像作为正样本增加到彼此的正训练样本集中，进行循环训练，直到判别精度达到精度需求；再将训练好的生成对抗网络中的生成器GA作为一个卡通生成模型，从而得到关于头发、眉眼、嘴鼻的卡通生成模型；各卡通生成模型的最终损失函数为LG＝lossGA+lossGB+λ1Lcyc(GA,GB)+λ2Lidt，其中lossGA、lossGB分别表示生成器GA、GB的最终损失函数，Lcyc(GA,GB)表示循环损失函数，Lidt表示重构损失函数；其中Lidt具体为：Lidt＝Ey～pdata(y)[||decoderB(encoderB(y))||-y]+Ex～pdata(x)[||decoderA(encoderA(x))||-x]，其中，x表示生成器GA的输入图像，即真实人脸图像，y表示生成器GB的输入图像，即卡通人脸图像；encoderB(·)表示提取括号中的卡通图像的图像特征，encoderA(·)表示提取括号中的真实的图像特征；decoderB(·)表示生成器GB生成的真实人脸图像，decoderA(·)表示生成器GA生成的卡通人脸图像；表示取均值，下标用于表示图像所属的图像类型，其中pdata(x)表示真实图像，pdata(y)表示卡通图像；步骤S2：对待处理的真实人脸图像进行交互式分割处理，获取眉眼、嘴鼻、头发和人脸轮廓图像，再将眉眼、嘴鼻、头发分别输入对应的生成模型，输出对应的卡通图像：卡通眉眼、卡通嘴鼻和卡通头发；对人脸轮廓图像，取脸部肤色的平均像素值进行填充，得到卡通人脸；最后，将生成的卡通眉眼、卡通嘴鼻合成在卡通人脸上，并叠加上卡通头发，得到最终的卡通图像。本专利技术中的交互式分割处理具体为：用不同颜色的线条分别标注头发区域、背景区域，用不同颜色的点标注双眼位置以及嘴唇位置，其中双眼和嘴唇的颜色相同，但与头发、背景的颜色不同；以头发的标注颜色的该色彩区域作为前景，其他区域作为背景，分割出头发图像；以双眼的标注颜色的该色彩点的相连区域作为前景，其他区域作为背景，分割出人脸部分，从而得到人脸轮廓图像(脸部图像)；再通过双眼和嘴唇标注点剪切出左右眼眉图像和嘴唇图像。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：本专利技术通过同时利用交互式和生成对抗网络的优势，通过交互式分割得到人物头发、脸型与人脸五官，消除训练样本之间由于背景不同导致的差异性，再通过生成对抗网络对各个部分进行风格转化，尽可能多地保留眼角、嘴角等细节部分的信息。附图说明图1：本专利技术流程示意图。图2：本专利技术中生成对抗网络结构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。本专利技术提出一种基于生成对抗网络的交互式人脸卡通化方法，同时利用交互式和生成对抗网络的优势，通过交互式分割得到人物头发、脸型与人脸五官，消除训练样本之间由于背景不同导致的差异性，再通过生成对抗网络对各个部分进行风格转化，尽可能多地保留眼角、嘴角等细节部分的信息，最后合成为人脸卡通化。首先，构建卡通数据库，包括：眼眉数据库(可只构建左或者右，再将其翻转得到对称的眉眼数据库)、嘴鼻数据库、头发数据库。本具体实施中，为了追求更好的效果，将专业画师为100位志愿者所绘画的同一种风格的卡通头像作为的对应人脸图像的卡通映射图。首先将所有人脸图像与卡通头像图片裁剪到同一尺寸，例如256*256。然后利用经典交互式分割方法对所有图像进行分割，同时标注头发、背景、双眼，具体方法如下：1、用不同颜色的粗线条分别标注头发区域(蓝色)、背景区域(绿色)，用圆点标注双眼位置以及嘴唇位置(红点)。2、以蓝色区域作为前景，其他区域作为背景，分割出头发。3、以红点相连区域作为前景，其他区域作为背景，分割出人脸部分，从而得到人脸轮廓，并取脸部肤色的平均像素值进行填充，作为后续卡通化的脸部。4、通过红点位置剪切出左右眼眉和嘴唇部分。5、将以上得到的部分分别构成以下数据集：眼眉数据库(将右眼翻转)、嘴鼻数据库、头发数据库，用于后续的训练。得到数据库之后，利用生成对抗网络实现卡通画的转换。针对以上三个数据库设置三个生成对抗网络，分别记为：本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的交互式人脸卡通方法，其特征在于，包括下列步骤：步骤S1：基于一一对应的真实人脸图像和卡通人脸图像，采用生成对抗网络训练关于头发、眉眼、嘴鼻的卡通生成模型：对真实人脸图像和卡通人脸图像进行尺寸归一化处理；再对所有图像进行交互式分割处理，获取眉眼数据库、嘴鼻数据库和头发数据库；构建三个生成对抗网络，每个生成对抗网络包括两对生成器和判别器，生成器GA用于将真实人脸图像生成卡通人脸图像，生成器GB用于将卡通图像生成真实人脸图像；训练时，将两个生成器输出的生成图像作为正样本增加到彼此的正训练样本集中，进行循环训练，直到判别精度达到精度需求；再将训练好的生成对抗网络中的生成器GA作为一个卡通生成模型，从而得到关于头发、眉眼、嘴鼻的卡通生成模型；各卡通生成模型的最终损失函数为LG＝lossGA+lossGB+λ1Lcyc(GA,GB)+λ2Lidt，其中lossGA、lossGB分别表示生成器GA、GB的最终损失函数，Lcyc(GA,GB)表示循环损失函数，Lidt表示重构损失函数；所述重构损失函数Lidt具体为：Lidt＝Ey～pdata(y)[||decoderB(encoderB(y))||‑y]+Ex～pdata(x)[||decoderA(encoderA(x))||‑x]，其中，x表示生成器GA的输入图像，即真实人脸图像，y表示生成器GB的输入图像，即卡通人脸图像；encoderB(·)表示提取括号中的卡通图像的图像特征，encoderA(·)表示提取括号中的真实的图像特征；decoderB(·)表示生成器GB生成的真实人脸图像，decoderA(·)表示生成器GA生成的卡通人脸图像；...

【技术特征摘要】
1.一种基于生成对抗网络的交互式人脸卡通方法，其特征在于，包括下列步骤：步骤S1：基于一一对应的真实人脸图像和卡通人脸图像，采用生成对抗网络训练关于头发、眉眼、嘴鼻的卡通生成模型：对真实人脸图像和卡通人脸图像进行尺寸归一化处理；再对所有图像进行交互式分割处理，获取眉眼数据库、嘴鼻数据库和头发数据库；构建三个生成对抗网络，每个生成对抗网络包括两对生成器和判别器，生成器GA用于将真实人脸图像生成卡通人脸图像，生成器GB用于将卡通图像生成真实人脸图像；训练时，将两个生成器输出的生成图像作为正样本增加到彼此的正训练样本集中，进行循环训练，直到判别精度达到精度需求；再将训练好的生成对抗网络中的生成器GA作为一个卡通生成模型，从而得到关于头发、眉眼、嘴鼻的卡通生成模型；各卡通生成模型的最终损失函数为LG＝lossGA+lossGB+λ1Lcyc(GA,GB)+λ2Lidt，其中lossGA、lossGB分别表示生成器GA、GB的最终损失函数，Lcyc(GA,GB)表示循环损失函数，Lidt表示重构损失函数；所述重构损失函数Lidt具体为：Lidt＝Ey～pdata(y)[||decoderB(encoderB(y))||-y]+Ex～pdata(x)[||decoderA(encoderA(x))||-x]，其中，x表示生成器GA的输入图像，...

【专利技术属性】
技术研发人员：李宏亮，梁小娟，邓志康，颜海强，尹康，袁欢，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51