基于循环生成对抗网络的人脸头像卡通化的实现方法技术

本发明专利技术公开了一种基于循环生成对抗网络的人脸头像卡通化的实现方法，包括步骤：从网络上爬取若干真实人物图片和卡通人物图片；基于人脸检测算法识别图片中的人脸，获得真实人脸头像和卡通人脸头像后作为训练样本；构建由生成器和鉴别器组成的循环生成对抗网络，并设计损失函数；将真实人脸头像和卡通人脸头像分别作为输入，训练循环生成对抗网络来最小化损失函数；将待处理的真实人脸头像输入训练完成后的循环生成对抗网络的生成器，获得对应的卡通人脸头像。本发明专利技术使得循环生成对抗网络的第一生成器性能达到最佳，可以将输入的真实人脸头像卡通化，做到人脸卡通化的实时性和有效性。

【技术实现步骤摘要】
基于循环生成对抗网络的人脸头像卡通化的实现方法
本专利技术涉及一种基于循环生成对抗网络的人脸头像卡通化的实现方法，属于计算机视觉中图像处理的

技术介绍
近年来，随着人工智能的兴起，深度学习受到了广泛的关注，其中生成对抗网络的提出加速了深度学习的进程。2014年，蒙特利尔大学IanGoodfellow等学者提出“生成对抗网络”的概念，并逐渐引起AI业内人士的注意。自2016年以来，学界、业界对GANs的兴趣出现“井喷”：多篇重磅论文陆续发表；Facebook、OpenAI等AI业界巨头也加入对GANs的研究；它成为今年12月NIPS大会当之无愧的明星——在会议大纲中被提到逾170次；GANs之父”IanGoodfellow被公推为人工智能的顶级专家；YanLecun也对它交口称赞，称其为“20年来机器学习领域最酷的想法”。生成对抗网络是一种生成模型(GenerativeModel)，其背后基本思想是从训练库里获取很多训练样本，从而学习这些训练案例生成的概率分布。而实现的方法，是让两个网络相互竞争，‘玩一个游戏’。其中一个叫做生成器网络(GeneratorNetwork)，它不断捕捉训练库里真实图片的概率分布，将输入的随机噪声(RandomNoise)转变成新的样本(也就是假数据)。另一个叫做判别器网络(DiscriminatorNetwork)，它可以同时观察真实和假造的数据，并判断数据的真伪。循环生成对抗网络则是对生成对抗网络的改进，将输入图像通过生成器G再通过生成器F得到的图像与输入图像对比，使得差距最小。由于现有技术实现人脸头像卡通化的效果不佳，而且有些卡通化依赖于人类手动设置，使得人脸头像卡通化在效果和速度方面都不能令人满意，存在转化效果差和一些效果好但速度慢的问题。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术的不足，提供一种基于循环生成对抗网络的人脸头像卡通化的实现方法，解决传统方法中的转化效果差和一些效果好但速度慢的问题，做到人脸卡通化的实时性和有效性。本专利技术具体采用以下技术方案解决上述技术问题：基于循环生成对抗网络的人脸头像卡通化的实现方法，包括以下步骤：步骤1、从网络上爬取若干真实人物图片和卡通人物图片；步骤2、基于人脸检测算法识别所爬取的真实人物图片和卡通人物图片中的人脸，获得真实人脸头像和卡通人脸头像后作为训练样本；步骤3、构建由生成器和鉴别器组成的循环生成对抗网络，并设计损失函数；将所述训练样本中的真实人脸头像和卡通人脸头像分别作为循环生成对抗网络的输入，训练循环生成对抗网络以最小化损失函数；步骤4、将待处理的真实人脸头像输入训练完成后的循环生成对抗网络的生成器中，获得真实人脸头像对应的卡通人脸头像。进一步地，作为本专利技术的一种优选技术方案：所述步骤1采用爬虫方法从网络上爬取获得图片。进一步地，作为本专利技术的一种优选技术方案：所述步骤2采用基于Adaboost人脸检测算法进行识别。进一步地，作为本专利技术的一种优选技术方案：所述步骤3中循环生成对抗网络包括第一和第二生成器，及第一和第二鉴别器。进一步地，作为本专利技术的一种优选技术方案：所述步骤3中生成器包括编码器、转换器和解码器。进一步地，作为本专利技术的一种优选技术方案：所述步骤3对循环生成对抗网络进行训练，包括步骤：步骤31、将步骤2所述真实人脸头像输入第一鉴别器鉴别，同时将真实人脸头像输入第一生成器以生成卡通人脸头像，再将生成的卡通人脸头像通过第二鉴别器鉴别，同时将生成的卡通人脸头像通过第二生成器生成循环真实人脸头像；步骤32、将步骤2所述卡通人脸头像输入第二鉴别器鉴别，同时将真实人脸头像输入第一生成器以生成真实人脸头像，再将生成的真实人脸头像通过第二鉴别器鉴别，同时将生成的真实人脸头像通过第一鉴别器生成循环卡通人脸头像；步骤33、对所述第一和第二生成器、第一和第二鉴别器进行调整，以使得损失函数最小化。进一步地，作为本专利技术的一种优选技术方案：所述步骤3中计算损失函数设计为：其中，所述公式中，G是第一生成器，F是第二生成器，x是训练样本中的真实人脸头像，y是训练样本中的卡通脸头像，DX是第一鉴别器，DY是第二鉴别器；λ1、λ2、λ3为可设定参数；LGAN是鉴别器损失；Lcyc是循环损失；Lcyc'是循环鉴别损失。本专利技术采用上述技术方案，能产生如下技术效果：本专利技术将真实人脸头像和卡通人脸头像放入循环生成对抗网络中进行训练，通过将真实人脸头像和卡通人脸头像输入到循环生成对抗网络中，训练循环生成对抗网络模型最小化损失函数，此时第一生成器可以将输入的真实人脸头像卡通化。将循环生成对抗网络在真实人脸卡通化方面加以应用，实现一个转化器，输入一张真实人脸头像输出一张相应的卡通人脸头像，做到了人脸卡通化的实时性和有效性，解决了传统方法中的转化效果差和一些效果好但速度慢的问题。附图说明图1是本专利技术基于循环生成对抗网络的人脸头像卡通化的实现方法的流程图。图2是本专利技术循环生成对抗网络的结构示意图。图3是本专利技术循环生成对抗网络中生成器的结构图。图4是本专利技术循环生成对抗网络中鉴别器的结构图。具体实施方式下面结合说明书附图对本专利技术的实施方式进行描述。如图1所示，本专利技术设计了一种基于循环生成对抗网络的人脸头像卡通化的实现方法，该方法包括以下步骤：步骤1、从网络上爬取多张面部清晰的真实人物图片和卡通人物图片，具体如下：找到真人图片网站，要求真实人物的面部可见，图片清晰；找到卡通图片网站，要求风格一致或者相近，图片清晰；利用爬虫技术，分别从两个网站爬取获得5万张图片。步骤2、基于人脸检测算法识别所爬取的真实人物图片和卡通人物图片中的人脸，获得真实人脸头像和卡通人脸头像作为训练样本。优选地，基于Adaboost人脸检测算法进行识别步骤1所爬取到的图片，在指定数量的图像中识别人脸并进行裁剪，裁剪成统一大小256*256并保存到另一文件夹下，且图片文件名不变，将其作为训练样本。步骤3、构建由生成器和鉴别器组成的循环生成对抗网络，如图2所示，具体过程如下：首先，构建生成器，生成器的结构如图3所示。生成器由三个部分组成：编码器、转换器和解码器。其中，编码器包含ConvLayer是卷积层，作用是利用卷积网络从输入图像中提取特征；转换器包含的ResnetBlock是残差网络，网络层的作用是组合图像的不同相近特征，然后基于这些特征，确定如何将图像的特征向量进行域转换；解码器包含的DeConvLayer是反卷积层，解码过程与编码方式完全相反，从特征向量中还原出低级特征，这是利用反卷积层来完成的。本专利技术中，设计了第一生成器G和第二生成器F，其中第一生成器G的输入是真实人脸头像，输出是由第一生成器G自动生成的卡通人脸头像；第二生成器F的输入是卡通人脸头像，输出是由第二生成器F自动生成的真实人脸头像。其次，构建鉴别器。鉴别器的结构如图4所示。鉴别器将一张图像作为输入并尝试预测其为原始图像或是生成器的输出图像，其包含ConvLayer是卷积层。鉴别器本身就属于卷积网络，需要从图像中提取特征。获取图像特征后确定这些特征是否属于该特定类别，添加一个产生一维输出的卷积层来完成这个任务。鉴别器的输出分布decision在0到1之间，当输入图像与原始图像越接近其值越接近1。本专利技术中设本文档来自技高网...

【技术保护点】
基于循环生成对抗网络的人脸头像卡通化的实现方法，其特征在于，包括以下步骤：步骤1、从网络上爬取若干真实人物图片和卡通人物图片；步骤2、基于人脸检测算法识别所爬取的真实人物图片和卡通人物图片中的人脸，获得真实人脸头像和卡通人脸头像后作为训练样本；步骤3、构建由生成器和鉴别器组成的循环生成对抗网络，并设计损失函数；将所述训练样本中的真实人脸头像和卡通人脸头像分别作为循环生成对抗网络的输入，训练循环生成对抗网络以最小化损失函数；步骤4、将待处理的真实人脸头像输入训练完成后的循环生成对抗网络的生成器中，获得真实人脸头像对应的卡通人脸头像。

【技术特征摘要】
1.基于循环生成对抗网络的人脸头像卡通化的实现方法，其特征在于，包括以下步骤：步骤1、从网络上爬取若干真实人物图片和卡通人物图片；步骤2、基于人脸检测算法识别所爬取的真实人物图片和卡通人物图片中的人脸，获得真实人脸头像和卡通人脸头像后作为训练样本；步骤3、构建由生成器和鉴别器组成的循环生成对抗网络，并设计损失函数；将所述训练样本中的真实人脸头像和卡通人脸头像分别作为循环生成对抗网络的输入，训练循环生成对抗网络以最小化损失函数；步骤4、将待处理的真实人脸头像输入训练完成后的循环生成对抗网络的生成器中，获得真实人脸头像对应的卡通人脸头像。2.根据权利要求1所述基于循环生成对抗网络的人脸头像卡通化的实现方法，其特征在于：所述步骤1采用爬虫方法从网络上爬取获得图片。3.根据权利要求1所述基于循环生成对抗网络的人脸头像卡通化的实现方法，其特征在于：所述步骤2采用基于Adaboost人脸检测算法进行识别。4.根据权利要求1所述基于循环生成对抗网络的人脸头像卡通化的实现方法，其特征在于：所述步骤3中循环生成对抗网络包括第一和第二生成器，及第一和第二鉴别器。5.根据权利要求1所述基于循环生成对抗网络的人脸头像卡通化的实现方法，其特征在于：所述步骤3中生成器包括编码器、转换器和解码器。6.根据权利要求4所述基于循环生成对抗网络的人脸头像卡通化的实现方法，其特征在于：所述步骤3对循环生成对抗网络进行训练，包括步骤：步骤31、将步骤2所述真实人脸头像输入第一鉴别器鉴别，同时将真实人脸头像输入第一生成器以生成卡通人脸头像，再将生成的卡通人脸头像通过第二鉴别器鉴别，同时将生成的卡通人脸头像通过第二生成器生成循环真实人脸头像；步骤32、将步骤2所述卡通人脸头像输入第二鉴别器鉴别，同时将真实人脸头像输入第一生成器以生成真实人脸头像，再将生成的真实人脸头像通过第二鉴别器鉴别，同时将生成的...

【专利技术属性】
技术研发人员：解晓波，熊健，李海波，桂冠，杨洁，华文韬，朱颖，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32