从脸型到五官的照片到夸张漫画智能生成方法技术

本发明专利技术公开了一种从脸型到五官的照片到夸张漫画智能生成方法，建立一个基于StyleGAN的网络，参照参考漫画对照片面部局部特征进行显著夸张，包括以下步骤：在参考漫画的选择中，首先对全局脸型进行匹配，接着对面部局部显著属性进行匹配，最后筛选旋转角度，找到更符合面部个性化特征的漫画进行参考；采用从全局到局部的分层结构设计，分别训练整个面部轮廓的夸张化全局网络，以及眼睛、鼻子、嘴巴这几个局部区域的夸张化局部网络，参照不同的参考漫画来夸张化不同局部区域。本发明专利技术可以根据照片的五官特征，以及用户意见，选择不同的参考漫画分别对脸型和五官进行夸张化，显著夸张化局部五官特征的同时，还能避免传统特征点拉伸造成的扭曲现象。的扭曲现象。的扭曲现象。

【技术实现步骤摘要】
从脸型到五官的照片到夸张漫画智能生成方法


[0001]本专利技术涉及漫画人脸生成
，特别是涉及一种从脸型到五官的照片到夸张漫画智能生成方法。

技术介绍

[0002]绘制漫画是一个采用草图、铅笔笔画或其他艺术绘画来简化或夸大主题属性的过程。夸张的面部特征传达了讽刺和幽默，同时让人们立即认出自己。然而，只有少数名人可以获得自己的漫画，因为一幅漫画需要专业艺术家花费数小时甚至数天的时间。自动生成方法可以很容易地生成漫画，但往往局限于改变漫画的整体脸型，不能像画家一样细致的设计夸张化五官。因此，开发一种整体局部相结合的漫画生成方法是非常必要的。
[0003]早期的漫画生成方法主要有基于图形和图像到图像转换的方法。基于图形的方只注意夸张，而图像到图像的转换方法只关注纹理渲染。尽管随后基于生成对抗网络(GAN)的作品同时实现了这两种功能，但它们生成的图片质量较差。最近的工作StyleCariGAN对StyleGAN进行了微调，提出了一种生成生动漫画的方法，这一方法能够生成高质量的漫画但不能参考漫画实现多种夸张化。随后，DualStyleGAN又提出了基于StyleGAN的参考风格图生成方法，不仅能够生成高质量的漫画，而且能够参照不同的漫画夸张风格。
[0004]然而，这些基于StyleGAN的方法虽然能够生成高质量漫画，但当照片特征复杂时，保持身份很有挑战性。另一方面，上述所有方法都主要关注面部轮廓的夸张化，难以对五官进行明显的夸张。此外，目前基于StyleGAN的方法只能随机的选取参考漫画，没有对照片的脸型和五官特征进行总结匹配到合适的参考漫画。

技术实现思路

[0005]本专利技术的目的是提供一种从脸型到五官的照片到夸张漫画智能生成方法，给出了一种利用全局和局部夸张化模块来辅助夸张漫画创作的的全新技术路线。该方法操作简单方便，并且可以对局部五官进行任意变形来制作各种表情效果。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种从脸型到五官的照片到夸张漫画智能生成方法，建立一个基于StyleGAN的网络，参照参考漫画对照片面部局部特征进行显著夸张，包括以下步骤：
[0008]S1，在参考漫画的选择中，首先对全局脸型进行匹配，接着对面部局部显著属性进行匹配，最后筛选旋转角度，找到更符合面部个性化特征的漫画进行参考；
[0009]S2，采用从全局到局部的分层结构设计，分别训练整个面部轮廓的夸张化全局网络，以及眼睛、鼻子、嘴巴这几个局部区域的夸张化局部网络，参照不同的参考漫画来夸张化不同局部区域。
[0010]进一步地，所述步骤S1，在参考漫画的选择中，首先对全局脸型进行匹配，接着对面部局部显著属性进行匹配，最后筛选旋转角度，找到更符合面部个性化特征的漫画进行参考，具体包括：
[0011]S101，漫画面部形状的分类：
[0012]将漫画逆映射匹配到固定的几何形状，然后将照片与漫画各自的几何形状进行匹配，实现照片对应一张合适的参考漫画；其中，所述几何形状包括三角形、倒三角、矩形、菱形、沙漏五种类型；
[0013]S102，对面部形状进行数学表示：
[0014]确定脸部轮廓集，计算照片和漫画属于脸部轮廓集中各个几何形状的概率，对面部形状进行数学表示；
[0015]S103，匹配最接近照片脸型的漫画：
[0016]按照S102确定的标准，计算照片p与第i个几何形状g
i
的相似度，由此计算出照片与漫画之间的距，并筛选出与照片脸型相近的漫画数据集；
[0017]S104，匹配最接近照片五官特征的漫画：
[0018]针对局部参考漫画的匹配问题，提出属性特征匹配方法，首先，使用属性分类器检测与脸、眼睛、鼻子和嘴相关的20个卡通属性的概率；然后，找到具有最高概率的属性a，所有属性a的概率大于阈值M的漫画都在漫画数据集中作为本地参考漫画，匹配本地参考漫画中最突出的特征照片；其中，通过改变所需的匹配属性a来夸大照片的其他部分。
[0019]进一步地，所述步骤S2，采用从全局到局部的分层结构设计，分别训练整个面部轮廓的夸张化全局网络，以及眼睛、鼻子、嘴巴这几个局部区域的夸张化局部网络，参照不同的参考漫画来夸张化不同局部区域，具体包括：
[0020]S201，参考漫画数据集的制作：
[0021]用Webcaricature作为参考漫画数据集，通过DualStyleGAN中的解除风格化方法，将漫画转换为对应的照片，获得对应的照片数据集，采用其中的5905张漫画作为训练集，132张作为测试集；
[0022]S202，对颜色纹理的处理：
[0023]对于低分辨率的二维特征图，设计颜色控制模块，将w
c
的低分辨率部分通过颜色控制模块，生成接着将加到w
x
的低分辨率部分，获得生成漫画的纹理样式二维特征图；
[0024]S203，对形状的处理：
[0025]对于高分辨率的二维特征图，设计分层的夸张化模块，分别对应不同分辨率的二维特征图，w
y
通过这些夸张化模块，生成一个夸张化特征图集合，在形状的处理上，采用分割图，实现不同区域的夸张化，首先对于全局生成器，用面部区域分割图与夸张化特征图相乘，再加到照片的特征图上，生成具有整体脸型夸张化的漫画；对于局部五官生成器，分别采用眼睛、鼻子、嘴巴这三个部位区域的分割图与夸张化特征图相乘并加到照片特征图上，实现对局部区域的夸张化。
[0026]本专利技术提供的从脸型到五官的照片到夸张漫画智能生成方法，能够基于参考漫画的，对照片整体和局部进行夸张化。本专利技术采用了分层的网络结构，包含全局夸张化模块以及局部夸张化模块，分别对照片的面部形状和五官进行夸张化。除此之外，对于夸张化模块的设计，对不同分辨率的特征图分别设计了分层的的网络结构，分别控制从粗糙到精细的特征。总之，本专利技术的技术效果可归纳如下：
[0027]1)提出从整体到局部的夸张化模块，能够更好的对五官进行夸张，达到了超越现有方法的效果；
[0028]2)通过采用二维特征图作为漫画特征，能够更好的保持照片的身份信息；
[0029]3)提出了从整体到局部的参考漫画匹配方法，能够挑选出与照片整体局部特征相符的参考漫画。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图只是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术中脸型到五官的照片到夸张漫画智能生成方法的流程图；
[0032]图2为本专利技术中脸型表示为简单几何形状组成示意图；
[0033]图3为本专利技术中脸型和五官匹配示意图；
[0034]图4为本专利技术中夸张化网络示意图；
[0035]图5为本专利技术部分生成结果示意图。...

【技术保护点】

【技术特征摘要】
1.一种从脸型到五官的照片到夸张漫画智能生成方法，其特征在于，建立一个基于StyleGAN的网络，参照参考漫画对照片面部局部特征进行显著夸张，包括以下步骤：S1，在参考漫画的选择中，首先对全局脸型进行匹配，接着对面部局部显著属性进行匹配，最后筛选旋转角度，找到更符合面部个性化特征的漫画进行参考；S2，采用从全局到局部的分层结构设计，分别训练整个面部轮廓的夸张化全局网络，以及眼睛、鼻子、嘴巴这几个局部区域的夸张化局部网络，参照不同的参考漫画来夸张化不同局部区域。2.根据权利要求1所述的从脸型到五官的照片到夸张漫画智能生成方法，其特征在于，所述步骤S1，在参考漫画的选择中，首先对全局脸型进行匹配，接着对面部局部显著属性进行匹配，最后筛选旋转角度，找到更符合面部个性化特征的漫画进行参考，具体包括：S101，漫画面部形状的分类：将漫画逆映射匹配到固定的几何形状，然后将照片与漫画各自的几何形状进行匹配，实现照片对应一张合适的参考漫画；其中，所述几何形状包括三角形、倒三角、矩形、菱形、沙漏五种类型；S102，对面部形状进行数学表示：确定脸部轮廓集，计算照片和漫画属于脸部轮廓集中各个几何形状的概率，对面部形状进行数学表示；S103，匹配最接近照片脸型的漫画：按照S102确定的标准，计算照片p与第i个几何形状g
i
的相似度，由此计算出照片与漫画之间的距，并筛选出与照片脸型相近的漫画数据集；S104，匹配最接近照片五官特征的漫画：针对局部参考漫画的匹配问题，提出属性特征匹配方法，首先，使用属性分类器检测与脸、眼睛、鼻子和嘴相关的20个卡通属性的概率；然后，找到具有最高概率的属性a，所有属性a的概率大于阈值M的漫画都在漫画数据集中...

【专利技术属性】
技术研发人员：贾金原，黄欣，
申请(专利权)人：同济大学，
类型：发明
国别省市：