一种基于深度学习的人脸漫画生成方法及其装置制造方法及图纸

本发明专利技术公开开了一种基于深度学习的人脸漫画生成方法及其装置，其中，该方法包括：获取个人图像，标定出77个人脸特征点；进行重新估计及旋转操作，获得含有正面标准姿态人脸的图像；根据其图像构建人脸矩形框；并等比放大三倍、进行裁剪，构建人头图像块；同时，裁剪出人脸矩形框对应图像，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；根据人脸的性别及五官属性标签、人头图像块及人脸矩形框对应图像，在漫画素材库中选择相应的素材，进行相应形变处理，获得五官、头发及人脸肤底的漫画素材；然后进行拼接处理，最终获得漫画图像。在本发明专利技术实施例中，能够实现智能化人脸漫画的绘制，不惜要任何的人工辅助。

【技术实现步骤摘要】
一种基于深度学习的人脸漫画生成方法及其装置
本专利技术涉及计算机非真实渲染
，尤其涉及一种基于深度学习的人脸漫画生成方法及其装置。
技术介绍
近年来，随着计算机图像处理技术的发展，越来越多的人脸漫画生成应用如脸萌、魔漫相机、FaceU走进了我们的生活，它们都使用计算机图像处理技术对真实的人像进行渲染，从而生成生动的人物漫画形象。一般而言，需要生成人脸漫画图像传统的漫画生成系统可以分为两类，第一类是依靠素材拼组合来创作漫画的漫画生成系统，其典型应用实例为手机应用“脸萌”。另外一类漫画生成装置是以计算机图像处理技术为基础的，直接对真人人像进行修改，再将修改后的真人人像与预先准备好的模板素材相融合构成漫画的漫画生成装置，其代表作为魔漫相机。如“脸萌”的技术缺点：(1)人脸漫画生成的一大要素是要像，即生成的漫画和目标真实人脸之间应该存在着一定程度的相似性。而在脸萌的技术方案中，生成漫画所用的所有素材都需要通过用户手动挑选，这就导致了用户很难快速地拼合出一幅与目标真实人脸极为神似的人脸漫画，同时这样手动拼接素材的方式也不利于批量地创作漫画或是动画化。(2)在“脸萌”中，漫画素材虽然可以随意替换，但是漫画素材拼接的位置是固定的，这减少了生成的漫画与真实人脸之间的契合度。(3)在脸萌中，可供挑选的素材是有限的，有限的素材无法满足所有人都创建出属于自己的独一无二的漫画形象的需求。又如魔漫相机，其缺点：(1)将整幅人脸当做图像，利用计算机图像处理技术进行处理的方法进行漫画人脸生成，生成的漫画人脸看上去更像是一幅灰色的人脸照片，较为生硬，不具备漫画的艺术效果。(2)偏向真实的漫画人脸与艺术家创作的其他可选素材之间存在着不匹配，这让生成的漫画效果显得不自然。(3)为了让漫画人脸与其他素材相匹配，漫画生成装置需要人工仔细挑选所使用的漫画素材以免产生违和感，这就导致了魔漫相机所支持的漫画风格极其有限。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于深度学习的人脸漫画生成方法及其装置，能够通过将类别中的素材进行形变的方式，获取所需的素材，这样的好处是一方面减少了对于漫画素材的需求，另一方面增大了漫画素材与真人照片的契合程度，实现智能化人脸漫画的绘制，不惜要任何的人工辅助。为了解决上述问题，本专利技术提出了一种基于深度学习的人脸漫画生成方法，所述方法包括：获取个人图像，利用主动形状模型在照片中标定出77个人脸特征点；根据标定的36号左眼眼球特征点和39号右眼眼球特征点对图像中的人脸倾斜角度进行估计处理，通过计算出的倾斜角度对原图像进行旋转操作，使得36号左眼眼球特征点和39号右眼眼球特征点达到水平位置，即获得含有正面标准姿态人脸的图像；获取含有正面标准姿态人脸图像，通过主动形状模型标定出其图像中77个特征点，从中获取2号、12号、15号和17号四个特征点，构建人脸矩形框；将人脸矩形框按中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，构建人头图像块；获取含有正面标准姿态人脸照片中的77个特征点，裁剪出人脸中五官的所在矩形区域，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；根据人脸的性别及五官属性标签，在漫画素材库中选择相应的五官素材，以输入的对应真实图片为参考，通过深度图像模仿算法对选定素材进行相应形变处理，获得对应生成的五官漫画素材；对所述人头图像块进行计算、分割处理，获得头发精分割区域，结合所述人脸性别属性，在漫画素材库中选出相应的头发素材，以输入的对应真实图片为参考，通过深度图像模仿算法对选定的头发漫画素材进行相应形变处理，获得对应生成的头发漫画素材；获取所述人脸矩形框，结合所述人脸性别属性，在相应的漫画素材库中选出人脸肤底素材，通过深度图像模仿算法进行形变处理，获得对应生成的人脸肤底漫画素材；结合所述的五官漫画素材、头发漫画素材、人脸肤底漫画素材，利用泊松融合的方式按照原真实照片中对应所在位置进行拼接处理，最终获得漫画图像。优选地，所述利用主动形状模型在照片中标定出77个人脸特征点是固定位置、固定编号的。优选地，所述裁剪出人脸中五官的所在矩形区域中五官包括：眉毛、眼睛、嘴巴、鼻子。优选地，所述裁剪出人脸中五官的所在矩形区域的具体步骤包括：获取含有正面标准姿态人脸照片中的77个特征点中16号到21号特征点，构成六边形A，其中心为J，将六边形A以中心不变的等比扩大1.5倍，获得左眉毛图像块区域(新六边形A1)；获取含有正面标准姿态人脸照片中的77个特征点中22号到27号特征点，构成六边形B，其中心为G，将六边形B以中心不变的等比扩大1.5倍，获得右眉毛图像块区域(新六边形B1)；获取含有正面标准姿态人脸照片中的77个特征点中30号到37号特征点，构成八边形C，其中心为H，将八边形C以中心不变的等比扩大1.5倍，获得左眼图像块区域(新八边形C1)；获取含有正面标准姿态人脸照片中的77个特征点中40号到47号特征点，构成八边形D，其中心为K，将八边形D以中心不变的等比扩大1.5倍，获得右眼图像块区域(新八边形D1)；获取含有正面标准姿态人脸照片中的77个特征点中21号、59号、65号、22号特征点构成梯形E，获得鼻子图像块区域；获取含有正面标准姿态人脸照片中的77个特征点中59号到65号特征点及72号到76号特征点构成的十二边形F，其中心为L，将十二边形F以中心不变的等比扩大1.2倍，获得嘴巴图像块区域(新十二边形F1)。优选地，所述获得人脸的性别及五官属性标签的具体步骤包括：将人脸按照性别给予男、女属性标签，将人的眉毛按照其茂密程度给予浓密、稀疏属性标签，将人眼睛按照眼睛睁开程度给予睁眼、眯眼属性标签，将人眼睛按照眼皮类型给予单眼皮、双眼皮属性标签，将人的嘴巴按照嘴角弧度给予上扬、平整、下弯标签，将人的嘴巴按照张开与否给予张开、紧闭标签。将人的嘴巴按照是否露出牙齿给予漏齿、不漏齿标签，将所有这些属性整合，即可获得人脸属性标签表，如图3所示。构建真人五官分类的训练图像数据库，在卷积神经网络框架环境下，利用预先训练好的超深卷积神经网络-16层进行多标签训练处理，获得可以输出图像块对应类别标签的人脸及五官属性多标签分类深度卷积神经预测网络；获取人脸矩形框对应的图像块，进行归一化为224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得人脸的性别属性标签；获取左眉毛图像块区域(新六边形A1)，取其外接矩形将外接矩形从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眉毛属性标签；获取右眉毛图像块区域(新六边形B1)，取其外接矩形将外接矩形从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得右眉毛属性标签；获取左眼图像块区域(新八边形C1)，取其外接矩形将外接矩形从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眼属性标签；获取右眼图像块区域(新八边形D1)，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸漫画生成方法，其特征在于，所述方法包括：获取个人图像，在照片中标定出77个人脸特征点；根据标定的36号左眼眼球特征点和39号右眼眼球特征点对图像中的人脸倾斜角度进行估计处理，通过计算出的倾斜角度对原图像进行旋转操作，使得36号左眼眼球特征点和39号右眼眼球特征点达到水平位置，即获得含有正面标准姿态人脸的图像；获取含有正面标准姿态人脸图像，标定出其图像中77个特征点，从中获取2号、12号、15号和17号四个特征点，构建人脸矩形框；将人脸矩形框按中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，构建人头图像块；获取含有正面标准姿态人脸照片中的77个特征点，裁剪出人脸中五官的所在矩形区域，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；根据人脸的性别及五官属性标签，在漫画素材库中选择相应的五官素材，以输入的对应真实图片为参考，对选定素材进行相应形变处理，获得对应生成的五官漫画素材；对所述人头图像块进行计算、分割处理，获得头发精分割区域，结合所述人脸性别属性，在漫画素材库中选出相应的头发素材，以输入的对应真实图片为参考，对选定的头发漫画素材进行相应形变处理，获得对应生成的头发漫画素材；获取所述人脸矩形框，结合所述人脸性别属性，在相应的漫画素材库中选出人脸肤底素材，进行形变处理，获得对应生成的人脸肤底漫画素材；结合所述的五官漫画素材、头发漫画素材、人脸肤底漫画素材，按照原真实照片中对应所在位置进行拼接处理，最终获得漫画图像。...

【技术特征摘要】
1.一种基于深度学习的人脸漫画生成方法，其特征在于，所述方法包括：获取个人图像，在照片中标定出77个人脸特征点；根据标定的36号左眼眼球特征点和39号右眼眼球特征点对图像中的人脸倾斜角度进行估计处理，通过计算出的倾斜角度对原图像进行旋转操作，使得36号左眼眼球特征点和39号右眼眼球特征点达到水平位置，即获得含有正面标准姿态人脸的图像；获取含有正面标准姿态人脸图像，标定出其图像中77个特征点，从中获取2号、12号、15号和17号四个特征点，构建人脸矩形框；将人脸矩形框按中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，构建人头图像块；获取含有正面标准姿态人脸照片中的77个特征点，裁剪出人脸中五官的所在矩形区域，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；根据人脸的性别及五官属性标签，在漫画素材库中选择相应的五官素材，以输入的对应真实图片为参考，对选定素材进行相应形变处理，获得对应生成的五官漫画素材；对所述人头图像块进行计算、分割处理，获得头发精分割区域，结合所述人脸性别属性，在漫画素材库中选出相应的头发素材，以输入的对应真实图片为参考，对选定的头发漫画素材进行相应形变处理，获得对应生成的头发漫画素材；获取所述人脸矩形框，结合所述人脸性别属性，在相应的漫画素材库中选出人脸肤底素材，进行形变处理，获得对应生成的人脸肤底漫画素材；结合所述的五官漫画素材、头发漫画素材、人脸肤底漫画素材，按照原真实照片中对应所在位置进行拼接处理，最终获得漫画图像。2.根据权利要求1所述的一种基于深度学习的人脸漫画生成方法，其特征在于，所述获得人脸的性别及五官属性标签的具体步骤包括：将人脸按照性别给予男、女属性标签，将人的眉毛按照其茂密程度给予浓密、稀疏属性标签，将人眼睛按照眼睛睁开程度给予睁眼、眯眼属性标签，将人眼睛按照眼皮类型给予单眼皮、双眼皮属性标签，将人的嘴巴按照嘴角弧度给予上扬、平整、下弯标签，将人的嘴巴按照张开与否给予张开、紧闭标签。将人的嘴巴按照是否露出牙齿给予漏齿、不漏齿标签，将所有这些属性整合，即可获得人脸属性标签表。构建真人五官分类的训练图像数据库，在卷积神经网络框架环境下，利用预先训练好的超深卷积神经网络进行多标签训练处理，获得可以输出图像块对应类别标签的人脸及五官属性多标签分类深度卷积神经预测网络；获取人脸矩形框对应的图像块，进行归一化为224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得人脸的性别属性标签；获取左眉毛图像块区域(新六边形A1)，取其外接矩形将外接矩形从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眉毛属性标签；获取右眉毛图像块区域(新六边形B1)，取其外接矩形将外接矩形从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得右眉毛属性标签；获取左眼图像块区域(新八边形C1)，取其外接矩...

【专利技术属性】
技术研发人员：曾坤，朱普良，郑贵锋，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44