一种基于人脸照片的卡通肖像生成方法技术

本发明专利技术公开了一种基于人脸照片的卡通肖像生成方法，包括以下步骤：１）人脸图片数据的采集和处理；２）产生从真实人脸图片到卡通人脸图片的变形映射模型；３）对输入的真实人脸图片通过所述形变映射模型生成变形人脸图片；步骤４）将所述步骤３）中变形人脸图片进行纹理变换。所述人脸图片数据的处理包括以下步骤：（１）对人脸图片数据中轮廓点的提取；（２）按照平均轮廓点，对所有人脸图片进行轮廓对齐。所述步骤２）中包括如下步骤：（１）对所有图片提取其轮廓点主成分；（２）得到从真实人脸图片到卡通人脸图片的形变映射模型。本发明专利技术的优点是：实现多个人脸特征的同步协调变化，能够获得既有形状夸张效果又有纹理效果的卡通人脸图片。

【技术实现步骤摘要】

本专利技术涉及计算机图形图像处理技术，特别涉及人脸图像处理方法。
技术介绍
近年来，数字媒体技术下逐渐融入生活，极大地影响着人们的生活和工作方式，利用计算机生成人物的卡通肖像在很多领域具有广泛的应用，如视频会议、网络游戏、移动数字娱乐中，使用虚拟卡通肖像代替真实人脸，不仅可以提高数据传送的速度，而且能够很好地营造轻松、和谐的气氛。已有技术中，由计算机生成人脸卡通肖像(或称为漫画肖像)主要包括两种方法一是对照片人脸的轮廓进行夸张变形方法，二是对人脸纹理的卡通化处理方法。对照片人脸的轮廓进行夸张变形主要是通过人脸轮廓提取，获得表示人脸的线条特征，然后对线条进行一些变形，则生成人脸的“卡通线条画”，比如文献1“孙玉红、屠长河、孟祥旭，基于形状演化的线条画风格转换与变形，计算机辅助设计与图形学学报，Vol.18，No.3”中公开的技术。图1给出了3个线条画的例子，是仅有线条没有纹理的线条画。这种方法的特点是能够简洁明了地给出人脸的线条肖像，缺点在于没有纹理，不能更好地刻化人脸特征。同时，变形时，只能针对1种特征进行变形，比如变形可以包括针对额、眉、眼、鼻、嘴等部位进行变化，而此方法一次只对其中的一种特征进行扩大、缩小等线性变化。若进行多次对多个特征进行变化，则不能保证多个特征在整体上的协调性。第二种方法通过对人脸的纹理进行处理，可以进一步丰富卡通效果的表达，比如油画效果、铅笔画效果和其它效果等。文献2“陈洪，郑南宁，梁林，徐迎庆，沈向洋，基于样本学习的肖像画自动生成算法，计算机学报，2003年2期”公开了对人脸的纹理进行处理的技术。图2给出了3个具有纹理的肖像画。该种方法产生的肖像画的不足之处主要在于没有人脸特征的夸张变形或者没有较好的纹理变换效果。因此，为了克服已有技术的不足，希望有一种新的基于人脸照片生成卡通肖像的方法，使得生成的卡通肖像既具有夸张的变形效果，又具有丰富的卡通纹理。
技术实现思路
本专利技术的目的是克服单独的线条变形和纹理变化的缺点，为了使得最后的效果既具有夸张的变形效果，又具有丰富的纹理效果，提供一种新的基于人脸照片的卡通肖像生成方法。为了达到上述目的，本专利技术采取如下技术方案，包括以下步骤1)人脸图片数据的采集和处理步骤；所述人脸图片包括多幅真实人脸图片和多幅卡通人脸图片；2)产生从真实人脸图片到卡通人脸图片的变形映射模型的训练学习步骤；3)对输入的真实人脸图片通过所述形变映射模型生成变形人脸图片的步骤。在上述技术方案中，还包括步骤4)将所述步骤3)中变形人脸图片进行纹理变换的步骤。在上述技术方案中，在所述步骤1)中对所述人脸图片数据的处理包括以下步骤(1)对人脸图片数据中轮廓点的提取；(2)按照平均轮廓点，对所有人脸图片进行轮廓对齐。在上述技术方案中，所述步骤2)中具体包括如下步骤(1)对所有图片提取其轮廓点主成分；(2)基于轮廓点主成分，针对真实人脸图片和与其一一对应的卡通人脸图片进行机器学习，得到从真实人脸图片到卡通人脸图片的形变映射模型。进一步地，在上述步骤中，在每幅人脸图片数据提取轮廓点的数目为40-200之间的任一整数。在上述技术方案中，进一步地，在每幅人脸图片数据提取轮廓点的数目为118。在上述技术方案中，所述步骤1)中采集人脸图片包括真实人脸照片和卡通人脸图片至少200幅。与已有技术相比，本专利技术的有益效果在于1)通过PCA分析，可以发现形状主成分，在形状主成分上进行变化，可以间接带来多个人脸特征的同步协调变化； 2)通过形状变形和纹理处理两个步骤的结合，使得最终效果既有形状夸张效果，又有纹理效果。附图说明图1是3幅没有纹理的线条画。图2是3幅具有一定纹理特征的卡通肖像。图3是本专利技术的4幅具有形状和纹理变化的卡通肖像。图4是利用ASM提取人脸特征点的示意图。图5为利用PCA对数据进行降维的示意图。图6本专利技术中网格变形方法的示意图。图7是本专利技术形变方法的流程框架图。图8是本专利技术中人脸轮廓对齐的示意图。图9是本专利技术的总流程框架图。具体实施例方式下面结合附图和具体实施方式对本专利技术作进一步详细描述本专利技术组合了形状夸张变形和纹理变换两个步骤，使得生成的卡通肖像既具有夸张的变形效果，又具有丰富的卡通纹理。在形状变形方面，为了使得生成的效果尽量接近艺术家的风格，本专利技术采用机器学习的方法。首先需要收集大量的真实人脸及其对应的漫画肖像，将二者的特征提取出来，然后分析其主成分，建立子空间，并且基于该子空间采用机器学习的方法学习二者特征的映射关系，学习的结果是一个映射模型Y＝f(X)，Y是卡通肖像的特征，而X是真实人脸的特征。得到这个模型以后，对于新的人脸图像，提取其特征X，然后采用该映射模型f，即可以得到相应的卡通肖像的特征值Y，然后根据该特征值生成新的卡通肖像形状数据。基于主成分的操作，也即在低维子空间的操作，实际相当于对高维空间(比如后面要介绍的118维特征)进行同步操作，因此对人脸的多个特征都进行了夸张变形和协调。这是本专利技术方法的优势之一，常规的变形方法总是对人脸的某一种特征进行变形。在纹理变换方面，采用特定的图像处理算法，生成各种卡通效果，如铅笔画效果，水彩画效果等。附图3给出本方法产生的既具有纹理变化，又有夸张变形的卡通肖像图片。图7所示是本专利技术具体实施中涉及形变处理的流程图，分为训练阶段和应用阶段。在训练阶段，经过映射学习，就在两组数据之间得到了映射模型，建立正常人脸特征和卡通人脸特征的映射模型F。在应用阶段，基于已经获得的映射模型，可以对输入的人脸图像进行形变处理。，包括以下步骤1)人脸图片数据的采集和处理步骤；所述人脸图片包括多幅真实人脸图片和多幅卡通人脸图片；作为例子，此处收集了1000幅真实人脸图片和200幅卡通人脸图片，其中有100幅真实人脸图片和100幅卡通人脸图片是一一对应的；人脸图片数据的处理包括以下步骤(A)对所有人脸图片数据中轮廓点的提取。此处进行特征提取，即轮廓点的提取。对于真实人脸照片，是通过ASM(Active Shape Model，主动形状模型)方法来实现的。ASM方法是本领域内广泛采用的轮廓提取算法，比如文献“T.F.Cootes，C.J.Taylor，D.Cooper，J.Graham.Active shape models--their training andapplication .Computer vision and image understanding，1995，61(1)38-59.”中公开的技术，经过训练，能够较好提取人脸特征点。但对于人脸卡通漫画图片，因为其已经步符合下常人脸的统计分布，所以无法由ASM完成，只能基于ASM由人机交互的方式完成。附图4是ASM提取人脸特征点的例子，提取的轮廓点是一个118维的一维数组。(B)按照轮廓点，对所有人脸图片进行轮廓对齐。对齐的目的是将所有的人脸归一到统一的尺度。因为人脸图像在采集时，可能来自于不同尺度，大小不一。对齐的操作就是首先求出一个平均人脸轮廓，然后将所有的人脸轮廓一一进行放大或缩小，直到与平均人脸最为接近。附图8是人脸对齐的示意图，其中(a)是提取的原始人脸轮廓，(b)是所有人脸轮廓的平均形状，(c)是对齐以后所有的人脸轮廓。2)产生从真实人脸图片到卡通人脸图片数据的形变本文档来自技高网...

【技术保护点】
一种基于人脸照片的卡通肖像生成方法，包括以下步骤：１）人脸图片数据的采集和处理步骤；所述人脸图片包括多幅真实人脸图片和多幅卡通人脸图片；２）产生从真实人脸图片到卡通人脸图片的变形映射模型的训练学习步骤；３）对输入的真 实人脸图片通过所述形变映射模型生成变形人脸图片的步骤。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘军发，陈益强，高文，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：11[中国|北京]