一种基于特征提取的人物肖像漫画风格化生成方法技术

本发明专利技术公开了一种基于特征提取的人物肖像漫画风格化生成方法，首先采用主动形状模型算法对人脸特征点进行定位；再基于主成分分析的降维思想，对五官样本的特征点映射到低维空间中与五官模板进行匹配；通过人脸特征点定位获得脸型的线描图后，使用Hu矩轮廓匹配方法查找最接近的脸型模板；然后利用颜色分割去除背景与肌肤区域，计算得到发型与服饰的轮廓，同样通过Hu矩轮廓匹配方法实现发型模板与服饰模板的快速匹配；最后采用基于与或图表示的方法合成各匹配模板，并进行夸张化渲染，从而实现人物肖像的漫画风格化。

A style generation method based on feature extraction

The invention discloses a generation method of feature extraction based on the manga style portraits, the active shape model algorithm for facial feature point localization; and dimension reduction based on principal component analysis, the features of the sample points are mapped into a low dimensional space with five official template matching; get the face line by tracing the facial feature points localization, using Hu moment method to find the closest contour matching face template; then using color segmentation to remove the background and skin area, calculated hairstyles and clothing outline, hairstyles and dress the same through the realization of template Hu moment contour matching method of fast matching; finally the synthesis of the template matching method said based on and / or graph, and exaggerated rendering, so as to realize the portrait cartoon style.

【技术实现步骤摘要】
一种基于特征提取的人物肖像漫画风格化生成方法
本专利技术属于图像处理领域，涉及一种基于特征提取的人物肖像漫画风格化生成方法。
技术介绍
肖像风格化属于非真实感绘制的范畴，其涵盖了多个学科和领域，包括计算机视觉、计算机图形学和心理学等。真实感绘制是利用照相机等模拟设备，将结构复杂、细节丰富的场景绘制出和现实照片一样的真实结果，所以真实感绘制需要保证光学与感官上的正确。目前该技术广泛运用在影视作品特技应用与后期处理、照片后期处理等应用中，人们看完处理后的作品并不会发现不真实感。人们利用真实感绘制技术可以依照需求对真实场景加以渲染，但是在漫画和卡通等相对抽象的计算机艺术领域中，需要以非真实场景来添加人们的想法和设计理念，同时去除一些无用的细节，这些是真实感绘制做不到的。非真实感绘制是利用计算机生成不具有真实感、而具有某些手绘或其他艺术风格图像的生成技术。这种方法不需要展示所有的细节，只需要把人们主观需要展示出来的东西突出。肖像风格化是非真实感绘制技术中的一种，能简单而形象地对人物进行描绘。肖像风格化一直以来都是图像处理领域一个热门的研究方向，从肖像风格化诞生之日起就将图像处理与艺术创作紧密的联系起来。随着图像处理技术的发展，人们在风格化研究上做了很多尝试，涌现出大量风格化方法，其中具有代表性的两种方法有:1)利用滤镜的风格化处理2)基于产生式模型的风格化处理。滤镜风格化方法通过调节所设计滤波器的参数以得到风格化效果；产生式模型可先将自然人脸分割成不同模块，然后通过贝叶斯统计计算而得到风格化肖像图。当前以此两种方法为指导，衍生出了包括油画风格化、素描风格化以及海报风格化等多种不同的应用，虽然可以针对不同的问题达到对应的目标，但无法满足大部分人对于肖像风格化不同的需求。
技术实现思路
本专利技术目的在于提出一种基于特征提取的人物肖像漫画风格化生成方法，该方法提取人脸特征点后将人脸分解为五官、脸型、发型、服饰等组件，根据这些组件的特征与组件素材库中已有的组件素材进行匹配，最后将得到的各匹配组件合成为人物肖像，并对其进行夸张渲染。本文采用的肖像风格化算法将肖像的结构特征与风格化信息分开处理。为实现上述目的，本专利技术采用如下方案：一种基于特征提取的人物肖像漫画风格化生成方法，包括以下步骤：步骤一、利用基于haar-like特征的人脸检测算法寻找最靠近中心的人脸，初始化人脸设置，然后采用改进的主动形状模型算法对人脸特征点进行定位，提取人脸特征点；步骤二、提取人脸特征点后基于主成分分析的降维思想，对五官样本的特征点映射到低维空间中与五官模板进行匹配，取出匹配的风格化五官素材；步骤三、利用改进的主动形状模型进行人脸特征点定位获得脸型的线描图后，使用Hu矩轮廓匹配方法查找最接近的脸型模板；步骤四、然后利用颜色分割去除背景与肌肤区域，计算得到发型与服饰的轮廓，同样通过Hu矩轮廓匹配方法实现发型模板与服饰模板的快速匹配；步骤五、最后采用基于与或图表示的方法合成各匹配模板，并进行夸张化渲染，从而实现人物肖像的漫画风格化。进一步，所述步骤二具体步骤如下：步骤2.1、根据人脸特征点的坐标位置信息获得五官的具体位置，并使五官分割成一个个矩形，将截取出来的五官图像初始化为大小统一的灰度图像；步骤2.2、对截取的五官图像采用基于主成分分析的思想进行降维处理，将单个五官图像映射到低维的数字空间；步骤2.3、在低维空间将降维后的PCA数据与五官素材库中的五官模板进行匹配，通过计算最小欧式距离选取出匹配的风格化五官素材。进一步，所述步骤三具体步骤如下：步骤3.1、根据人脸特征点的坐标位置获得脸型轮廓的特征点信息，将这些特征点连接得到人脸轮廓的线描图；步骤3.2、计算得到人脸轮廓的7个Hu矩特征，采用Hu矩轮廓匹配方法在风格化脸型素材库中查找出最接近的脸型模板。进一步，所述步骤四具体步骤如下：步骤4.1、利用输入的单一背景图像对人物肖像图像进行背景分割去除背景区域，对得到的前景图像利用肤色分割去除人脸与脖子的皮肤区域，使得图像中只剩下发型与服饰区域；步骤4.2、然后对此区域进行边缘提取得到发型与服饰的轮廓，计算轮廓的Hu矩特征，采用Hu矩轮廓匹配方法在风格化素材库中查找出最相似的发型与服饰模板。进一步，所述步骤五具体步骤如下：步骤5.1、根据肖像各组件之间的关系，把肖像分割成不同层次的多个模块，构成一个肖像与或图，利用之前查找得到的五官、脸型、发型、服饰的风格化模板，采用基于与或图表示的人脸合成方法合成各匹配模板；步骤5.2、对于最突出的五官特征，通过调整其大小及位置进行夸张化渲染。本专利技术在现有理论技术的基础上建立了一套完整的人物肖像风格化体系，包括先采用一种通用的模式对人脸进行建模；提取人脸特征点后，将人物肖像分割成五官、脸型、发型和服饰各个组件，在组件素材库中查找匹配的组件模板，匹配时利用主成分分析降维的方法对人脸五官进行匹配、利用Hu不变矩对脸型、发型和服饰进行匹配；最后采用与或图表示的方法将各个组件合成人脸，得到所需人物肖像风格化结果。获得一种基于通用的肖像风格化建模体系，并且针对为完成人脸特征点定位所使用的主动形状模型(ASM)算法执行时间过长、收敛性与人脸轮廓匹配准确度较低等问题，提出了相应的改进算法。本专利技术相对于现有风格化处理方向有以下优点：1、本专利技术所提出的方法可以达到一种通用性的效果，建立起了一个丰富的人脸模板素材库，包括五官、脸型、发型和服饰等不同组件，漫画、素描和卡通等不同素材模板。以此人脸模板素材库为基础，与本方法中所得到的五官PCA数据和脸型、衣物与发型轮廓进行匹配，可以满足对肖像漫画风格化的各种需求。2、本专利技术使用现今比较流行的主动形状模型(ASM)进行人脸特征点定位，但传统方法会出现因初始位置不在人脸区域导致算法时间过长、无法收敛；因采用了局部灰度梯度模型导致局部极小而难以匹配到人脸轮廓这两个问题，针对此问题，本专利技术进行了以下优化:2.1、使用基于haar-like的人脸检测算法以将模型初始化在人脸区域；2.2、加入边缘特性作为特征点定位约束条件，将特征点定位在边缘信息较强位置以提升匹配程度。3、本专利技术将基于改进ASM算法的人脸特征点定位、基于PCA降维思想的五官匹配、基于Hu矩的轮廓匹配、基于与或图的人脸合成与夸张渲染相互结合，从而得到此种具备通用性的人脸肖像风格化方法。4、本专利技术在通过匹配得到相应的肖像风格化结果后可再进行夸张渲染的步骤，通过调整各特征以满足不同人的不同需求。【附图说明】图1是本专利技术基于特征提取的人物肖像风格化生成方法流程图；图2是采用主动形状模型算法计算得到的特征点位置示意图；图3是五官截取示意图，利用五官坐标位置将五官截取成矩形区域；图4是五官匹配示意图，将五官区域初始化为固定大小的灰度图像，对其进行PCA降维处理，利用降维数据在素材库中进行五官匹配；图5是脸型匹配示意图；图6是发型与服饰漫画风格化流程图；图7是去除背景示意图，a是对图像采用Canny算子提取边缘，b是对图像的边缘提取结果进行闭操作，c是得到最大联通区域的结果，d是进行孔洞填充后的结果，e是去除背景的结果；图8是肤色区域定位示意图，a是初步的肤色定位区域，b是对初步的定位区域进行开操作的结果；图9是肖像的与或图表示示本文档来自技高网...

【技术保护点】
一种基于特征提取的人物肖像漫画风格化生成方法，其特征在于包括以下步骤：步骤一、利用基于haar‑like特征的人脸检测算法寻找最靠近中心的人脸，初始化人脸设置，然后采用改进的主动形状模型算法对人脸特征点进行定位，提取人脸特征点；步骤二、提取人脸特征点后基于主成分分析的降维思想，对五官样本的特征点映射到低维空间中与五官模板进行匹配，取出匹配的风格化五官素材；步骤三、利用改进的主动形状模型进行人脸特征点定位获得脸型的线描图后，使用Hu矩轮廓匹配方法查找最接近的脸型模板；步骤四、然后利用颜色分割去除背景与肌肤区域，计算得到发型与服饰的轮廓，同样通过Hu矩轮廓匹配方法实现发型模板与服饰模板的快速匹配；步骤五、最后采用基于与或图表示的方法合成各匹配模板，并进行夸张化渲染，从而实现人物肖像的漫画风格化。

【技术特征摘要】
1.一种基于特征提取的人物肖像漫画风格化生成方法，其特征在于包括以下步骤：步骤一、利用基于haar-like特征的人脸检测算法寻找最靠近中心的人脸，初始化人脸设置，然后采用改进的主动形状模型算法对人脸特征点进行定位，提取人脸特征点；步骤二、提取人脸特征点后基于主成分分析的降维思想，对五官样本的特征点映射到低维空间中与五官模板进行匹配，取出匹配的风格化五官素材；步骤三、利用改进的主动形状模型进行人脸特征点定位获得脸型的线描图后，使用Hu矩轮廓匹配方法查找最接近的脸型模板；步骤四、然后利用颜色分割去除背景与肌肤区域，计算得到发型与服饰的轮廓，同样通过Hu矩轮廓匹配方法实现发型模板与服饰模板的快速匹配；步骤五、最后采用基于与或图表示的方法合成各匹配模板，并进行夸张化渲染，从而实现人物肖像的漫画风格化。2.根据权利要求1所述的基于特征提取的人物肖像漫画风格化生成方法，其特征在于：所述步骤二具体步骤如下：步骤2.1、根据人脸特征点的坐标位置信息获得五官的具体位置，并使五官分割成一个个矩形，将截取出来的五官图像初始化为大小统一的灰度图像；步骤2.2、对截取的五官图像采用基于主成分分析的思想进行降维处理，将单个五官图像映射到低维的数字空间；步骤2.3、在低维空间将降维后的PCA数据与五官素材库中的五官模板进行匹配，通过计算...

【专利技术属性】
技术研发人员：王萍，程浩，古佑良，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61