一种人脸特征点自动定位方法技术

本发明专利技术是一种快速的人脸特征点定位方法，对于一张任意输入的人脸正面或侧面（偏转角度在４５度以内）数字图像，本算法能快速有效地定位出面部的大量显著特征点的位置。并且本算法的框架可以扩展运用到其他物体的特征点定位上。本方法综合利用了人脸的形状和纹理信息，在训练过程中只需要一定数量手工标定特征点的人脸图像，然后分别建立可变的形状和纹理模型，对于任意输入的人脸图片，首先要通过人脸检测的方法来初始化模型的参数，然后采用实时ＡＡＭ和遗传算法来优化形状系数，最后再通过边缘检测以及肤色区间检测的方法来对部分特征点进一步微调就可达到准确的特征点定位的目的。

【技术实现步骤摘要】

本专利技术属机器视觉和图像处理
，具体涉及一种正面和侧面人脸图像中的特征点自动定位方法。
技术介绍
精确的、快速的人脸特征点定位在人脸识别、3D人脸图像的重建等方面有着非常广泛的运用。人脸特征点技术一般都与人脸检测技术相结合，从而缩小对特征点找寻的区域，成为一个实用的系统。在人脸检测方面，比较著名的是Paul Viola和Michael Jones于2001年提出的基于Adaboost的人脸检测算法，该方法是统计学习的一种改进，它通过组合大量简单分类器来达到人脸检测。由于其中的每个简单分类器使用了计算速度非常快的特征，因此从根本上解决的检测的速度问题。精确的、快速的人脸特征点定位在人脸识别、3D人脸图像的重建等方面有着非常广泛的运用。早期的特征点定位是基于人脸的几何特征和先验知识，如双眼的对称性、眼珠是黑色等，但这种方法的鲁棒性很差，对光照的影响敏感。1995年Cootes等人利用人脸特征点之间位置相关性很强的特点提出了著名的活动形状模型(ASM)，它是一个以统计方式对特征点组的坐标位置建立的可变形状模型，从而可搜索到人脸的整体形状，但因在纹理上只利用了特征点附近的灰度值，因此对初值和背景很敏感，为了克服其不足提出了很多改进的算法。比较著名的有贝叶斯形状模型方法，它结合整体形状模型和局部器官形状模型来优化一个联合后验概率分布函数；还有贝叶斯正切形状模型的方法，它则在形状模型的正切空间通过EM算法来计算最大后验概率估计。但它们不能根本上克服ASM方法固有的缺点。2001年Cootes等人在原ASM的基础上提出了形状和纹理结合的活动外表模型(AAM)，获得了比ASM更优的结果。但因考虑到形状和纹理的两部分可变形参数，它的计算复杂性大，容易陷入局部最小。文献采用了先ASM然后再AAM的搜索方法来提取特征点，分成两步之后也无法完全解决两种算法的不足。2004年Simon Baker等人提出了实时的活动外表模型算法(Realtime-AAM)，它在纹理基的补空间上先优化形状参数，然后直接计算纹理。改进的优化算法基本解决了AAM算法的速度问题，但仍然不能完全解决局部最小的问题，并且，由于优化是建立在与平均纹理误差的基础上，而人脸面颊部分的纹理比较平坦，传统的AAM算法和实时AAM算法在提取下巴上的特征点时都很容易陷入局部最小。本专利技术与上述方法相比，主要特点有(1)在实时AAM的代价函数中加入与图像的边缘有关的项，将得到的新的代价函数作为对下巴轮廓特征点做进一步搜索的目标，搜索算法采用遗传算法。(2)对不同角度的人脸分别建立模型，从而使人脸在一定角度范围内的图像都可以处理。(3)结合图像边缘和人脸肤色信息，对优化后的特征点进一步作精确的搜索，从而得到更优的结果。下面介绍与本专利技术相关的一些概念1、形状和纹理模型假设Ω是具有N幅人脸图片的训练集，可以表示为Ω={St,At}t=1N,]]>其中St表示第t个人脸上v个特征点坐标矢量St=(x1t,...,xv,ty1t,...,yvt),]]>St∈R2v，它是用手工获取的，通过主分量分析(PCA)的方法对形状建模可以得到，St=S0+Σi=1mpitSi---(1)]]>其中S0表示平均形状矢量，ξ＝为形状的PCA基。假设形状矢量St所围成的区域用Ut来表示，At是由区域Ut内的所有点变形到平均形状所围成的区域U0上所得到的纹理图像，变形的算法可以采用分段仿射变换等方法完成，同样对于纹理At有，At=A0+Σi=1nqitAi---(2)]]>A0是平均形状下的平均纹理图像，如图2所示；Ai是纹理的PCA的基，式(1)和(2)中的pit和qit分别是第t个人脸图像的形状和纹理系数，可以写成矢量pt＝(p1t，p2t，...，pmt)T∈Rm，qt＝(q1t，q2t，...，qnt)T∈Rn。在下面为了简化起见，我们把系数肩上的t省去。2、实时活动外表模型算法(Realtime-AAM)对于一张真实输入的照片I(x)，要最小化下列与形状和纹理系数p，q有关的目标函数使得它们重建出来的人脸图片与实际图片之间的误差最小，E=Σx∈U0{A0(x)+Σi=1nqiAi(x)-I(W(x|p))}2;---(3)]]>式(3)中括号内的前两项是纹理在参数q下的重建结果，同样给定形状参数矢量p后，通过式(1)可以重建出形状S，它所围成的区域为U，那么W(x|p)表示U0上的所有点分段仿射变换到U后的坐标。通过Project-Out的方法可以先在纹理基的正交补空间上迭代形状参数，因补空间的基和纹理基正交，此时，式(3)括弧中的第二项为零，这样代价函数可以简化成，E=Σx∈U0{A0(x)-I(W(x|p))}2Ai⊥;---(4)]]>这儿Ai⊥为纹理基的补空间，实时AAM算法的迭代步骤可以总结为①对于输入图像I和初始的形状参数p，计算变形到平均形状下的纹理I(W(x|p))；②计算差值图像I(W(x|p))-A0(x)，并乘上预先算好的参数 ③计算形状参数的增量Δp，满足Δp=H-1Σx∈U0T,]]>其中H=T;---(5)]]>④根据第r次迭代时的Wr(x|p)和Δp，采用文献中的Lucas-Kanade算法计算下一次迭代的Wt+1(x|p)，r＝r+1；⑤重复①直到满足收敛条件或者达到最大迭代次数。如果考虑形状的全局平移、旋转和缩放变化，可以在形状基中添加代表这些变化的正交基，然后用类似的方法优化得到对应的全局变化参数。3、线性判别分析(LDA)LDA算法是对不同类的高维样本(假设为d维，d＞＞1)的一种常用的有教师的线性降维方法，它寻找一个低维的线性子空间，以使得不同类的样本在该子空间上投影的类内样本分布更紧密、类间样本散布得更分散，以便于识别和分类。以人脸图像为例，具体做法如下首先我们将N个的两维人脸图像按照行序或者列序排列成列向量的形式xi∈Rd，i＝1，2，...N，这样一幅图像对应了高维空间中的一个样本。我们假设这些样本共分为c类，每类有Ni个样本，则有 构成LDA子空间的基WLDA=argmaxw|WTSbW||WTSwW|=w1w2···wm,]]>可由以下广义特征分解得到Sbwi＝λiSwwi参考文献.P.Viola，M.Jones.Robust real time object detection.8th IEEE InternationalConference on Computer Vision (ICCV)，2001，Vancouver，British Columbia. .Cootes T，Taylor C，Cooper D，et al.Active shape models-their training andapplication本文档来自技高网...

【技术保护点】
一种对数字图像中人脸特征点自动定位方法，包括离线训练和在线计算两个部分，其特征在于其中离线部分通过手工标注好特征点的训练图片来建立形状和纹理的统计模型；在线计算部分包括人脸自动检测、姿态识别、通过模型优化算法对基于活动模型的特征点定位以及基于边缘和肤色的校准处理几个步骤。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘成明，张立明，
申请(专利权)人：复旦大学，
类型：发明
国别省市：31[中国|上海]