一种基于级联回归的人脸关键点定位方法技术

本发明专利技术涉及一种基于级联回归的人脸关键点定位方法，其步骤包括：1）采集大量人脸图片数据，并标记初始关键点位置；2）通过对人脸图片数据进行训练，学习得到粗回归器，然后以粗回归器的输出作为输入，学习得到精回归器；3）给定待识别的人脸图片数据，通过粗回归器将人脸的初始形状回归到真实形状附近，然后以粗回归器的输出作为输入，通过精回归器得到人脸关键点的精确坐标。本发明专利技术提出的由粗到精的级联回归方法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大地提高了算法的速度和鲁棒性，在遮挡、光线差和侧脸等姿态下进行人脸关键点定位都取得了非常好的效果，能够有效提高了人脸关键点定位的精度和速度。

【技术实现步骤摘要】
一种基于级联回归的人脸关键点定位方法
本专利技术属于数字图像处理和人脸识别
，具体涉及一种基于级联回归的人脸关键点定位方法。
技术介绍
人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。关键点定位在人脸识别领域有着很重要的作用，比如人脸识别、跟踪、表情分析和3D建模都依赖于关键点定位的结果。传统的人脸关键点定位方法，是基于参数形状模型的方法，根据关键点附近的表观特征，学习出一个参数模型，在使用时迭代地优化关键点的位置，最后得到关键点坐标。上述的人脸关键点定位方法，都严重依赖于图片的拍摄质量，人脸姿态。在遮挡、光照和姿态变化较大时，都不能得到准确的结果。同时，由于目前移动端需求的迅速发展，上述方法也不能通过手机等移动端实现实时处理。
技术实现思路
现有的人脸关键点定位方法对姿态、遮挡、光线非常敏感，精度和速度比较差，在成像条件差、且计算资源受限的手机等移动端上很难做到实时处理。本专利技术提出了一种快速、精确的由粗到精级联回归方法，通过对大量样本进行学习以及多特征融合、多回归器融合，很好地解决了人脸识别中的关键点定位问题。本专利技术采用的技术方案如下：一种基于级联回归的人脸关键点定位方法，其步骤包括：1）采集大量人脸图片数据，并标记初始关键点位置（可通过人工标记）；2）通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；3）给定待检测的人脸图片和对应的人脸位置，通过所述粗回归器将人脸的初始形状回归到真实形状附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到人脸关键点的精确坐标。进一步地，所述粗回归器设计成线性回归器，在所有关键点处提取SURF特征。该回归器能够表示3D姿态和SURF特征之间的关系。进一步地，所述粗回归器包含多级级联的线性回归器，优选采用两级线性回归器，第一级的输出作为第二级的输入。通过这两级线性回归器构成的粗回归器，可以得到一个粗略的关键点位置和3D姿态。进一步地，所述精回归器以上面的粗回归器的输出作为输入，使用随机蕨级联回归器，以像素差值作为特征。通过精回归器，可以将粗回归器给出的粗略结果回归成一个精确的结果。进一步地，所述精回归器是一个两层结构，第一层，是一系列弱回归器{f1,f2,…,ft}的级联；第二层，是一系列随机蕨回归器的级联，构成一个弱回归器f。进一步地，所述人脸关键点包括眼睛、鼻子、嘴巴、脸部轮廓等位置，更具体的，如瞳孔，眼角，眉角，嘴角，唇沿等位置。本专利技术中提出了一种由粗到精的级联回归算法，设计了一个多回归器融合的级联回归器。该级联回归器分为两部分：①粗回归器，特点是速度快，能快速回归到正解的附近；②精回归器，特点是每次回归的量较小，但能够得到更为精准的结果。根据设计的回归器的特点，让不同的回归器完成不同的任务（线性回归器和级联随机蕨回归器），融合了多种特征（SURF和像素值差特征）。本专利技术提出的由粗到精的级联回归算法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大的提高了算法的速度和鲁棒性，在遮挡、光线差和侧脸等姿态下进行人脸关键点定位都取得了非常好的效果，能够有效提高了人脸关键点定位的精度和速度，明显优于现有的其他算法。附图说明图1是本专利技术的基于级联回归的人脸关键点定位方法的步骤流程图。图2是本专利技术的级联回归器示意图。图3是采用级联回归器将初始值回归到真实解的示意图。图4是采用采用本专利技术的方法进行人脸关键点定位的示意图。具体实施方式下面通过具体实施例和附图，对本专利技术做进一步说明。本专利技术的基于级联回归的人脸关键点定位方法，其步骤流程如图1所示，主要包括两部分内容，一是建立由粗回归器部分和精回归器部分组成的级联回归器，二是利用建立的级联回归器对人脸图像数据进行处理以识别关键点。1.建立由粗到精的级联回归器本专利技术的整体框架是一个级联回归器。我们的目标是学习一个回归函数f，使它能够从初始的样本空间映射到解空间，能够使得均方差最小。遇到高维空间和复杂的线性关系时，如果只是学习一个回归器来表达这种映射关系并不现实。于是，我们提出了使用级联的方法，通过级联多个弱回归器，将他们组成一个回归能力更强的强回归器。本专利技术采用的级联回归方法，将回归函数f划分成t个简单的回归函数的级联{f1,f2,…,ft}，每一级fk的输入都是它的前一级fk‐1的输出，如图2所示，通过把f1,f2,…,ft相结合，得到的回归函数能够近似出初始形状到真实形状的复杂的非线性映射关系。本专利技术的回归器遵循由粗到精的过程，级联回归器分为两个部分，粗回归器和精回归器。如果只是按照上面的方法，采用简单的用几种弱回归器进行级联，首先效果不理想，因为图片的拍摄条件千差万别，姿态各异，要回归的形状也都不尽相同，要得到完美的效果，对回归器的要求太高。其次，如果级联级数过多，速度也会非常慢，满足不了对速度的要求。本专利技术中创新地提出了使用不同类型的回归器相级联，使之各司其职，相互促进，扬长避短。因此，我们将级联的回归器分为两部分，第一部分为粗回归器，把初始值回归到真实解的附近，完成大的回归目标，但是不关心细节。这一部分，完成的粗糙回归目标，速度非常快，为第二部分生成输入。第二部分为精回归器，只需要在细节上进行调节，逐步向真实解缓慢逼近，整个过程如图3所示。两个部分，构成了一个由粗到精的级联回归器，在速度和效果上，都有非常大的提升。针对两部分的不同特性，本专利技术设计了不同的分类器和特征，可最大效率地完成回归目标。第一部分的目标是快速的得到粗糙解，我们采用SURF特征，学习出来一个线性回归器，这一部分回归器，能够迅速将初始值映射到正解附近。具体实施步骤如下：①在初始形状上每个关键点处提取初始的SURF特征，记作Φ0，真实回归目标记为ΔX*；②在训练过程中，由于真实形状X是已知，初始值X0是已知的，那么真实回归目标ΔX*即为已知，ΔX*=X‐X0。线性回归器可以表达为ΔX0=R0*Φ0+b0，目标就是让回归得到的估计量ΔX0和真实回归目标ΔX*无限接近。这里要求的参数就是R0和b0。可通过最小化下式求得：其中，di为第i个人脸图片，X0i为第i个人脸的初始形状，ΔX*i为第i个人脸的真实回顾目标，Φ0i为第i个人脸在初始形状X0i处的SURF特征向量，这便是我们熟悉的解最小二乘问题，可以容易的求出R0和b0。③根据得到的R0和b0，便可以得到估计的增量ΔX0=R0*Φ1+b0，X+ΔX0作为新的训练集，记为X1。根据新的训练集，提取新的SURF特征Φ1，有ΔX1=R1*Φ1+b1，同理，根据上述的方法，可以容易的求得R1和b1。以此类推，可以学习很多类似的线性回归器，在第一部分，我们学习两层线性回归器就够了，估计的解X2已经很接近真实解X了。第一部分得到粗糙解之后，作为第二部分的输入，剩下的精细的回归目标交给后面来做。第二部分，本专利技术采用了级联的随机蕨回归器，像素差值作为特征。我们将第一部分的输出作为这一部分的输入，这个值已经距离真实解很接近了，要做的只是在细节上的调整了，使它逐步逼近真实解。随机蕨回归器是5个特征和阈值的组合，将训练样本划分为25个空间。每一个空间对应一个输出ΔXbin，ΔXbin本文档来自技高网...

【技术保护点】
一种基于级联回归的人脸关键点定位方法，其步骤包括：1）采集大量人脸图片数据，并标记初始的关键点位置；2）通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；3）给定待识别的人脸图片和对应的人脸位置，通过所述粗回归器将人脸的初始形状回归到真实形状附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到人脸关键点的精确坐标。

【技术特征摘要】
1.一种基于级联回归的人脸关键点定位方法，其步骤包括：1)采集大量人脸图片数据，并标记初始的关键点位置；2)通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；所述粗回归器采用线性回归器，在所有关键点处提取SURF特征；所述粗回归器是一个级联的线性回归器，前一级的输出作为后一级的输入；使用SURF特征学习得到所述线性回归器，具体步骤包括：①在初始形状上每个关键点处提取初始的SURF特征，记作Φ0，真实回归目标记为ΔX*；②在训练过程中，由于关键点坐标X、初始值关键点坐标X0已知，那么关键点真实回归目标ΔX*即为已知，ΔX*＝X-X0；线性回归器表达为ΔX0＝R0*Φ0+b0，其中的参数R0和b0通过最小化下式求得：其中，di为第i个人脸图片，为第i个人脸的初始形状，为第i个人脸的真实回顾目标，为第i个人脸在初始形状处的SURF特征向量；③根据得到的R0和b0，得到估计的增量ΔX0＝R0*Φ1+b0，X+ΔX0作为新的训练集，记为X1；根据新的训练集，提取新的SURF特征Φ1，有ΔX1＝R1*Φ1+b1，同理，根据上述方法求得R1和b1；以此类推，得到多级线性回归器；3)给定待识别的人脸图片和对应的人脸位置，通过所述粗回归器将人脸的初始形状回归到真实形状附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到人脸关键点的精确坐标。2.如权利要求1所述的方法，其特征在于：所述粗回归器包含两级线性回归器。3.如权...

【专利技术属性】
技术研发人员：印奇，曹志敏，姜宇宁，何涛，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：