一种用于人脸关键点检测的主动形状模型参数化方法技术

本发明专利技术提供一种用于人脸关键点检测的主动形状模型参数化方法，该方法使用主动形状模型参数对人脸关键点位置进行编码，使得可在新的空间中预测人脸关键点的位置，对人脸关键点位置的求解从而变得紧凑；以级联回归方法、并利用局部特征来更新主动形状模型参数，不仅提高了运算效率和检测精度，还增强了模型的稳健性。本发明专利技术具备检测速度快、匹配精度高、稳健性强等优点，同时有效解决了主动形状模型等参数化方法存在的运算效率低下问题和级联回归等非参数化方法存在的过拟合问题，具备具有较高的实际应用价值。

【技术实现步骤摘要】
一种用于人脸关键点检测的主动形状模型参数化方法
本专利技术涉及计算机视觉领域，更具体地，涉及一种用于人脸关键点检测的主动形状模型参数化方法。
技术介绍
人脸关键点是指具有区别作用的或可充当脸部锚点的突出特征，如眼角、嘴角和鼻尖等。人脸关键点检测在人脸识别、三维人脸重建、表情分析、视线估计等人脸相关问题中起到重要作用，是这一系列研究的前提和关键步骤。人脸关键点检测方法可以分为整体方法，局部约束方法和基于回归的方法这三种。以主动外观模型为例的整体方法主要通过整体面部外观和全局面部形状来检测人脸关键点。局部约束方法则根据全局面部形状模式和各关键点周围独立的局部外观信息来估计人脸关键点的位置。而基于回归的方法则没有显式地建立人脸模型、而是直接学习从图像外观到人脸关键点位置的映射。基于回归的方法可分为直接回归法、级联回归法和基于深度学习的回归方法。直接回归法无需初始化，只在一次迭代中就推断出人脸关键点位置；级联回归法则需要初始化人脸关键点的位置，然后在每一次的迭代中学习回归模型，以将关键点周围的局部判别特征迭代映射到关键点的真值位置上；基于深度学习的回归方法主要是在遵循直接回归法或级联回归法的框架上使用了深度学习方法。若按照参数化与否来划分，则人脸关键点检测方法可分为参数化方法和非参数化方法。如主动形状模型、主动外观模型、局部约束方法等为参数化方法，级联回归、深度学习等方法属于非参数化方法。主动形状模型属于人脸关键点检测方法中的参数化方法，该法将人脸关键点参数化为人脸模型，并使用主成分分析法对模型进行降维和约束形状变化；然后根据检测到的局部特征来调整参数以匹配给定的人脸图像的关键点位置。主动形状模型简单易懂、框架清晰明了，便于应用。已有的一些研究为提高主动形状模型的泛化能力，对其特征表示进行了改进，如改用局部二值模式(LocalBinaryPattern，LBP)特征、增强的小波特征或互信息特征等。但主动形状模型中近似于穷举搜索的关键点定位方式在一定程度上限制了其运算效率。为此，一些研究工作使用回归方法来学习局部邻域外观与实际关键点位置之间的关系，以代替原先的局部特征检测方法，如Seise等人在“Learningactiveshapemodelsforbifurcatingcontours”中使用相关向量机(RelevanceVectorMachines,RVM)回归模型来更新人脸关键点位置。Wimmer等人在“Learningrobustobjectivefunctionsformodelfittinginimageunderstandingapplications”训练模型树，以使其从局部的harr小波特征回归到可于真实关键点位置达到峰值的目标函数。作为非参数方法，级联回归方法旨在于每次迭代中学习回归模型，以将关键点周围的局部判别特征映射到关键点的真值位置。已有研究对级联回归的改进主要集中在局部特征的选取和每次迭代时所使用的回归模型。如Xiong等于“Superviseddescentmethodanditsapplicationstofacealignment”介绍的监督下降方法(SupervisedDescentMethod,SDM)和Ren等于“Facealignmentat3000fpsviaregressinglocalbinaryfeatures”介绍的局部二值模式特征回归方法(RegressingLocalBinaryFeatures,LBF)均在每次迭代时使用线性回归模型；其中监督下降方法直接使用与人脸形状相关的SIFT特征作为输入特征，局部二值模式特征回归方法则使用由随机森林回归模型学习得到的邻域稀疏二值化特征。而在“Robustdiscriminativeresponsemapfittingwithconstrainedlocalmodels”一文中，Asthana等人提出的判别响应图匹配方法(DiscriminativeResponseMapFitting,DRMF)使用了方向梯度直方图(HistogramofOrientedGradient,HOG)特征和支持向量回归模型(SupportVectorRegression,SVR)。近年来，基于级联回归框架的深度学习方法在人脸关键点检测领域中取得极大的发展。如Zhou等人在“Extensivefaciallandmarklocalizationwithcoarse-to-fineconvolutionalnetworkcascade”中结合了从粗到细(corse-to-fine)的级联框架和几何优化，提出深度卷积神经网络(DeepConvolutionalNeuralNetworks,DCNN)以检测68个人脸关键点。Zhang等人在“Coarse-to-fineauto-encodernetworks(cfan)forreal-timefacealignment”中提出从粗到细的自动编码器网络(DeepConvolutionalNeuralNetworks,CFAN)，由四个栈式自编码网络(StackedAuto-encoderNetworks，SANs)完成级联过程，使每个SAN根据前一个SAN的形状估计，在不同尺度图像下，学习人脸图像到人脸形状的映射。在“Decafa:deepconvolutionalcascadeforfacealignmentinthewild”文章中，Dapogny等人引入端到端的深度卷积级联结构，并将关键点的注意力图和中间监督合并到该结构中以进行人脸关键点检测。作为非参数化方法，基于回归的方法比主动形状模型等参数化方法更灵活，但参数化方法的计算资源消耗一般较小、而非参数化方法的计算资源消耗会随着样本数量的增加而增加。另外，对于基于深度学习的回归方法，其人脸关键点的检测性能高度依赖于训练样本的规模，且更有可能使数据过拟合。申请号为201910986156.4的专利说明书中公开了一种基于深度学习的人脸关键点检测方法和检测系统，本申请构建基于MobileNetV1架构的人脸关键点检测网络；人脸关键点检测网络的输入为人脸图像，输出为人脸关键点坐标；将Kaggle上的FacialKey-pointsDetection的人脸数据集作为样本图像，对构建的人脸关键点检测网络进行训练；采集待检测人脸的图像；对采集到的待检测图像采用OpenCV的级联分类器获取人脸区域；将获取到的人脸区域输入到训练好的人脸关键点检测网络中，得到左眼和鼻尖坐标；计算待检测图像中人脸右眼及左右嘴角的坐标，并进行关键点标注。然而，该专利无法实现在新的空间中预测人脸关键点的位置，从而使得对人脸关键点位置的求解变得紧凑、提高了运算效率。
技术实现思路
本专利技术提供一种用于人脸关键点检测的主动形状模型参数化方法，该方法可在新的空间中预测人脸关键点的位置，从而使得对人脸关键点位置的求解变得紧凑、提高了运算效率。为了达到上述技术效果，本专利技术的技术方案如下：一种用于人脸关键点检测的主动形状模型参数化方法，包括以下步骤：S1：利用人脸关键点本文档来自技高网...

【技术保护点】
1.一种用于人脸关键点检测的主动形状模型参数化方法，其特征在于，包括以下步骤：/nS1：利用人脸关键点数据集的样本数据初始化主动形状模型参数；/nS2：使用级联回归方法来更新主动形状模型参数，直至迭代次数达到最大取值；/nS3：对步骤S2中主动形状模型参数的最终结果进行解码，得到对应的人脸关键点位置。/n

【技术特征摘要】
1.一种用于人脸关键点检测的主动形状模型参数化方法，其特征在于，包括以下步骤：
S1：利用人脸关键点数据集的样本数据初始化主动形状模型参数；
S2：使用级联回归方法来更新主动形状模型参数，直至迭代次数达到最大取值；
S3：对步骤S2中主动形状模型参数的最终结果进行解码，得到对应的人脸关键点位置。


2.根据权利要求1所述的用于人脸关键点检测的主动形状模型参数化方法，其特征在于，所述步骤S1的具体过程是：
S11：以人脸关键点数据集中第一张人脸的姿态为准，再依次读取数据集中各人脸中有关姿态的参数、并对齐第一张人脸，消除数据集中人脸姿态的影响；
S12：对步骤S11中统一对齐后的各人脸图像使用主成分分析法，返回人脸图像平均脸以及保留的特征值λ和特征向量Λ，特征值λ的维度由主成分分析法中所保留的能量比例来决定；
S13：将形状参数d初始化为零向量，并根据步骤S12所得的平均脸和特征向量Λ，初始化人脸关键点位置x0作为当前的人脸关键点估计值xtemp；
S14：根据人脸关键点数据集中的关键点真值x*和当前的人脸关键点估计值xtemp，求得姿态参数{θ,s,tx,ty}，其中θ表示旋转角度，s是缩放比例，tx,ty分别是水平方向和垂直方向的平移量；
S15：由人脸关键点数据集的关键点真值x*、平均脸和特征向量Λ，以及步骤S13中得到的姿态参数{θ,s,tx,ty}，计算得到形状参数d；
S16：由步骤S13中得到的姿态参数{θ,s,tx,ty}和步骤S15中得到的形状参数d组成所述人脸关键点数据集中对应人脸的主动形状模型参数p：
p＝{θ,s,tx,ty,d}
S17：根据步骤S16所得的主动形状模型参数p和步骤S12所得的平均脸特征向量Λ，重新估计当前的人脸关键点位置xtemp，并计算其与对应的人脸关键点真值x*的误差GTE：



式中的e为对应人脸图像的瞳孔距离；
S18：重复步骤S14-S17，直至当前的人脸关键点估计位置xtemp与人脸关键点真值x*的误差GTE小于误差阈值GTEtresh为止，此时的主动形状模型参数即为该人脸图像对应的主动形状模型参数p*；
S19：对所述人脸关键点数据集中所有人脸图像对应的主动形状模型参数p*求取平均值，即为主动形状模型参数的初始值p0。


3.根据权利要求2所述的用于人脸关键点检测的主动形状模型参数化方法，其特征在于，步骤S12中，，返回人脸图像平均脸具体是：返回人脸图像关键点数据集中136维向量的平均脸


4.根据权利要求3所述的用于人脸关键点检测的主动形状模型参数化方法，其特征在于，步骤S12中，保留的能量比例为95％，对应的特征值λ是一个7...

【专利技术属性】
技术研发人员：苟超，卓莹，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44