一种形状自适应分类的特征点检测方法技术

本发明专利技术提出了一种形状自适应分类的特征点检测方法。首先该发明专利技术使用了多视角模型，对不同的人脸姿态进行相应的处理，在基于级联回归的多视角模型训练和测试过程中，使用姿态分类算法对不同的人脸样本进行分类。其次，在测试过程中，根据级联回归算法的特性，采用了动态人脸姿态分类的方法，逐步提高分类的准确性，从而提高人脸特征点定位算法的精度。同时，为了进一步减少特征点定位的误差，本发明专利技术使用了多个多视角模型集成策略，在测试过程中，多个多视角模型同时用于预测特征点位置。试验证明，与传统方法比较，本发明专利技术对非限制环境下人脸表观变化有更好的鲁棒性。

A feature point detection method based on shape adaptive classification

A feature point detection method for shape adaptive classification is proposed in this invention. Firstly, the multi view model is applied to deal with different face poses. In the process of training and testing of multi view models based on cascaded regression, gesture classification algorithm is applied to classify different face samples. Secondly, in the process of testing, according to the characteristics of cascade regression algorithm, the dynamic face gesture classification method is adopted to improve the accuracy of classification gradually, so as to improve the accuracy of facial feature location algorithm. At the same time, in order to further reduce the error of feature point location, the present method uses multiple multi view model integration strategies, and in the process of testing, multiple view models are used to predict the location of feature points simultaneously. Compared with the traditional method, the experiment shows that the invention has better robustness to face apparent changes in the non restricted environment.

【技术实现步骤摘要】
一种形状自适应分类的特征点检测方法
本专利技术涉及形状自适应分类的人脸特征点检测方法，属于人脸识别领域。
技术介绍
人脸特征点定位技术是人类视觉系统的一个基础功能，它在人脸算法中扮演了重要的角色。不仅仅是因为他可以帮助我们加深对人类视觉系统的认知，同时它还具有巨大的商业潜力。在过去的十几年里，对于数字图像和视频中的人脸特征点定位方法有了极大的发展，尤其是在受控制的环境中。许多公开的和商业的人脸特征点定位算法已经获得很好的研究成果，并且广泛的使用在实际的应用方案中。例如视频监控，来访监控，信息取证，基于网络的社会关系网，人机交互，动画和3D建模。最近几年中，随着便携式摄像和视频设备的发展，人脸特征点定位算法的发展趋势开始转向非受控的环境中。为了能够使人脸特征点定位算法适应现有的图像拍摄环境，急需一种能够对非限制环境下人脸图片鲁棒的特征点定位算法。然而人脸特征点算法的发展面临极大的挑战。由于人脸表情的丰富变化，尤其是在非受控制的环境下，会出现大量不同的人脸姿势，表情，明暗度，和局部遮挡。以上这些情况对人脸特征点算法的精度都有着极大的影响。所以需要一种能够适用于多种环境，多表情，多姿态的人脸特征点算法，来提高现有算法的鲁棒性和效率。假设一个人脸形状包括Nfp个人脸特征点。当给出一个新的人脸图片后，算法非主要目标是预测出形状S，使得预测形状尽可能的接近真实形状等价于最小化以下公式：该算法误差公式通常被用于指导训练过程和评估最终的实验结果。但是在测试阶段，我们不能直接最小化该公式。因为在测试的时候真实形状是未知的。根据预测形状S所使用的方法，大多数的算法可以分为以下两种方法：基于最优化方法和基于回归的方法。基于优化的方法的好坏主要依赖于误差方程的好坏。该方法主要包含以下两种算法：AAM和ASM。这两种方法主要使用最小化纹理残余的途径来预测人脸特征点形状。由于该方法训练出来的模型受到表现力的限制，所以当图像中的人脸姿态发生较大的变化时，该算法的定位结果将不是很准确。基于回归的人脸特征点检测方法在最近得到了快速的发展。该算法模型主要包含两部分：特征抽取和回归器。首先在每个级联步骤中，从已经预测的形状周围抽取特征值。根据已学习到的回归矩阵，逐步更新现有形状的，使其一步步接近真实形状。经过几步运算之后，预测误差会收敛到一个绝对小的值。基于回归的方法之所以能够得到发展，是因为该方法具有很高的效率和精度。同时其中将弱回归器级联组成强回归器也是其成功的原因之一。和AAM和ASM方法相比，基于回归的方法具有更快的速度和精度。尽管在大多数情况下，基于回归的方法都相对较快，并且精确度也比较高。例如Cao提出的ESR方法，3000fps方法。可是特征点检测仍然面对许多挑战。例如人脸大姿态偏转，局部遮挡，明暗度的变化。由于当前多数照片的拍摄环境大多是不可控制的，当图片中的人脸产生左右偏转，或者是表情的变化，单一的模型不能很好的处理这些变化。所以需要使用不同的模型，来对应不同的人脸形态变化。这样，在不同的情况下使用不同的模型，不仅能够提升算法的效果，也不会影响算法的运算速度。综合上述理论基础，一种形状自适应分类的人脸特征点检测方法包含以下几个关键要素:PCA姿态分类，级联回归结构，级联回归分类，多模型结构搭建。但是由于在训练多模型的过程中需要大量的训练样本，所以在训练过程中会对原有的样本进行扩充处理，增加样本形状的多样性，使得多模型结构能对不同形状有更好的鲁棒性。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种形状自适应分类的人脸特征点检测方法，利用级联回归模型逐步更新特征点位置的特点，形状的分类会逐步更新，提高分类的效果，使得人脸形状分类结果更加准确。技术方案：为解决上述技术问题，本专利技术的一种形状自适应分类的人脸特征点检测方法，包括如下步骤：(a)从训练集中随机选取一定比例的图片，接着对这些图片进行镜像处理，接着对以上对图像再进行随机角度的左右旋转，最终获得扩展的人脸特征点库；(b)使用PCA人脸姿态分类方法，将获得的训练集分为三类，其中使用训练人脸形状的标准差分为三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类。接着使用级联回归模型的训练方法，得到多视角模型结构；(c)重复(a)和(b)两个步骤三次，获得多视角集成模型结构；(d)通过摄像头获取检测人员的人脸图像样本，并组成测试集；(e)对人脸图像样本中人脸位置进行定位，并标注出人脸位置；(f)使用初始预测模型，定位出人脸特征点的初步位置，其中初始预测模型在训练过程中预先训练获得；(g)对初始的人脸特征点形状使用PCA人脸姿态分类方法进行分类，其中分类方法如下：将初始人脸形状进行标准化处理，再使用标准化后的标准差组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类；(h)将分类后的人脸形状放入与之相对应多视角回归模型进行精准的人脸特征点预测；(i)分类后的人脸形状在第一个强回归器中获得新的人脸形状更新，对该新人脸形状进行再一次分类，即使用动态人脸姿态分类方法对人脸姿态形状进行新的形状分类。在每个强回归器完成预测后，使用PCA人脸姿态分类方法对新的人脸特征点形状进行分类。其中强回归器由多个弱回归器组成，其中弱回归器通过随机蕨获得，强回归器的个数通过不同人脸库的实验数据获得，优选强回归器个数为十个；(j)将上一步获得的人脸形状分类用于该步骤，将分类后的人脸姿态形状再放入与之对应的下一个强回归器进行进一步的预测计算，从而再次获得新的人脸形状更新；(k)重复第(i)和(j)步，直到所有的强回归器完成预测，所有的强回归器完成预测之后得到的是人脸特征点的精确坐标；(m)由于该专利技术在模型训练过程中使用的是多视角集成模型训练方法，所以在测试过程中需要使用多视角集成模型测试方法，即对多个测试结果求平均值，得到最终的预测结果。步骤k是其中一种人脸形状的预测过程。在预测之前我们就已经对初始人脸形状进行了分类，将分类好的人脸形状选择相对应的多视角模型，其中多视角模型由多个回归模型组成，每个不同的回归模型对应处理不同的人脸形状；m步骤相当于重复得到三次步骤k的结果，然后求平均值，得到更精确的预测值。作为优选，所述步骤(g)中，包括如下步骤：(g1)假设通过步骤f获得的初始人脸形状S包含N个特征点，(xi,yi)代表特征点在图像中的坐标，对初始人脸形状进行归一化处理，其中归一化方法如下：(g2)将归一化后的人脸特征点形状表示为将归一化后的结果进行零均值化，使其形状分布更加接近于正态分布；(g3)经过上述步骤处理之后，组成新的矩阵A＝[ΔS1,ΔS2,...,ΔSN-1,ΔSN]T，其中A为所有图像归一化的特征点组成；(g4)求出该矩阵A的标准差std，标准差组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类，经过试验发现，分为三类的效果最好，因为分为三类的情况下，人脸姿态分类准确。因为我们使用的PCA分类方法保留了最要的人脸形状信息，该信息控制了人脸左右角度偏转，所以我们在以后的计算中都是用三个的分类。作为优选，所述步骤(i)中，包括如下步骤：(i1)首先，在步骤b中获本文档来自技高网...

【技术保护点】
一种形状自适应分类的人脸特征点检测方法，其特征在于，包括如下步骤：(a)从训练集中随机选取一定比例的图片，对这些图片进行镜像处理，接着对以上对图像再进行随机角度的左右旋转，最终获得扩展的人脸特征点库；(b)使用PCA人脸姿态分类方法，将获得的训练集分为三类，其中使用训练人脸形状的标准差分为三个区间[‑∞,std]，[‑std,std]，[std,∞]，从而将人脸形状分为三类，接着使用级联回归模型的训练方法，得到多视角模型结构；(c)重复(a)和(b)两个步骤三次，获得多视角集成模型结构；(d)通过摄像头获取检测人员的人脸图像样本，并组成测试集；(e)对人脸图像样本中人脸位置进行定位，并标注出人脸位置；(f)使用初始预测模型，定位出人脸特征点的初步位置，其中初始预测模型在训练过程中预先训练获得；(g)对初始的人脸特征点形状使用PCA人脸姿态分类方法进行分类，其中分类方法如下：将初始人脸形状进行标准化处理，再使用标准化后的标准差std组成三个区间[‑∞,std]，[‑std,std]，[std,∞]，从而将人脸形状分为三类；(i)将步骤(g)分类后的人脸形状在第一个强回归器中获得新的人脸形状更新，对该新人脸形状进行再一次分类，即使用动态人脸姿态分类方法对人脸姿态形状进行新的形状分类，在每个强回归器完成预测后，使用PCA人脸姿态分类方法对新的人脸特征点形状进行分类，其中强回归器由多个弱回归器组成，弱回归器通过随机蕨获得；(j)将上一步获得的人脸形状分类用于该步骤，将分类后的人脸姿态形状再放入与之对应的下一个强回归器进行进一步的预测计算，从而再次获得新的人脸形状更新；(k)重复第(i)和(j)步，直到所有的强回归器完成预测，所有的强回归器完成预测之后得到的是人脸特征点的精确坐标；(m)对多个测试结果求平均值，得到最终的预测结果。...

【技术特征摘要】
1.一种形状自适应分类的人脸特征点检测方法，其特征在于，包括如下步骤：(a)从训练集中随机选取一定比例的图片，对这些图片进行镜像处理，接着对以上对图像再进行随机角度的左右旋转，最终获得扩展的人脸特征点库；(b)使用PCA人脸姿态分类方法，将获得的训练集分为三类，其中使用训练人脸形状的标准差分为三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类，接着使用级联回归模型的训练方法，得到多视角模型结构；(c)重复(a)和(b)两个步骤三次，获得多视角集成模型结构；(d)通过摄像头获取检测人员的人脸图像样本，并组成测试集；(e)对人脸图像样本中人脸位置进行定位，并标注出人脸位置；(f)使用初始预测模型，定位出人脸特征点的初步位置，其中初始预测模型在训练过程中预先训练获得；(g)对初始的人脸特征点形状使用PCA人脸姿态分类方法进行分类，其中分类方法如下：将初始人脸形状进行标准化处理，再使用标准化后的标准差std组成三个区间[-∞,std]，[-std,std]，[std,∞]，从而将人脸形状分为三类；(i)将步骤(g)分类后的人脸形状在第一个强回归器中获得新的人脸形状更新，对该新人脸形状进行再一次分类，即使用动态人脸姿态分类方法对人脸姿态形状进行新的形状分类，在每个强回归器完成预测后，使用PCA人脸姿态分类方法对新的人脸特征点形状进行分类，其中强回归器由多个弱回归器组成，弱回归器通过随机蕨获得；(j)将上一步获得的人脸形状分类用于该步骤，将分类后的人脸姿态形状再放入与之对应的下一个强回归器进行进一步的预测计算，从而再次获得新的人脸形状更新；(k)重复第(i)和(j)步，直到所有的强回归器完成预测，所有的强回归器完成预测之后得到的是人脸特征点的精确坐标；(m)对多个测试结果求平均值，得到最终的预测结果。2.如权利要求1所述的形状自适应分类的人脸特征点检测方法，其特征在于，所述步骤(g)中，包括如下步骤：(g1)假设通过步骤f获得的初始人脸形状(xi,yi)代表...

【专利技术属性】
技术研发人员：宋晓宁，王世昊，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32