一种结合局部和全局特征的无约束人脸验证方法技术

本发明专利技术提供一种结合局部和全局特征的无约束人脸验证方法，首先整理人脸样本库，每个人包含不同姿态、不同环境和不同时间的多张人脸照，提取人脸的68个特征点；然后根据人脸特征点提取人脸的局部特征和整体特征共5种特征，并将这5种特征映射到核空间；然后在训练集上使用这5种特征分别使用级联贝叶斯方法训练得到5组模型；在人脸验证阶段，首先提取输入图像的人脸特征，然后根据训练的模型分别计算5组特征对的相似度，最后以5组相似度的平均值作为最终相似度，从而判断两人是否为同一个人。本发明专利技术结合考虑了人脸的局部特征和整体特征，解决了室外无约束环境下的人脸验证问题。

An unconstrained face verification method combining local and global features

No verification method of constraint face the invention provides a combination of local and global features, firstly face database, each containing multiple face different attitude and different environment and different time, 68 feature extraction face; then according to the local features and the whole features of facial feature extraction face a total of 5 the characteristics, and the 5 features are mapped to kernel space; the 5 features are then used in the training set were used to cascade Bayesian method training 5 group model; in the first stage of face verification, facial feature extraction of the input image, then according to the training model to calculate the similarity of two features of 5 groups, and finally to the average the value of 5 groups of similarity as the final similarity, so as to judge whether the two person is the same person. The invention combines the local feature and the integral feature of the face, and solves the problem of face verification in the outdoor unconstrained environment.

【技术实现步骤摘要】
一种结合局部和全局特征的无约束人脸验证方法
本专利技术涉及计算机视觉领域，具体涉及一种结合局部和全局特征的无约束人脸验证方法。
技术介绍
人脸识别有两个方向：人脸验证和人脸身份识别，其中，人脸验证指判断两张脸是否为同一个人，人脸身份识别从一个人脸库中找到给定的这张人脸对应的身份。由于室外无约束环境下的人脸图片存在光照、姿态、年龄、装束等多种影响，使得室外无约束环境下的人脸验证难度非常大。近几年提出了很多方法来改善无约束环境下的人脸验证，这些方法大概可以分为两类：基于特征的方法和基于度量学习的方法。对于第一类方法，目标在于提取鲁棒的、有区分性的特征，希望不同人的人脸特征能尽可能的不同，经典的人脸特征描述算子包括SIFT、LBP、PEM和fisher人脸等。基于度量学习的方法则是通过带标记的样本数据学习出一种距离度量算法，在该算法框架下，相同的人脸距离更小而不同的人脸距离更大，经典的距离度量算法有LDML、CSML、PCCA和PMML等算法。目前，已有一些人脸验证方法被公开，比如：中国专利技术专利“基于类内类间距离的人脸验证方法201310589074.9”和“一种基于特征学习的跨年龄人脸验证方法201510270145.8”都是针对整张人脸提取全局特征，容易受到诸如被验证人戴帽子、眼镜以及表情等局部属性干扰。中国专利技术专利“一种基于多姿态识别的人脸验证方法及装置201410795404.4”需要采集至少两张人脸照片，当样本库里只有一张人脸照片时，该方法就失效了。中国专利技术专利“一种基于分块深度神经网络的非限制环境人脸验证方法201310664180.9”虽然将人脸划分为多个区域，并按块提取特征，但是其划分区域是随意划分的，没有考虑人脸的五官分布。
技术实现思路
本专利技术要解决的技术问题是提供一种结合局部和全局特征的无约束人脸验证方法，结合考虑了人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征这些局部特征和人脸的全局特征，通过级联贝叶斯模型为两张人脸的各部分特征相似度打分，最后取相似度均值，从而可以有效的规避局部装束等外在影响造成的识别效果不佳。为解决上述技术问题，本专利技术的实施例提供一种结合局部和全局特征的无约束人脸验证方法，包括以下步骤：步骤1，整理人脸训练样本集，样本集包含一万个人的人脸图片，每个人包含至少15张以上不同姿态、不同环境、不同时间的人脸照；步骤2，检测样本集图片中的人脸区域并提取68个特征点，然后进行人脸校准和归一化处理；步骤3，根据步骤2得到的68个特征点，提取人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征、以及人脸的全局特征；步骤4，将步骤3得到的5种特征分别使用RBF核函数投影到易区分的非线性空间；步骤5，将步骤4得到的5种特征分别使用级联贝叶斯算法训练，得到5组协方差矩阵A和G；步骤6，人脸验证阶段，针对输入的两张图片，使用步骤3中的方法得到两张人脸照的5种特征，并投影到非线性空间，得到两个人的5种特征，表示为和；步骤7，使用步骤5中得到的两个矩阵A和G，分别计算步骤6中的5对特征的相似度，计算公式为：；步骤8，计算步骤7中5对相似度的平均值，得到最终的相似度值，与阈值相比从而判断出两个人是否为同一个人。其中，所述步骤2中提取人脸上的68个特征点的具体步骤为：步骤2-1，针对输入图片，采用基于Adaboost的人脸检测算法检测照片中的人脸，如果未检测到人脸，返回，继续处理下一张图片，检测到人脸则转入步骤2-2；步骤2-2，将步骤2-1得到的人脸区域图片送入人脸特征点检测模块，得到人脸的68个特征点；步骤2-3，根据步骤2-2得到的人脸特征点，进行人脸校准；步骤2-4，人脸归一化处理，消除光照影响。其中，所述步骤3中提取人脸特征的具体步骤如下：步骤3-1，根据步骤2得到的68个特征点，任选一点作为基准点P，以基准点P为原点建立极坐标，以10°为间距，极坐标被划分为36个区域，依次求取其余67个特征点与基准点的连线同水平正方向形成的角度，得到以P为基准点的角度直方图；按照上述方法，选取眼、鼻、嘴三处6个点作为基准点，得到6组直方图，以该直方图作为人脸的五官轮廓特征；步骤3-2，根据步骤2得到的68个特征点，定位眼部区域，计算眼部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为眼部特征；步骤3-3，根据步骤2得到的68个特征点，定位嘴部区域，计算嘴部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为嘴部特征；步骤3-4，根据步骤2得到的68个特征点，定位鼻部区域，计算鼻部区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为鼻部特征；步骤3-5，根据步骤2得到的68个特征点，定位人脸的整体区域，计算人脸整体区域的密集LBP特征，进行WPCA变换消除冗余提取主特征，以该特征作为人脸的全局特征。其中，所述步骤5中级联贝叶斯算法训练的具体过程为：步骤5-1，根据步骤3得到的人脸的五官轮廓特征，计算不同人和相同人特征之间的协方差矩阵和；步骤5-2，根据步骤5-1计算得到的和，计算出和，其中，，；步骤5-3，根据步骤3得到的眼部特征、嘴部特征、鼻部特征和人脸的全局特征，重复步骤5-1和5-2，最终得到度量矩阵和。其中，所述步骤6包括如下具体步骤：步骤6-1，读取验证图片1和图片2，分别进行人脸检测，如果未检测到两张人脸，提示未检测到人脸，结束匹配，否则进入步骤6-2；步骤6-2，检测人脸1和人脸2的68个特征点，如果未检测到，提示匹配失败，结束匹配，否则进入步骤6-3；步骤6-3、根据步骤3所述方法，提取人脸1和人脸2的5种特征。本专利技术的上述技术方案的有益效果如下：本专利技术结合考虑了人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征这些局部特征和人脸的全局特征，通过级联贝叶斯模型为两张人脸的各部分特征相似度打分，最后取相似度均值，从而可以有效的规避局部装束等外在影响造成的识别效果不佳。附图说明图1为本专利技术中68个人脸特征点的分布示意图；图2为本专利技术的工作原理框图；图3为本专利技术步骤6至步骤8的流程图；图4为本专利技术实施例中人脸数据集的示意图；图5为人脸的68个特征点分布示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。如图1、图3所示，一种结合局部和全局特征的无约束人脸验证方法，包括以下步骤：步骤1，整理人脸训练样本集，样本集包含一万个的人脸照片，每个人包含至少15张以上不同姿态、不同环境、不同时间的人脸照；步骤2，检测样本集照片人脸并提取人脸上的68个特征点，如图1所示，并进行人脸校准和归一化处理；其中，提取人脸上的68个特征点的具体步骤为：步骤2-1，针对输入图片，采用基于Adaboost的人脸检测算法检测照片中的人脸，如果未检测到人脸，返回，继续处理下一张图片，检测到人脸则转入步骤2-2；步骤2-2，将步骤2-1得到的人脸区域图片送入人脸特征点检测模块，得到人脸的68个特征点；步骤2-3，根据步骤2-2得到的人脸特征点，进行人脸校准；步骤2-4，人脸归一化处理，消除光照影响。步骤3，根据步骤2得到的68个特征点，提取人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征、以及人脸的全局特本文档来自技高网...

【技术保护点】
一种结合局部和全局特征的无约束人脸验证方法，其特征在于，包括以下步骤：步骤1，整理人脸训练样本集，样本集为包含了一万个不同人的人脸图片库，每个人包含至少15张以上不同姿态、不同环境、不同时间的人脸照；步骤2，检测样本图片中的人脸区域，并提取人脸68个特征点，然后进行人脸校准和归一化处理；步骤3，根据步骤2得到的68个特征点，提取人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征、以及人脸的全局特征；步骤4，将步骤3得到的5种特征分别使用RBF核函数投影到易区分的非线性空间；步骤5，将步骤4得到的5种特征分别使用级联贝叶斯算法训练，得到5组协方差矩阵A和G；步骤6，人脸验证阶段，针对输入的两张人脸图片，使用步骤3中的方法分别提取图片中人脸的5种描述特征，并投影到非线性空间，得到两个人的5种特征，表示为

【技术特征摘要】
1.一种结合局部和全局特征的无约束人脸验证方法，其特征在于，包括以下步骤：步骤1，整理人脸训练样本集，样本集为包含了一万个不同人的人脸图片库，每个人包含至少15张以上不同姿态、不同环境、不同时间的人脸照；步骤2，检测样本图片中的人脸区域，并提取人脸68个特征点，然后进行人脸校准和归一化处理；步骤3，根据步骤2得到的68个特征点，提取人脸的五官轮廓特征、眼部特征、嘴部特征、鼻部特征、以及人脸的全局特征；步骤4，将步骤3得到的5种特征分别使用RBF核函数投影到易区分的非线性空间；步骤5，将步骤4得到的5种特征分别使用级联贝叶斯算法训练，得到5组协方差矩阵A和G；步骤6，人脸验证阶段，针对输入的两张人脸图片，使用步骤3中的方法分别提取图片中人脸的5种描述特征，并投影到非线性空间，得到两个人的5种特征，表示为和；步骤7，使用步骤5中得到的两个矩阵A和G，分别计算步骤6中的5对特征的相似度，计算公式为：；步骤8，计算步骤7中5对相似度的平均值，得到最终的相似度值，与阈值相比从而判断出两个人是否为同一个人。2.根据权利要求1所述的基于级联贝叶斯的无约束人脸验证方法，其特征在于，所述步骤2中提取人脸上的68个特征点的具体步骤为：步骤2-1，针对输入图片，采用基于Adaboost的人脸检测算法检测图片中的人脸，如果未检测到人脸，返回，继续处理下一张图片，检测到人脸则转入步骤2-2；步骤2-2，将步骤2-1得到的人脸区域图片送入人脸特征点检测模块，得到人脸的68个特征点；步骤2-3，根据步骤2-2得到的人脸特征点，进行人脸校准，消除姿态影响；步骤2-4，人脸归一化处理，消除光照影响。3.根据权利要求1所述的基于级联贝叶斯的无约束人脸验证方法，其特征在于，所述步骤3中提取人脸特征的具体步骤如下：步骤3-1，根据步骤2得到的68个特征点，任选一点作为基准点P，以基准点P为原点建立极坐标，以1...

【专利技术属性】
技术研发人员：胡彬，文万志，曲平，李牧，程显毅，杨赛，李跃华，陈晓勇，
申请(专利权)人：南通大学，南通先进通信技术研究院有限公司，
类型：发明
国别省市：江苏,32