基于法向量分布直方图和协方差描述子的人脸识别方法技术

本发明专利技术公开了一种基于法向量分布直方图和协方差描述子的人脸识别方法，包括：对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；构造多尺度空间；利用多尺度形状变化指数进行关键点检测；构造三维法向量分布直方图，先对关键点的三维坐标进行编码，再构造法向量分布直方图；进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选，构造协方差矩阵描述子；进行协方差矩阵描述子匹配。本发明专利技术利用人脸的几何特征和局部描述子进行三维人脸识别，减少表情变化对三维人脸识别的影响，提高表情变化条件下三维人脸识别的准确率和效率。

Face Recognition Based on Normal Vector Distribution Histogram and Covariance Descriptor

The invention discloses a face recognition method based on normal vector distribution histogram and covariance descriptor, which includes: preprocessing three-dimensional face, removing outliers, filling holes, face cutting and attitude correction; constructing multi-scale space; detecting key points using multi-scale shape change index; constructing three-dimensional normal vector distribution histogram, first three key points. Dimensional coordinates are coded, then normal vector distribution histogram is constructed; three-dimensional normal vector distribution histogram descriptor matching is carried out; face of database set is filtered, and covariance matrix descriptor is constructed; covariance matrix descriptor matching is carried out. The method utilizes the geometric features and local descriptors of the face to carry out three-dimensional face recognition, reduces the influence of expression changes on three-dimensional face recognition, and improves the accuracy and efficiency of three-dimensional face recognition under the condition of expression changes.

【技术实现步骤摘要】
基于法向量分布直方图和协方差描述子的人脸识别方法
本专利技术属于计算机视觉
，涉及三维识别技术，更为具体的说，是涉及一种基于三维法向量分布直方图和协方差矩阵描述子的三维人脸识别方法。
技术介绍
在科技高速发展的今天，人们越来越重视私人信息安全问题，如何准确并可靠地进行身份认证受到人们的高度关注。人脸识别技术(facerecognitiontechnology,FRT)综合了不同特征识别技术，有着较高的实用性和可靠性，已成为鉴别个体身份的一个有效手段。人脸识别技术主要分为二维人脸识别及三维人脸识别两大类。二十一世纪以前，多数研究主要集中在二维人脸识别技术上，目前已经取得了比较好的识别效果，然而，由于二维图像容易受姿态、光照、表情以及化妆等因素的影响，二维人脸识别技术的进一步发展受到了较大限制。近年来，随着三维采集设备和技术的不断发展，三维人脸识别技术得到了飞速发展，已经成为国内外研究的热点。三维人脸数据是真实人脸在三维空间中的直接表示形式，与二维人脸图像相比，可以更加全面地表示人脸的形状以及拓扑结构等信息，且不受光照及化妆的影响。除此之外，不同姿态下的三维人脸可以通过平移、旋转等操作转化为统一姿态，因此受姿态变化影响较小。然而，三维人脸识别技术也面临着一些难点和挑战。其中，表情变化问题是三维人脸识别技术面临的一个重大挑战。对于三维人脸，不同类型的表情会导致同一对象类内差异变大。识别过程中若不考虑表情变化，可能会使同一对象不同表情的相似度低于不同对象同一表情的相似度，影响人脸识别效果。此外，表情变化会改变人脸的局部形状，增大三维人脸的类内差异，使得基于三维人脸几何信息的识别算法性能下降。因此，在表情变化条件下研究如何提升三维人脸识别效果具有非常重要的理论和实际意义，而现有技术尚存在种种不足，无法取得令人满意的效果。
技术实现思路
为解决上述问题，本专利技术公开了一种基于法向量分布直方图和协方差描述子的人脸识别方法，利用人脸的几何特征和局部描述子进行三维人脸识别，减少表情变化对三维人脸识别的影响，提高表情变化条件下三维人脸识别的准确率和效率。本专利技术基于关键点检测和局部描述子构造，能选取人脸较为稳定且具有代表性的特征用于匹配；提出的两步匹配也能通过筛选候选库集节约识别时间，从而实现表情变化下准确快速的三维人脸识别。首先，在三维人脸上构造不同的尺度空间，并利用形状变化指数检测出关键点；其次，为了提高识别算法的效率，提出一种基于关键点的两步匹配方法：第一步，在关键点上提取三维法向量分布直方图(3Dhistogramsofnormaldistributions,3DHoPD)描述子，将测试集人脸与库集人脸上的描述子进行匹配，并除去匹配程度较低的一部分库集人脸，从而减少后续匹配的候选库集人脸数；第二步，在关键点上提取协方差矩阵描述子，再将测试集人脸与剩余的库集人脸在给定的约束条件下进行协方差矩阵描述子匹配；最后，用成功匹配的关键点个数衡量人脸的匹配程度，与测试集人脸匹配程度最高的一张库集人脸即为识别结果。为了达到上述目的，本专利技术提供如下技术方案：基于法向量分布直方图和协方差描述子的人脸识别方法，包括以下步骤：步骤1:对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；步骤2:构造多尺度空间利用高斯滤波，构造出三维人脸的不同尺度空间：其中M是由原始人脸生成的三维网格，是尺度为σs的高斯滤波，σs定义如下：其中是三维网格的平均边长，s,k和σ0是算法中的参数；步骤3:利用多尺度形状变化指数进行关键点检测对在不同尺度的每一张人脸，首先在XOY平面上进行均匀采样，得到一组采样点；再将采样点p以及与p距离在r以内的邻域点视为一个点集Ps；最后对点集进行霍特林变换，将点集转化成局部对齐的点集此时形状变化指数由下式计算得出：反映了点p所处的局部表面的几何变化情况；在人脸的四个尺度空间中分别进行关键点检测：将形状变化指数大于设定阈值ε的采样点定义为关键点，并将不同尺度空间中的关键点检测结果的并集定义为最终的关键点；步骤4:进行构造三维法向量分布直方图的第一步，对关键点的三维坐标进行编码通过计算关键点p的邻域点集的修正协方差矩阵构造一个局部参考系，再将p转化到此参考系中，得到新的三维坐标，修正协方差矩阵C计算公式如下：其中dm＝||pm-p||2，pm是p的邻域点，r是划分邻域点的半径；局部参考系通过计算C的特征向量获得：对C进行特征值分解得到特征值λ1,λ2以及λ3以及对应的特征向量e1,e2和e3，将e1,e2和e1×e2分别作为局部坐标系的x轴、y轴和z轴；根据构造的局部参考坐标系，点p被转化到新的三维空间中成为prf：[prf]3×1＝[RF]3×3[p]3×1；步骤5:进行构造三维法向量分布直方图的第二步，构造法向量分布直方图首先计算出所有点的法向量，并以指定半径获得关键点p的邻域点集Ps；再将点集中的所有点对应的法向量在x轴上坐标的最小值与最大值作为直方图的范围，并划分成K个相等的间隔，通过计算点集中点的x轴坐标值在各个间隔的分布得到K维的法向量分布直方图；分别对点集中的点对应的法向量在y轴和z轴上进行同样的操作，最后得到的三个法向量分布直方图连接即得到3K维的直方图；步骤6:进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选通过计算法向量分布直方图之间的卡方距离得到测试人脸上每一个关键点在库集人脸上的候选匹配点；再计算关键点与候选匹配点在新的三维空间下的欧氏距离，如果距离小于设定的阈值Td即认定为成功匹配；最后用成功匹配的关键点对个数衡量两张人脸的相似度并用于对库集人脸的筛选；步骤7：构造协方差矩阵描述子协方差矩阵描述子能够融合不同类型的特征对局部表面进行描述，选择曲率、形状指数、Willmoreenergy、法向量夹角、局部平面距离以及欧氏距离6个特征进行构造：曲率衡量了点p的局部表面的偏离程度，计算公式为：其中kmax(p)和kmin(p)分别是p的最大主曲率和最小主曲率；形状指数描述了人脸的局部信息，计算公式为：Willmoreenergy衡量了局部表面偏离球体的程度，计算公式为：法向量夹角计算公式为：其中为点p处的法向量，为点p邻域点处的法向量。局部平面距离反映了局部表面的凹凸程度，计算公式为：其中是由p指向p的邻域点集的重心的向量。p到鼻尖点的欧氏距离被定义为另一个特征D(p)；以指定半径获取点p的邻域点，计算点p与所有邻域点的各类特征，得到特征向量如下：其中是关键点pi生成点集中第j个点。协方差矩阵描述子Xi计算公式如下：其中N是邻域点的个数，Xi的对角线上的元素表示每个特征向量的方差，非对角线上的元素代表了不同元素之间的相关性；步骤8:进行协方差矩阵描述子匹配不同协方差矩阵通过计算在黎曼空间中的距离来匹配，通过计算对数行列式距离进行协方差矩阵的匹配：假设是所有d×d对称正定矩阵形成的空间，X和Y是空间M中的两个协方差矩阵，则这两个矩阵的距离可用以下的公式进行计算：采用最近邻距离比法对协方差矩阵进行匹配，假设和分别是测试人脸和库集人脸的协方差矩阵描述子集，针对测试人脸中的一个协方差矩阵首先计算库集人脸所有的协方差矩阵与此矩阵的对数行列式距离，得到与距离最近的协方差矩阵和第二近的矩阵再本文档来自技高网...

【技术保护点】
1.基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，包括以下步骤：步骤1:对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；步骤2:构造多尺度空间利用高斯滤波，构造出三维人脸的不同尺度空间：

【技术特征摘要】
1.基于法向量分布直方图和协方差描述子的人脸识别方法，其特征在于，包括以下步骤：步骤1:对三维人脸进行预处理，去除离群点、填补孔洞、人脸切割以及姿态矫正；步骤2:构造多尺度空间利用高斯滤波，构造出三维人脸的不同尺度空间：其中M是由原始人脸生成的三维网格，是尺度为σs的高斯滤波，σs定义如下：其中是三维网格的平均边长，s,k和σ0是算法中的参数；步骤3:利用多尺度形状变化指数进行关键点检测对在不同尺度的每一张人脸，首先在XOY平面上进行均匀采样，得到一组采样点；再将采样点p以及与p距离在r以内的邻域点视为一个点集Ps；最后对点集进行霍特林变换，将点集转化成局部对齐的点集此时形状变化指数θ由下式计算得出：θ反映了点p所处的局部表面的几何变化情况；在人脸的四个尺度空间中分别进行关键点检测：将形状变化指数大于设定阈值ε的采样点定义为关键点，并将不同尺度空间中的关键点检测结果的并集定义为最终的关键点；步骤4:进行构造三维法向量分布直方图的第一步，对关键点的三维坐标进行编码通过计算关键点p的邻域点集的修正协方差矩阵构造一个局部参考系，再将p转化到此参考系中，得到新的三维坐标，修正协方差矩阵C计算公式如下：其中dm＝||pm-p||2，pm是p的邻域点，r是划分邻域点的半径；局部参考系通过计算C的特征向量获得：对C进行特征值分解得到特征值λ1,λ2以及λ3以及对应的特征向量e1,e2和e3，将e1,e2和e1×e2分别作为局部坐标系的x轴、y轴和z轴；根据构造的局部参考坐标系，点p被转化到新的三维空间中成为prf：[prf]3×1＝[RF]3×3[p]3×1；步骤5:进行构造三维法向量分布直方图的第二步，构造法向量分布直方图首先计算出所有点的法向量，并以指定半径获得关键点p的邻域点集Ps；再将点集中的所有点对应的法向量在x轴上坐标的最小值与最大值作为直方图的范围，并划分成K个相等的间隔，通过计算点集中点的x轴坐标值在各个间隔的分布得到K维的法向量分布直方图；分别对点集中的点对应的法向量在y轴和z轴上进行同样的操作，最后得到的三个法向量分布直方图连接即得到3K维的直方图；步骤6:进行三维法向量分布直方图描述子匹配，对库集人脸进行筛选通过计算法向量分布直方图之间的卡方距离得到测试人脸上每一个关键点在库集人脸上的候选匹配点；再计算关键点与候选匹配点在新的三维空间下的欧氏距离，如果距离小于设定的阈值Td即认定为成功匹配；最后用成功匹配的关键点对个数衡量两张人脸的相似度并用于对库集人脸的筛选；步骤7：构造协方差矩阵描述子协方差矩阵描述子能够融合不同类型的特征对局部表面进行描述，选择曲率、形状指数、Willmoreenergy、法向量夹角、局部平面距离以及欧氏距离6个特征进行构造：曲率衡量了点p的局部表面的偏离程度，计算公式为：其中kmax(p)和kmin(p)分别是p的最大主曲率和最小主曲率；形状指数描述了人脸的局部信息，计算公式为：Willmoreenergy衡量了局部表面偏离球体的程度，计算公式为：法向量夹角计算公式为：其中为点p处的法向量，为点p邻域点处的法向量。局部平面距离反映了局部表面的凹凸程度，计算公式为：其中是由p指向p的邻域点集的重心的向量。...

【专利技术属性】
技术研发人员：达飞鹏，郭蓓，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32