一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法技术

本发明专利技术公开了一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，包括如下步骤：分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理；根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子；映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。本发明专利技术能有效提高单一尺度局部协方差描述子的表述能力，同时局部敏感黎曼核稀疏分类可有效地利用多尺度描述子的局部性。

A three-dimensional face recognition method based on multi scale covariance descriptor and local sensitive Riemann kernel sparse classification

The invention discloses a method of 3D face recognition based on multiscale covariance descriptor and local classification based on sparse sensitive Riemann kernel, which comprises the following steps: for the original G library set face model and P test set of face model automatically according to the steps of pretreatment; (1) automatically after pretreatment of face model in Library and a test set of face model establishment of scale space and neighborhood detection and multiscale key point extraction; local covariance descriptor for each key point of each scale neighborhood extraction of D * D dimension, and the description of the local covariance were constructing multiscale covariance descriptor multiscale fusion; mapping of local covariance descriptor to renewable Hilbert space Riemann, the local sensitive kernel sparse representation for classification of 3D face. The present method can effectively improve the expressive power of single scale local covariance descriptors, and locally sensitive Riemann kernel sparse classification can effectively utilize the locality of multi-scale descriptors.

【技术实现步骤摘要】
一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
本专利技术涉及数字图像处理和模式识别领域，尤其是一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法。
技术介绍
与二维图像不同，三维人脸扫描仪获取的三维人脸数据，能有效地包含人脸固有的空间几何信息。由于三维形状数据对光照、视图的变化鲁棒，并且不像二维数据其像素值易受化妆等影响，这些特点为个体身份的准确认定提供了客观依据。随着时代的演变，人体测量技术的发展以及计算能力的增强，极大地促进了人脸识别方法从纯粹以二维图像为基础的方法向使用人脸空间形状信息的三维人脸识别方法转移。近些年来，包含几何信息的三维人脸识别已经成为研究和应用的热点，尤其是人脸识别大挑战计划(FaceRecognitionGrandChallenge，FRGC)的实施，极大地推动了国内外对三维人脸识别的研究。但是人脸曲面随着年龄的增长、表情变化而发生变化，并且在实际应用中，复杂背景与传感器噪声等问题使得单一尺度的局部协方差描述子难以准确描述人脸的局部特征。通过连续变化的尺度参数获得不同尺度下的视觉处理信息，并整合相关信息，有利于深入地挖掘本质特征，故使用多个尺度融合下的人脸特征进行识别有利于提高人脸特征对尺度变化的鲁棒性。另一方面，将局部协方差描述子构成的空间映射到高维的可再生希尔伯特(Hilbert)空间，能解决协方差矩阵的稀疏表示问题。同时局部性比稀疏性更能从本质上反映空间特性。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，利用连续变化的尺度参数获得不同尺度下的局部协方差描述子，能有效提高单一尺度局部协方差描述子的表述能力，同时局部敏感黎曼核稀疏分类可有效地利用多尺度描述子的局部性。为解决上述技术问题，本专利技术提供一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，包括如下步骤：(1)分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理，用来改善三维数据的质量；(2)根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；(3)对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，d为所提取的特征向量的维数；(4)映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。优选的，步骤(1)中，分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理具体包括如下步骤：(11)对人脸中的一些小孔洞采用其临近三维点云坐标(x，y，z)的有效邻域通过双三次插值进行填补；(12)人脸切割，根据形状指数，特征和几何约束确定鼻尖点位置，点的形状指数描述符通过其最大曲率和最小曲率计算，表示为首先计算人脸点云中每一个点的形状指数，并选取形状指数在0.85-1.0范围内的点组成的连通区域作为初始的鼻尖点候选区域；其次计算人脸点云的质心位置，在鼻尖候选区域选择靠质心位置最近的一个连通区域作为鼻尖区域；选取鼻尖区域的质心作为鼻尖点；最后以鼻尖点为球心，90mm为半径做球，切割感兴趣的三维人脸区域；(13)姿势矫正，通过对切割后的人脸采用主成分分析(PrincipalComponentAnalysis，PCA)进行姿态矫正；以鼻尖点为坐标原点，最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立一个新的右手姿势坐标系统(PoseCoordinateSystem，PCS)；在新的坐标系统中，人脸区域有一个正面姿态，且每个点由唯一的x，y，z坐标表示；(14)平滑去噪，对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格。优选的，步骤(2)中，根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取，具体包括如下步骤：(21)通过最远点采样方法对原始人脸均匀采样m个关键点pi0(i＝1,…,m)，本专利技术中m＝37；(22)基于网格曲面的高斯平滑来建立尺度空间，并通过连续变化的尺度参数获得不同尺度下的网格处理信息，构建一个包含高斯平滑处理过程的输入网格尺度空间，如式(2)所示：其中M指原始三维人脸网格，表示近似的σs阶高斯滤波器，并且阶数σs＝2s/kσ0以指数形式变化，其中k和s是相应的平滑参数；三维人脸网格的高斯滤波器经过二项式滤波器卷积后，从每个网格顶点Vi移动到Vj表示Vi的一环邻域Ni中的点，得到新的三维人脸网格，依此类推；为了得到平滑曲面，利用离散卷积值逼近期望的指数增长速度，令表示平均边缘长度，s＝0,1,…,nscales+2，本专利技术选择前3个尺度的三维人脸数据和原始人脸数据用于后续处理，原始人脸尺度记为0，所提取的多尺度关键点为pis(i＝1,…,37；s＝0,…,3)；(23)对于每个尺度s，以关键点pis(i＝1,…,37)为中心，以测地距离r＝13为半径提取关键点邻域Pis(i＝1,…,37)，三维人脸表面用多尺度局部区域{Pis,i＝1,…,37；s＝0,…,3}来表示。优选的，步骤(3)中，对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，具体包括如下步骤：(31)对每个尺度s下的关键点邻域Pis(i＝1,…,37)中的点提取3个不同类型的特征Fd(d＝1,2,3)，mi为邻域Pis中点的个数：提取测地距离特征F1：F1表示邻域区域Pis中的点到中心点pi的测地距离，测地距离是连接三维人脸曲面上两个点之间的最短距离，是一类即使对形变人脸也具有高判别性的特征；提取梯度特征F2：点的梯度特征F2定义为其中ny和nz分别表示点法线在x和z轴方向上的值；提取幅度特征F3：的幅度为其中nx和ny分别表示点法线在x和y轴方向上的值，梯度特征和幅度特征可用来描述三维人脸曲面的几何法向上特定方向上的变化趋势；(32)构建每个尺度s下关键点邻域的协方差描述子Cis(i＝1,…,37)：根据步骤(31)，对于区域Pis内的每一个点mi为区域Pis中的点数，提取3维特征向量表示点的第1个测地距离特征F1s，以此类推；表示区域Pis中的所有点的3维特征向量的集合，用一个3×3的协方差矩阵Cis来表示一个给定的三维关键点邻域区域Pis，定义如下：μs为区域Pis的平均特征向量，协方差矩阵Cis是一个对称正定矩阵，它的对角元素表示的是每个特征的方差，非对角元素表示特征之间的相关性，区域Pis的协方差矩阵Cis具有与其大小无关的独立固定的3×3的维数；(33)局部协方差描述子的多尺度融合：其中，s为尺度个数，λs为权重系数，λs为各尺度下的Rank-1的识别率与所有尺度的Rank-1识别率的总和之比，Ci即为第i个关键点的多尺度协方差描述子。优选的，步骤(4)中，映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别具体包括如下步骤：(41)库集字典建本文档来自技高网...

【技术保护点】
一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，包括如下步骤：(1)分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理，用来改善三维数据的质量；(2)根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；(3)对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，d为所提取的特征向量的维数；(4)映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。

【技术特征摘要】
1.一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，包括如下步骤：(1)分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理，用来改善三维数据的质量；(2)根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取；(3)对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，d为所提取的特征向量的维数；(4)映射局部协方差描述子到可再生希尔伯特空间，提出局部敏感黎曼核稀疏表示对三维人脸进行分类识别。2.如权利要求1所述的基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，步骤(1)中，分别对原始的G个库集人脸模型和P个测试集人脸模型进行自动预处理具体包括如下步骤：(11)对人脸中的一些小孔洞采用其临近三维点云坐标(x，y，z)的有效邻域通过双三次插值进行填补；(12)人脸切割，根据形状指数，特征和几何约束确定鼻尖点位置，点的形状指数描述符通过其最大曲率和最小曲率计算，表示为首先计算人脸点云中每一个点的形状指数，并选取形状指数在0.85-1.0范围内的点组成的连通区域作为初始的鼻尖点候选区域；其次计算人脸点云的质心位置，在鼻尖候选区域选择靠质心位置最近的一个连通区域作为鼻尖区域；选取鼻尖区域的质心作为鼻尖点；最后以鼻尖点为球心，90mm为半径做球，切割感兴趣的三维人脸区域；(13)姿势矫正，通过对切割后的人脸采用主成分分析PCA进行姿态矫正；以鼻尖点为坐标原点，最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立一个新的右手姿势坐标系统PCS；在新的坐标系统中，人脸区域有一个正面姿态，且每个点由唯一的x，y，z坐标表示；(14)平滑去噪，对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格。3.如权利要求1所述的基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，步骤(2)中，根据步骤(1)自动预处理之后的库集人脸模型和测试集人脸模型建立尺度空间并进行多尺度关键点检测及其邻域提取，具体包括如下步骤：(21)通过最远点采样方法对原始人脸均匀采样m个关键点pi0(i＝1,…,m)，本发明中m＝37；(22)基于网格曲面的高斯平滑来建立尺度空间，并通过连续变化的尺度参数获得不同尺度下的网格处理信息，构建一个包含高斯平滑处理过程的输入网格尺度空间，如式(2)所示：其中M指原始三维人脸网格，表示近似的σs阶高斯滤波器，并且阶数σs＝2s/kσ0以指数形式变化，其中k和s是相应的平滑参数；三维人脸网格的高斯滤波器经过二项式滤波器卷积后，从每个网格顶点Vi移动到Vj表示Vi的一环邻域Ni中的点，得到新的三维人脸网格，依此类推；为了得到平滑曲面，利用离散卷积值逼近期望的指数增长速度，令表示平均边缘长度，s＝0,1,…,nscales+2，本发明选择前3个尺度的三维人脸数据和原始人脸数据用于后续处理，原始人脸尺度记为0，所提取的多尺度关键点为pis(i＝1,…,37；s＝0,…,3)；(23)对于每个尺度s，以关键点pis(i＝1,…,37)为中心，以测地距离r＝13为半径提取关键点邻域Pis(i＝1,…,37)，三维人脸表面用多尺度局部区域{Pis,i＝1,…,37；s＝0,…,3}来表示。4.如权利要求1所述的基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法，其特征在于，步骤(3)中，对每个尺度下的每个关键点邻域提取d×d维的局部协方差描述子，并对这些局部协方差描述子进行多尺度融合构建多尺度协方差描述子，具体包括如下步骤：(31)对每个尺度s下的关键点邻域Pis(i＝1,…,37)中的点提取3个不同类型的特征Fd(d＝1,2,3)，mi为邻域Pis中点的个数：提取测地距离特征F1：F1表示邻域区域Pis中的点到中心点pi的测地距离，测地距离是连接三维人脸曲面上两个点之间的最短距离，是一类即使对形变人脸也具有高判别性的特征；提取梯度特征F2...

【专利技术属性】
技术研发人员：达飞鹏，邓星，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32