一种基于曲面调和形状图像深度表示的三维人脸识别方法技术

一种基于曲面调和形状图像深度表示的三维人脸识别方法，对给定的三维人脸曲面进行预处理后映射到二维平面圆盘上；对于三维人脸中的每一个顶点，计算各个顶点处的曲率以及法向量，分别得到了六种调和形状参数；将每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像，输入到深度卷积神经网络中，利用已经训练好的深度卷积神经网络，提取其深度特征；通过稀疏表示的方法，实现三维人脸的比对。本发明专利技术的三维人脸识别技术具有简单、易于实现、识别精度高等优点，并且对面部表情变化时鲁棒性较好。

【技术实现步骤摘要】
一种基于曲面调和形状图像深度表示的三维人脸识别方法
本专利技术涉及一种三维人脸识别方法，主要涉及一种基于曲面调和形状图像深度表示的三维人脸识别方法。
技术介绍
作为一种新型生物特征识别技术，三维人脸识别技术在金融、安防、反恐等领域具有巨大的潜在应用价值。现有技术主要包括基于三维人脸曲面的点、线、面、法向量、曲率、形状指标等几何量的刻画。同时结合人工设计的特征(如Gabor小波变换和局部二值模式)实现三维人脸曲面的最终表达。特别地，现有相关技术利用曲面参数化技术(如保角映射和等距映射等)实现三维人脸曲面到二维平面之间信息的转化。然而，基于曲面参数化的三维人脸识别技术目前很难获得较高的识别精度。随着深度学习的不断发展，基于大样本数据训练所得到的深度卷积神经网络被证明具有良好的推广性能，其效果在多种计算机视觉任务(如目标检测和物体识别等)中均明显超出传统人工特征。
技术实现思路
本专利技术的目的在于提出了一种基于曲面调和形状图像深度表示的三维人脸识别方法，该方法将曲面调和形状图像与深度学习相结合，一方面，曲面调和映照具有深刻的数学理论基础和鲜明的物理解释，而且，曲面调和映照算法对曲面的拓扑和边界具有较强的鲁棒性。另一方面，深度学习能够提取鉴别力较强的图像特征，二者的结合将有望大大提高基于曲面参数化三维人脸识别算法的性能。为实现上述目的，本专利技术采用如下的技术方案：一种基于曲面调和形状图像深度表示的三维人脸识别方法，包括以下步骤：1)数据预处理：给定一张三维人脸曲面，对其进行预处理；2)调和映照：将预处理好的三维人脸曲面，利用调和映照，将三维人脸曲面映射到二维平面圆盘上；3)对于三维人脸中的每一个顶点，计算各个顶点处的曲率以及法向量，分别得到了六种调和形状参数，六种调和形状参数为形状指数、曲度、法向量在x，y，z三个方向上的投影以及深度；4)将映射到二维平面圆盘上的人脸进行摆正，得到摆正后的人脸；将步骤3)所求得的每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像；5)将步骤4)得到的六种调和形状的二维人脸图像输入到深度卷积神经网络中，利用已经训练好的深度卷积神经网络，提取其深度特征；6)人脸比对：根据步骤5)得到图像的深度特征，通过稀疏表示的方法，实现三维人脸的比对。本专利技术进一步的改进在于，预处理具体过程为：噪声去除、鼻尖点检测、人脸切割以及左右内眼角点自动检测。本专利技术进一步的改进在于，将三维人脸曲面映射到二维平面圆盘D上的具体过程如下：表面为三角形网格面片M，此时调和映照为离散情形，对于被定义在顶点上的函数得出函数f的调和能量，写为：其中，wij为边[vi,vj]的余切权重；给定[vi,vj]是面[vi,vj,vk]和面[vi,vj,vl]相邻的边，θk是以vk为顶点的在[vi,vj,vk]三角形中的顶角；θl是以vl为顶点的在[vi,vj,vl]三角形中的顶角，此时边的权重则称之为：若[vi,vj]是处在边界上的一条边，则此时唯一的相邻的三角形只有[vi,vj,vk]，则此时：对于所有的内部顶点，离散的拉普拉斯方程变为：对上述拉普拉斯方程求解得到在顶点上的函数f，根据在顶点上的函数f，将三维人脸曲面映射到二位圆盘上。本专利技术进一步的改进在于，形状指数以及曲度具体通过以下过程得到：计算各个顶点处的曲率以及法向量；近似地认为该顶点周围的区域为一个离散的含参曲面根据预处理好的三维人脸曲面的坐标拟合出上式中的参数A、B、C、D、E、F以及G；再根据矩阵对其进行特征根分解，得到最大的特征根即最大主曲率K1，以及最小的特征根即最小主曲率K2；引入两种参数：形状指数Shapeindex以及曲度Curvedness，其计算公式分别为：将求得的最大主曲率、最小主曲率带入到上述公式中，便得到了人脸曲面上一个顶点处的形状指数以及曲度；法向量在x，y，z三个方向上的投影通过以下过程得到：各个顶点的法向量值其计算公式为：其中，vi是顶点i，vi,j是由顶点vi和vj连接所确定的边，根据该公式计算出每个顶点处的法向量，该法向量为三维的向量，即法向量在x，y，z三个方向上的投影。本专利技术进一步的改进在于，将预处理好的三维人脸曲面中每个顶点的第三维度坐标作为一个新的参数，称之为深度。本专利技术进一步的改进在于，将映射到二维平面圆盘上的人脸进行摆正的具体过程为：选取两个内眼角点以及鼻尖点，根据这三个点的坐标信息，确定出一个旋转矩阵接着对所有的顶点分别乘以该旋转矩阵，得到摆正后的人脸。本专利技术进一步的改进在于，通过稀疏表示的方法，得到人脸的比对的具体过程为：给定一个包含N个属于不同类的数据集合，定义稀疏表示模型的字典为D＝[d1,d2,...,dN]，则对于任意一张图像y，有y＝Dx+ε，D为稀疏表示模型的字典，x为稀疏系数，ε为重建误差；其中，稀疏系数x通过下式求解：式中，L表示系数的稀疏性；假设是上式的解，则最小的重建误差向量ri(y)为最小的重建误差向量表示了图像y的类别，其中，δi表示属于i类的指示函数；最小的重建误差向量给出了测试人脸y的身份，从而完成三维人脸的比对。与现有技术相比，本专利技术具有的有益效果：本专利技术将曲面调和形状图像与深度学习相结合，一方面，曲面调和映照具有深刻的数学理论基础和鲜明的物理解释，而且，曲面调和映照算法对曲面的拓扑和边界具有较强的鲁棒性。另一方面，深度学习能够提取鉴别力较强的图像特征，二者的结合将有望大大提高基于曲面参数化三维人脸识别算法的性能。通过在国际上公开的三维人脸识别数据库上的实验，验证了基于六种调和形状图像的三维人脸表示的有效性以及基于调和形状图像的深度表示的有效性。与现有三维人脸识别技术相比，本专利技术的三维人脸识别技术具有简单、易于实现、识别精度高等优点，并且对面部表情变化时鲁棒性较好。附图说明图1是本三维人脸识别专利技术的流程图。图2为三维人脸文件中数据格式。图3为三维人脸以及经过调和映照后的二维人脸。其中，图(a)为三维人脸，图(b)为经过调和映照后的二维人脸，图(c)为摆正后的二维人脸。图4为六种调和形状图像。其中，图(a)为深度图，图(b)为曲度图，图(c)为形状指数图，图(d)为法向量x图，图(e)为法向量y图，图(f)为法向量z图。具体实施方式下面结合附图对本专利技术进行详细说明。参见图1，本专利技术的具体步骤如下：一、数据集介绍：在本专利技术中，采用BU-3DFE数据库进行实验。该数据库包含100个人的三维图像(56位女性，44未男性)。每人包含了24张带六种表情(Happy,Disgust,Fear,Angry,Surprise,Sadness)的三维图像，各个表情的图像又分为4个不同的等级。再加上一张中性的图像，每个人共计25张三维图像。总数据集共计2500张图像。在本专利技术的实验中，100张中性三维人脸作为基准样本，2400张带表情的三维人脸作为测试样本。二、数据预处理：给定一张数据库中的人脸，首先从原始的“mesh”文件中读取出其数据，其中包括顶点坐标(vertex)，三角形面(face)以及关键点(landmark)。并将其保存成新的文件以待下一步的处理。其文件实例如图2所示。对三维人脸曲面进行噪声去除、鼻尖点检测、人脸切割、左右内眼角点自动检测；2)调和映照：本文档来自技高网...

【技术保护点】
一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，包括以下步骤：1)数据预处理：给定一张三维人脸曲面，对其进行预处理；2)调和映照：将预处理好的三维人脸曲面，利用调和映照，将三维人脸曲面映射到二维平面圆盘上；3)对于三维人脸中的每一个顶点，计算各个顶点处的曲率以及法向量，分别得到了六种调和形状参数，六种调和形状参数为形状指数、曲度、法向量在x，y，z三个方向上的投影以及深度；4)将映射到二维平面圆盘上的人脸进行摆正，得到摆正后的人脸；将步骤3)所求得的每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像；5)将步骤4)得到的六种调和形状的二维人脸图像输入到深度卷积神经网络中，利用已经训练好的深度卷积神经网络，提取其深度特征；6)人脸比对：根据步骤5)得到图像的深度特征，通过稀疏表示的方法，实现三维人脸的比对。

【技术特征摘要】
1.一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，包括以下步骤：1)数据预处理：给定一张三维人脸曲面，对其进行预处理；2)调和映照：将预处理好的三维人脸曲面，利用调和映照，将三维人脸曲面映射到二维平面圆盘上；3)对于三维人脸中的每一个顶点，计算各个顶点处的曲率以及法向量，分别得到了六种调和形状参数，六种调和形状参数为形状指数、曲度、法向量在x，y，z三个方向上的投影以及深度；4)将映射到二维平面圆盘上的人脸进行摆正，得到摆正后的人脸；将步骤3)所求得的每个顶点上的六种调和形状参数，分别嵌入到摆正后的人脸中，得到了六种调和形状的二维人脸图像；5)将步骤4)得到的六种调和形状的二维人脸图像输入到深度卷积神经网络中，利用已经训练好的深度卷积神经网络，提取其深度特征；6)人脸比对：根据步骤5)得到图像的深度特征，通过稀疏表示的方法，实现三维人脸的比对。2.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，预处理具体过程为：噪声去除、鼻尖点检测、人脸切割以及左右内眼角点自动检测。3.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，将三维人脸曲面映射到二维平面圆盘D上的具体过程如下：表面为三角形网格面片M，此时调和映照为离散情形，对于被定义在顶点上的函数得出函数f的调和能量，写为：其中，wij为边[vi,vj]的余切权重；给定[vi,vj]是面[vi,vj,vk]和面[vi,vj,vl]相邻的边，θk是以vk为顶点的在[vi,vj,vk]三角形中的顶角；θl是以vl为顶点的在[vi,vj,vl]三角形中的顶角，此时边的权重则称之为：若[vi,vj]是处在边界上的一条边，则此时唯一的相邻的三角形只有[vi,vj,vk]，则此时：对于所有的内部顶点，离散的拉普拉斯方程变为：对上述拉普拉斯方程求解得到在顶点上的函数f，根据在顶点上的函数f，将三维人脸曲面映射到二位圆盘上。4.根据权利要求1所述的一种基于曲面调和形状图像深度表示的三维人脸识别方法，其特征在于，形状指数以及曲度具体通过以下过程得到：计算各个顶点处的曲率以及法向量，认为该顶点周围的区域为一个离散的含参曲面根据预处理好的三...

【专利技术属性】
技术研发人员：李慧斌，魏晓帆，顾险峰，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61