一种基于三维数据的人脸分类系统技术方案

本发明专利技术涉及三维人脸分类系统，涵盖特征点定位、三维数据配准、数据去噪、数据质量评估、特征提取以及分类器设计等三维人脸分类系统的多个模块。利用视觉词典纹理特征，准确的描述了三维深度人脸图像的特性，然后利用SVM分类器在深度人脸图像视觉词典直方图特征空间上实现了准确分类。种族分类的难点在于人的种族复杂多样，如何准确的定义种族类别。本专利引入模糊分类的概念，通过构建东方视觉词典和西方视觉词典，利用隶属度函数来判断深度人脸图像的种族分类。准确的分类结果不仅可以有效地获取人脸数据中的人脸特性，获取更多的人脸语义理解信息，同时还可以作为三维人脸识别的一个粗分类步骤，提升识别系统的精度。

【技术实现步骤摘要】

本专利技术涉及三维人脸分类系统，涵盖特征点定位、三维数据配准、数据去噪、数据质量评估、特征提取以及分类器设计等三维人脸分类系统的多个模块。
技术介绍
三维人脸识别相对于二维人脸识别，有着其对光照、受姿态以及表情等因素影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多学者都将他们的研究投入到该领域中。曾有人提出了三维弯曲不变量的相关特征用来进行人脸特性描述(专利号：201010256907)。该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用；三维人脸分类是三维人脸领域的一个基础工作。为了提高提取变量的效率，准确分类的对人脸分类尤为重要。准确的分类结果不仅可以有效地获取人脸数据中的人脸特性，获取更多的人脸语义理解信息，同时还可以作为三维人脸识别的一个粗分类步骤，提升识别系统的精度。本专利技术设计性别分类和种族分类两种分类方式。性别分类的难点在于如何准确的描述人脸数据的性别特性以及如何在特征空间的基础上实现准确的分类。本专利利用视觉词典纹理特征，准确的描述了三维深度人脸图像的特性，然后利用SVM分类器在深度人脸图像视觉词典直方图特征空间上实现了准确分类。种族分类的难点在于人的种族复杂多样，如何准确的定义种族类别。本专利引入模糊分类的概念，通过构建东方视觉词典和西方视觉词典，利用隶属度函数来判断深度人脸图像的种族分类。
技术实现思路
针对现有三维人脸识别计算量大，效率低的问题，本专利技术目的在于提供一种基于三维数据的人脸分类系统，对三维人脸数据进行分类。为解决上述问题，本专利技术提供一种基于三维数据的人脸分类系统，其主要内容包括：(一)三维人脸点云数据的输入部分；(二)对于三维人脸点云数据中人脸特定区域检测部分；(三)对于检测到的人脸特定区域进行数据配准部分；(四)对于配准后的三维人脸点云数据进行深度人脸数据映射部分；(五)对于深度人脸数据进行人脸深度数据质量评估部分；(六)对于深度人脸数据进行深度人脸纹理修复部分；(七)对于深度人脸数据进行三维人脸识别部分；其中，三维点云数据的输入部分包括对各类三维点云采集设备的数据输入；其中，三维人脸点云数据中人脸特定区域检测部分包括根据三维点云数据提取特征信息以及利用训练好的分类器进行人脸特定区域检测的模块；进一步的，对人脸特定区域检测的模块，采用鼻尖区域作为人脸特征区域，主要步骤如下：1)确定域平均负有效能量密度的阈值，定义为thr2)利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据3)计算由深度信息选取出的人脸数据的法向量信息4)按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域5)当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到第1)步继续。其中，利用检测到的人脸特定区域进行数据配准部分包括根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准的模块；进一步的，基于检测到的人脸鼻尖区域为基础的数据配准模块，首先我们需要在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准。该算法主要步骤如下：假设我们已经得到匹配数据集合对P和Q，1)计算3*3的矩阵H=Σi=1NQiQiT]]>其中N是数据集合的容量。2)做H矩阵的SVD分解H＝U∧VTX＝VUT3)计算旋转矩阵R和平移矩阵t当X行列式值为1时，R＝X；t＝P-R*Q通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。其中，将三维人脸点云数据进行深度人脸图像映射部分包括根据预定的深度分辨率以及检测获取的人脸特定区域位置进行数据映射的模块；进一步的，将三维点云数据映射为深度人脸图像的数据映射模块，将检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息。计算过程如下：设鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：Ix＝(x1-x)+width/2Iy＝(y1-y)+height/2width为深度图像的宽度，height为深度图像的高度。同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准，其公式为：Idepth=(z1-z)/Zref+255,z1<=z255,z1>z]]>完成将三维点云数据映射为深度人脸图像的数据映射。其中，深度人脸数据进行采集数据质量评估部分包括根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块。进一步的，根据典型性深度人脸数据产生深度特征脸，深度特征脸的计算过程可以总结为：1)将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人脸列向量的维度就是D＝M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是D*N；2)将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图像的平均脸；将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ；3)对协方差矩阵C＝Φ*ΦT进行特征值分解；根据占据所有特征值能量的比率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算；进一步的，深度图像数据质量评估模块分为训练和评估两个阶段：在训练阶段训练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；Iapr=Σiwi*Ieigen]]>然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不符合这些深度特征脸代表的类型，评估不通过；否则则认为该图像符合这些深度特征脸代表的类型，评估通过。E=0,abs(Iapr-Lori)>Thr1,abs(Iapr-Iori)<=Thr]]>其中，对人脸深度图像数据进行纹理修复包括根据图像邻域数据点进行噪点数据过滤以及利用边缘保留过滤器进行深度图像纹理修复的模块。进一步的，其主要步骤为：首先对于深度图像中的噪点进行检测，噪点类型主要包括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。然后进行深度数据去噪，在本专利技术中采用邻域深度有效值滤波，对上述深度人脸图像中的噪音进行过滤，该滤波表达式可以描述为：I(x,y)=Σm=-win,n=-winm=win,n=winI(x-m,y-n)*w(x-m,y-n)]]>当I(x-m,y-n)为深度图像有效点时，值为当I(x-m,y-n)为深度图像无效点时，值本文档来自技高网...

【技术保护点】
一种基于基于三维数据的人脸分类系统，其特征在于，主要内容包括：(一)三维人脸点云数据的输入部分；(二)对于三维人脸点云数据中人脸特定区域检测部分；(三)对于检测到的人脸特定区域进行数据配准部分；(四)对于配准后的三维人脸点云数据进行深度人脸数据映射部分；(五)对于深度人脸数据进行人脸深度数据质量评估部分；(六)对于深度人脸数据进行深度人脸纹理修复部分；(七)对于深度人脸数据进行三维人脸识别部分。

【技术特征摘要】
1.一种基于基于三维数据的人脸分类系统，其特征在于，主要内容包括：(一)三维人脸点云数据的输入部分；(二)对于三维人脸点云数据中人脸特定区域检测部分；(三)对于检测到的人脸特定区域进行数据配准部分；(四)对于配准后的三维人脸点云数据进行深度人脸数据映射部分；(五)对于深度人脸数据进行人脸深度数据质量评估部分；(六)对于深度人脸数据进行深度人脸纹理修复部分；(七)对于深度人脸数据进行三维人脸识别部分。2.基于权利要求书1所述的三维点云数据的输入部分(一)，其特征在于，包括对各类三维点云采集设备的数据输入。3.基于权利要求书1所述的三维人脸点云数据中人脸特定区域检测部分(二)，其特征在于，包括根据三维点云数据提取特征信息以及利用训练好的分类器进行人脸特定区域检测的模块。4.基于权利要求书1所述的利用检测到的人脸特定区域进行数据配准部分(三)，其特征在于，包括根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准的模块。5.基于权利要求书1所述的将三维人脸点云数据进行深度人脸图像映射部分(四)，其特征在于，包括根据预定的深度分辨率以及检测获取的人脸特定区域位置进行数据映射的模块。6.基于权利要求书1所述的深度人脸数据进行采集数据质量评估部分(五)，其特征在于，包括根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块。7.基于权利要求书1所述的深度人脸数据进行深度人脸纹理修复部分(六)，其特征在于，包括根据图像邻域数据点进行噪点数据过滤以及利用边缘保留过滤器进行深度图像纹理修复的模块。8.基于权利要求书1所述的深度人脸数据进行三维人脸识别部分(七)，其特征在于，包括根据深度数据提取深度人脸特征以及分类器进行人脸识别的模块。9.基于权利要求书3所述的人脸特征区域检测模块，其特征在于，采用鼻尖区域作为人脸特征区域，主要步骤如下：1)确定域平均负有效能量密度的阈值，定义为thr2)利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据3)计算由深度信息选取出的人脸数据的法向量信息4)按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域5)当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到第1)步继续。10.基于权利要求书4所述的基于检测到的人脸鼻尖区域为基础的数据配准模块，其特征在于，主要步骤如下：首先我们需要在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，该算法主要步骤如下：假设我们已经得到匹配数据集合对P和Q，1)计算3*3的矩阵其中N是数据集合的容量2)做H矩阵的SVD分解H＝U∧VTX＝VUT3)计算旋转矩阵R和平移矩阵t当X行列式值为1时，R＝X：t＝P-R*Q通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。11.基于权利要求书5所述的将三维点云数据映射为深度人脸图像的数据映射模块，其特征在于，检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息，计算过程如下：设鼻尖点为N(x，y，z)，则空间点P(x1，y1，z1)的图像坐标为：Ix＝(x1-x)+width/2Iy＝(y1-y)+height/2width为深度图像的宽度，height为深度图像的高度同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系的z 轴信息作为映射为人脸深度图像的深度值的参考基准完成将三维点云数据映射为深度人脸图像的数据映射。12.基于权利要求书6所述的...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东;44