一种基于网格纵横局部二值模式的三维人脸识别方法技术

本发明专利技术公开了一种基于网格纵横局部二值模式的三维人脸识别方法，步骤为：对三维人脸模型进行预处理，包括人脸区域切割、平滑处理和姿态归一化，将所有的人脸置于姿态坐标系下；从三维人脸模型的半刚性区域提取人脸7条侧面轮廓线，并对其中每条轮廓线进行均匀重采样以获得28个关键点来表征人脸面部曲面；提取关键点周围邻域，先分别用网格纵向局部二值模式描述符和网格横向局部二值模式描述符对关键点邻域进行表征，然后对两者进行特征融合获得网格纵横局部二值模式描述符，最后用LC‑KSVD2字典学习分类算法对3D人脸进行识别。本发明专利技术能够更加全面地描述均匀人脸网格表面由表情等原因引起的局部形状变化，具有较强的识别性能。

【技术实现步骤摘要】

本专利技术涉及一种基于网格纵横局部二值模式的三维人脸识别方法，尤其涉及一种利用人脸网格在3D领域内对人脸直接进行识别的人脸识别方法，适用于有较大变化的场合。
技术介绍
近二十年来，因为二维人脸识别方法在面临姿态、光照条件不同、表情变化以及脸部化妆等方面表现出来的脆弱性使得人脸识别的准确度和适用场合受到很大限制，越来越多的学者开始致力于三维人脸识别技术的研究。三维人脸识别技术是指利用人脸在三维空间中的几何信息进行身份辨识的技术。目前，诸多学者提出了很多有效的3D人脸识别方法。目前，许多3D人脸识别算法都是基于局部二值模式(LBP，Local Binary Pattern)，但是这些算法大多会将人脸的3D点云先转化为深度图然后再进行对LBP的改进和扩展，这就将3D数据转到了2.5D，丢失了人脸部分信息。针对这一问题，Werghi等提出了网格局部二值模式(local binary pattern on the mesh,mesh-LBP)描述符，该描述符直接在网格表面计算LBP值，避免了将3D人脸点云转化成深度图，保留了3D人脸的完整信息。该描述符将中心面片与其周围有序环上的面片进行比较，忽略了相邻环上面片之间和同一环上相邻面片之间的关系，割裂了局部区域的整体性。因此如何在人脸网格上提取一种更全面的特征是非常有意义的。
技术实现思路
本专利技术的目的是提供一种基于网格纵横局部二值模式的三维人脸识别方法，具有较强的识别性能，并且对表情变化具有较好的鲁棒性，同时还提高了人脸匹配速度。为实现上述目的，本专利技术采用的技术方案为：一种基于网格纵横局部二值模式的三维人脸识别方法，包括以下步骤：步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；步骤2：对由步骤1所提取的三维人脸点云进行平滑去噪处理后，以鼻尖点为姿态坐标系(PCS)的坐标原点，将其置于姿态坐标系(PCS)中；所述姿态坐标系(PCS)的获得方法为：对三维人脸点云采用主成分分析法(PCA)，将最大特征值对应的特征向量作为Y轴，将最小特征值对应的特征向量作为Z轴，建立右手坐标系，即为姿态坐标系；步骤3：对由步骤2得到的三维人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的28个关键点；步骤4：对三维人脸点云进行均匀网格化，由步骤3获得的28个关键点也对应到网格上，提取以关键点所在面片为中心面片的有序面片环，并且确定关键点周围邻域；步骤5：计算由步骤4获得的关键点邻域的网格纵向局部二值模式(mesh-VLBP)描述符和网格横向局部二值模式(mesh-HLBP)描述符；并对这两者进行特征融合获得网格纵横局部二值模式(mesh-VHLBP)描述符；步骤6：最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验，得出识别结果。所述步骤2的具体步骤为：步骤2.1：计算测试人脸点云质心其中p'i表示点云中点的坐标，n表示点云中点的个数；步骤2.2：构建协方差矩阵其中T表示的是矩阵的转置；步骤2.3：将协方差矩阵C正交对角化，得到三个特征值λ1≥λ2≥λ3及对应的三个相互正交的单位特征向量v1,v2,v3；步骤2.4：以O为原点，以v1为Y轴，v3为Z轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系为姿态坐标系PCS，并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中，即p'i＝(v2,v1,v3)(p'i-O)；步骤2.5：将坐标系平移，使得鼻尖点位于原点，点p”i平移后记为其中，分别表示点gi坐标的三个分量。所述步骤3的具体步骤为：步骤3.1：半刚性区域侧面轮廓线提取：在姿态坐标系中，记位于XOZ平面上方的三维人脸曲面为S，用镜像匹配算法确定人脸的对称面以切割人脸曲面S，获得半刚性区域的中心侧面轮廓线；然后，将平面分别沿着x轴正、负方向以13mm的间隔平移，与人脸曲面S相交就能够得到另外6条侧面轮廓线，从而获得人脸半刚性区域的7条侧面轮廓线；步骤3.2：面部轮廓线重采样获得关键点：以平面与XOY平面相交的直线作为参考曲线，保留从眉心点到鼻尖点那一段，并在这一段上在每隔20mm采样一个点，如此获得4个关键点；在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样，最终获得28个关键点。所述步骤4的具体步骤为：步骤4.1：对人脸点云进行均匀网格化，并且围绕中心面片提取有序环：给定一个中心面片fc，其邻接的三个面片按逆时针方向分别标记为fout1,fout2和fout3，记为Fout面片集；在两两fouti(i＝1,2,3)面片之间用fgap面片，记为Fgap面片集，按相同的方向进行连接，要求fgap面片是前一个面片的邻接面片且与中心面片fc只共享一个顶点；当在(fout3,fout1)之间完成用Fgap面片集进行连接后，就获得第一个有序环；再获取这个有序环中每个面片的邻接面片，要求该面片与环中其他面片不重合，指向朝外，构成新的Fout面片集，以上述相同的方式获取第二个有序环；如此迭代下去，即能够在中心面片周围获得r个同心有序环；步骤4.2：在关键点检测完成后，其周围邻域取为该点所在中心面片周围的r个环构成的区域。所述步骤5的具体步骤为：步骤5.1：准备工作：依据有序环第一个面片位置的相对不变性的原则，按逆时针方向将每环上用于计算的面片标号为其不同环上的相同位置编号的面片相互对应；步骤5.2：计算关键点邻域的mesh-VLBP描述符，其计算过程为：第1环：将第一环上的面片与中心面片比较；从第二环开始，分别将该环上与前一环上标号对应的面片进行比较。用公式描述为： m e s h - VLBP r ( f c ) = Σ k = 0 11 s ( h ( f k r ) - h ( f c ) 本文档来自技高网...

【技术保护点】
一种基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：包括以下步骤：步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；步骤2：对由步骤1所提取的三维人脸点云进行平滑去噪处理后，以鼻尖点为姿态坐标系的坐标原点，将其置于姿态坐标系中；所述姿态坐标系的获得方法为：对三维人脸点云采用主成分分析法，将最大特征值对应的特征向量作为Y轴，将最小特征值对应的特征向量作为Z轴，建立右手坐标系，即为姿态坐标系；步骤3：对由步骤2得到的三维人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的28个关键点；步骤4：对三维人脸点云进行均匀网格化，由步骤3获得的28个关键点也对应到网格上，提取以关键点所在面片为中心面片的有序面片环，并且确定关键点周围邻域；步骤5：计算由步骤4获得的关键点邻域的网格纵向局部二值模式描述符和网格横向局部二值模式描述符；并对这两者进行特征融合获得网格纵横局部二值模式描述符；步骤6：最后结合LC‑KSVD2字典学习分类算法对人脸进行分类实验，得出识别结果。

【技术特征摘要】
1.一种基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：包括以下步骤：步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；步骤2：对由步骤1所提取的三维人脸点云进行平滑去噪处理后，以鼻尖点为姿态坐标系的坐标原点，将其置于姿态坐标系中；所述姿态坐标系的获得方法为：对三维人脸点云采用主成分分析法，将最大特征值对应的特征向量作为Y轴，将最小特征值对应的特征向量作为Z轴，建立右手坐标系，即为姿态坐标系；步骤3：对由步骤2得到的三维人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的28个关键点；步骤4：对三维人脸点云进行均匀网格化，由步骤3获得的28个关键点也对应到网格上，提取以关键点所在面片为中心面片的有序面片环，并且确定关键点周围邻域；步骤5：计算由步骤4获得的关键点邻域的网格纵向局部二值模式描述符和网格横向局部二值模式描述符；并对这两者进行特征融合获得网格纵横局部二值模式描述符；步骤6：最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验，得出识别结果。2.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤2的具体步骤为：步骤2.1：计算测试人脸点云质心其中p′i表示点云中点的坐标，n表示点云中点的个数；步骤2.2：构建协方差矩阵其中T表示的是矩阵的转置；步骤2.3：将协方差矩阵C正交对角化，得到三个特征值λ1≥λ2≥λ3及对应的三个相互正交的单位特征向量v1,v2,v3；步骤2.4：以O为原点，以v1为Y轴，v3为Z轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系为姿态坐标系PCS，并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中，即p′i＝(v2,v1,v3)(p′i-O)；步骤2.5：将坐标系平移，使得鼻尖点位于原点，点p″i平移后记为其中，分别表示点gi坐标的三个分量。3.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤3的具体步骤为：步骤3.1：半刚性区域侧面轮廓线提取：在姿态坐标系中，记位于XOZ平面上方的三维人脸曲面为S，用镜像匹配算法确定人脸的对称面以切割人脸曲面S，获得半刚性区域的中心侧面轮廓线；然后，将平面分别沿着x轴正、负方向以13mm的间隔平移，与人脸曲面S相交就能够得到另外6条侧面轮廓线，从而获得人脸半刚性区域的7条侧面轮廓线；步骤3.2：面部轮廓线重采样获得关键点：以平面与XOY平面相交的直线作为参考曲线，保留从眉心点到鼻尖点那一段，并在这一段上在每隔20mm采样一个点，如此获得4个关键点；在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样，最终获得28个关键点。4.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤4的具体步骤为：步骤4.1：对人脸点云进行均匀网格化，并且围绕中心面片提取有序环：给定一个中心面片fc，其邻接的三个面片按逆时针方向分别标记为fout1,fout2和fout3，记为Fout面片集；在两两fouti(i＝1,2,3)面片之间用fgap面片，记为Fgap面片集，按相同的方向进行连接，要求fgap面片是前一个面片的邻接面片且与中心面片fc只共享一个顶点；当在(fout3,fout1)之间完成用Fgap面片集进行连接后，就获得第一个有序环；再获取这个有序环中每个面片的邻接面片，要求该面片与环中其他面片不重合，指向朝外，构成新的Fout面片集，以上述相同的方式获取第二个有序环；如此迭代下去，即能够在中心面片周围获得r个同心有序环；步骤4.2：在关键点检测完成后，其周围邻域取为该点所在中心面片周围的r个环构成的区域。5.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤5的具体步骤为：步骤5.1：准备工作：依据有序环第一个面片位置的相对不变性的原则，按逆时针方向将每环上用于计算的面片标号为其不同环上的相同位置编号的面片相互对应；步骤5.2：计算关键点邻域的网格纵向局部二值模式描述符，其计算过程为：第1环：将第一环上的面片与中心面片比较；从第二环开始，分别将该环上与前一环上标号对应的面片进行比较；用公式描述为： m e s h - VLBP r ( f c ) = Σ k = 0 11 s ( h ( f k r ) - h ( f c ) ) · 2 k , r = 1 Σ k = 0 11 s ( h ( ...

【专利技术属性】
技术研发人员：飞鹏，汤兰兰，郭梦丽，邓星，刘俊权，吕士文，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32