一种基于径向线的局部遮挡下的三维人脸识别方法技术

本发明专利技术公开了一种基于径向线的局部遮挡下的三维人脸识别方法，该方法实现步骤为：(1)提取人脸上从鼻尖点发射的径向线，并对径向线鼻尖点以上部分进行均匀采样；(2)提取采样点之间的局部区域，并构造局域的特征描述符；(3)构造特征描述符的代价函数，生成对应径向线的具有局部匹配特点的相似向量；(4)匹配对应径向线的相似向量得到相似值，所有径向线的相似值之和就是两张三维人脸的相似值，从而完成人脸识别。本发明专利技术通过对径向线进行截取和采样，提取采样点之间的局部区域并提取局部特征，增大了径向线的有效信息，提高了局部遮挡情况下的三维人脸识别准确率。

A three-dimensional face recognition method based on radial line local occlusion

The invention discloses a method of 3D face recognition based on local radial line under occlusion based on the method comprises the following steps: (1) the radial line extraction face from nose emission points, and the radial line above the tip point sampled; (2) extracting local area between sampling points, and features the local descriptor is constructed; (3) the construction cost function of the feature descriptor, generate the corresponding radial line is similar to vector local characteristics matching; (4) matching similarity vector radial line have similar values, all radial line similarity value is the sum of two 3D face similarity values, thus completing the face recognition. Through the interception and sampling of radial lines, the method extracts local regions between sampling points, extracts local features, increases effective information of radial lines, and improves the accuracy of 3D face recognition under partial occlusion.

【技术实现步骤摘要】
一种基于径向线的局部遮挡下的三维人脸识别方法
本专利技术属于计算机视觉领域，具体涉及三维人脸识别技术,尤其涉及一种基于径向线的局部遮挡下的三维人脸识别方法。
技术介绍
人脸识别技术具有优良的非接触性、隐蔽性以及其广泛的应用前景，近三十年来，很多研究人员投身到人脸识别的研究当中。尽管之前已经有大量二维人脸识别的研究，但是仍然无法克服光照和姿态带来的影响。因此，人们渐渐意识到二维人脸识别先天性的缺陷。而在三维人脸中，几何信息和相对位置信息相对稳定，因此相比于传统的二维人脸识别，三维人脸识别对光照、姿态和表情更加的鲁棒。因而近些年来，越来越多的研究者从二维人脸识别的研究转为对三维人脸识别的研究中来。而且到目前为止，诸多研究人员提出了很多有效的三维人脸识别方法。但是，现在的三维人脸识别算法和研究多数是基于严格控制下采集到的数据，这种情况下的人脸点云数据大多都是正面的、没有遮挡的点云。然而，在现实情况中，人脸数据往往只能在非控制的情况下得到。此时，三维人脸数据常常会带有遮挡的情况，如头发、眼镜、手等造成的面部遮挡。在这种情况下，大量针对非遮挡点云的三维人脸识别算法的表现难以让人满意。针对遮挡情况下的三维人脸识别，成为极有意义的研究方向和难点。
技术实现思路
专利技术目的：针对上述三维人脸数据采集识别存在局部遮挡并且识别精准度不高的情况，本专利技术提供一种基于径向线的局部遮挡下的三维人脸识别。本专利技术通过提取径向线，构造径向线间相似向量，解决人脸在局部遮挡下的三维人脸识别问题。技术方案：一种基于径向线的局部遮挡下的三维人脸识别方法，包括以下步骤：步骤1：提取径向线：第一步利用中心区域人脸镜像匹配法得到人脸的对称面，人脸对称面和人脸曲面的交线为人脸中央轮廓线，第二步通过旋转中央轮廓线得到径向线，并对径向线进行均匀采样；步骤2：构造局部描述子：提取相邻采样点间的局部区域，然后在局部区域内构造三个局部特征描述子；步骤3：生成相似向量：通过步骤2中的局部特征描述子，同时根据步骤3-2中阐述的判断标准，判断是否需要合并相邻区域，从而构造出代价函数，生成对应径向线的具有局部匹配特点的相似向量；步骤4：完成人脸识别：利用对应径向线间的相似向量得到对应径向线的相似值，所以对应径向线的相似值之和即为整张人脸的相似值。进一步的，所述步骤1中，利用中心区域人脸镜像匹配法得到人脸的对称面，进而得到人脸径向线的步骤如下：步骤1.1：对输入的人脸，计算其中心区域E和该区域关于对称面的镜像区域E'；步骤1.2：对原始区域E和其镜像区域E'使用ICP算法，得到旋转矩阵和平移矩阵，将旋转矩阵和平移矩阵应用于镜像区域E'，得到对齐后的镜像区域E”；步骤1.3：根据原始区域E和对齐后的镜像区域E”，得到中心区域对称面，将该对称面扩展到整张人脸曲面就得到镜像对称面P；步骤1.4：在规范化的人脸点云中，将镜像对称面P绕着鼻尖点旋转得到平面P'，旋转后的平面P'和原始人脸曲面的相交得到人脸的径向线，其中β∈[5，20]，优选β＝10。进一步的，步骤2中构造局部描述子的步骤如下：步骤2.1：以经过鼻尖点的水平线为界，将人脸曲面分为上下两个部分，并选择上半部分人脸区域内的径向线作为径向线的有效部分，因为下半部分包含嘴部区域，受表情影响较大，相对的，上半部分对表情有较强的鲁棒性；步骤2.2：在每一条径向线的有效部分均匀采样，每条径向线采样N个点，N∈[8，14],优选N＝11；步骤2.3：以相邻两个采样点之间的距离为直径，以两点的中心为球心画球，落在采样球内的人脸区域形成局部点云区域。由于每条径向线采样N个点，因此每条径向线上有N-1个局部点云区域；步骤2.4：在每个局部点云中确定第一局部特征、第二局部特征和第三局部特征；所述第一局部特征为球体的球心坐标，第二个局部特征为局部区域中的点组成的所有三角面片面积和作为该区域的面积，第三局部特征为长度为5到10的倾斜角直方图，第三局部特征优选长度为7的倾斜角直方图。其中倾斜角α定义如下：其中向量lq表示将第q个采样点和第q+1采样点相连直线的方向向量，向量ni表示局部区域中第i个点的单位法向量；步骤2.5：根据步骤2.4中提取出来的三个局部特征描述子：球心坐标(x,y,z)，局部面积s，倾斜角直方图h。每个局部点云区域的描述子表示为P(x,y,z,s,h)。进一步的，步骤3中，生成相似向量的步骤如下：步骤3.1：令PA和PB分别表示两条径向线，PA<i>表示径向线PA上的第i个局部区域的描述子，相应的表达式为(xA<i>,yA<i>,zA<i>,sA<i>,hA<i>)。定义PA<i:j>为径向线PA中从第i个局部区域到第j个局部区域描述子的集合；步骤3.2：在点云稀疏的情况下会造成的采样点偏移的现象，将原始的K个局部区域合并为一个整体的局部区域集合并对应的合并代价函数为：其中dk和lk分别为合并后的局部区域的首尾采样点的方向向量和长度，dq和lq分别为单一局域PA<q>的两端采样点的方向向量和长度。Δ(dk,dq)∈[0,90°]为两个方向向量的角度差，g(x)＝x2/w是一个非线性函数，w为训练得出的参数；步骤3.3：采取同时合并库集和测试集的合并策略，也就是库集和测试集合并区域的数目相同。根据步骤2的提取的局部特征，径向线PA和径向线PB对应的第i个局部区域或第i个区域及其之前的区域集经最大-最小原则归一化之后的代价函数为：其中为合并区域集的总面积，为合并区域集的倾斜角直方图，为合并区域集首尾两端点的中点坐标，为倾斜角直方图夹角；步骤3.:4：令PA＝PA<1>PA<2>…PA<N-1>和PB＝PB<1>PB<2>…PB<N-1>分别表示库集和测试集中对应的径向线。定义一个N×1的相似向量P：P＝[P(0)，P(1)，…，P(N-1)]T.其中N为径向线上的采样数，N∈[8，14],优选N＝11，P(i)为库集径向线和测试集径向线的第i个区域或者第i个区域及其之前区域合并的区域集的最大相似值，即：其中：其中：ΔP为相似参数，用来比较阈值和总代价函数。通过合并前后对应T(k)的大小来决定是否将此区域和其前面的区域进行合并。总代价函数即为相似代价函数和合并代价函数之和，其定义为：其中γ为决定和是否相似匹配的阈值。更进一步的，具体相似向量的生成步骤为，其中limit为区域合并的上界：输入：PB＝PB<1>…PB<N-1>输出：P(PA,PB)初始化：P(0)＝0步骤4中完成人脸识别的步骤如下：步骤4.1：找出相似向量中最大的相似数，再确定与该相似数相关的数值，将其置零。接着找到次最大数，再将和次大相似值的相关数置零，依次类推。则两条径向线的相似值为：其中pi为相似向量中第i大的数，f本文档来自技高网...

【技术保护点】
一种基于径向线的局部遮挡下的三维人脸识别方法，其特征在于，包括以下步骤：步骤1：提取径向线：包括生成待测人脸的对称面、人脸中央轮廓线和通过旋转中央轮廓线得到径向线，并对径向线进行均匀采样；步骤2：构造局部描述子：包括提取相邻采样点间的局部区域，构造三个局部特征描述子；步骤3：生成相似向量：包括构造代价函数，生成对应径向线的具有局部匹配特点的相似向量；步骤4：完成人脸识别：利用对应径向线间的相似向量得到对应径向线的相似值完成人识别。

【技术特征摘要】
1.一种基于径向线的局部遮挡下的三维人脸识别方法，其特征在于，包括以下步骤：步骤1：提取径向线：包括生成待测人脸的对称面、人脸中央轮廓线和通过旋转中央轮廓线得到径向线，并对径向线进行均匀采样；步骤2：构造局部描述子：包括提取相邻采样点间的局部区域，构造三个局部特征描述子；步骤3：生成相似向量：包括构造代价函数，生成对应径向线的具有局部匹配特点的相似向量；步骤4：完成人脸识别：利用对应径向线间的相似向量得到对应径向线的相似值完成人识别。2.根据权利要求1所述的一种基于径向线的局部遮挡下的三维人脸识别方法，其特征在于，步骤1中所述人脸径向线提取步骤如下：步骤1.1：对输入的人脸，计算其中心区域E和该区域关于对称面的镜像区域E'；步骤1.2：对原始区域E和其镜像区域E'使用ICP算法，得到旋转矩阵和平移矩阵，将旋转矩阵和平移矩阵应用于镜像区域E'，得到对齐后的镜像区域E”；步骤1.3：根据原始的区域E和对齐后的镜像区域E”，得到中心区域对称面，将该对称面扩展到整张人脸曲面就得到镜像对称面P；步骤1.4：在规范化的人脸点云中，将镜像对称面P绕着鼻尖点旋转β度得到平面P'，旋转后的平面P'和原始人脸曲面的相交得到人脸的径向线，其中β∈[5，20]，优选β＝10。3.根据权利要求1所述的一种基于径向线的局部遮挡下的三维人脸识别方法，其特征在于，步骤2中所述构造局部描述子的步骤如下：步骤2.1：以经过鼻尖点的水平线为界，将人脸曲面分为上下两个部分，并选择上半部分人脸区域内的径向线作为径向线的有效部分；步骤2.2：在每一条径向线的有效部分均匀设置采样点；步骤2.3：以相邻两个采样点之间的距离为直径，以两点的中心为球心画球，得到局部点云区域；步骤2.4：在每个局部点云中确定第一局部特征、第二局部特征和第三局部特征；所述第一局部特征为球体的球心坐标，第二个局部特征为局部区域中的点组成的所有三角面片面积和作为该区域的面积，第三局部特征为长度为5到10的倾斜角直方图，其中，第三局部特征优选长度为7的倾斜角直方图；步骤2.5：根据步骤2.4中提取出来的三个局部特征描述子：球心坐标(x,y,z)，局部面积s，倾斜角直方图h，每个局部点云区域的描述子表示为P(x,y,z,s,h)。4.根据权利要求1所述的一种基于径向线的局部遮挡下的三维人脸识别方法，其特征在于，步骤3中，所述生成相似向量的步骤如下：步骤3.1：令PA和PB分别表示两条径向线，PA<i>表示径向线PA上的第i个局部区域的描述子，相应的表达式为(xA<i>,yA<i>,zA<i>,sA<i>,hA<i>)，定义PA<i:j>为径向线PA中从第i个局部区域到第j个局部区域描述子的集合；步骤3.2：在点云稀疏的情况下会造成的采样点偏移的现象，将原始的K个局部区域合并为一个整体的局部区域集合并对应的合并代价函数为：其中dk和lk分别为合并后的局部区域的首尾采样点的方向向量和长度，dq和lq分别为单一局...

【专利技术属性】
技术研发人员：达飞鹏，何敏，邓星，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32