一种三维人脸识别方法技术

本发明专利技术公开一种三维人脸识别方法，属于人脸识别技术领域，该方法首先对三维人脸数据进行预处理，生成深度图形式的三维人脸数据集，且对三维人脸数据进行增强，扩大三维人脸数据样本；然后采用挤压激励模块改造后的残差网络来构建人脸识别神经网络，并且采用二维人脸数据训练所构建的挤压激励模块改造的残差神经网络，将训练得到的参数迁移至同结构的三维人脸识别网络，去除最后一个全连接层的权值，再使用三维人脸数据对网络继续进行训练，具有较高的三维人脸识别率。

【技术实现步骤摘要】
一种三维人脸识别方法
本专利技术涉及人脸识别
，尤其涉及一种三维人脸识别方法。
技术介绍
随着社会的不断进步，对信息技术数字化和生物个人识别技术的需求越来越迫切。其中个人身份识别技术已经越来越多的影响到我们的日常生活，尤其在安防、零售、银行、海关、安检、移动支付等领域。传统的身份识别技术有智能卡、密保卡、动态密码生成器、数字签名等，但这些技术有诸多缺点，比如不易携带、易被破解、易丢等，其安全性和便利性方面的弊端已经越来越明显，新的个人身份识别技术有广阔的空间。尤其是最近几年来，随着监控视频技术的发展和机器学习技术的兴起，人们对自己面部识别的认知度越来越高，到处可见的人脸支付技术和指纹支付技术，使我们的个人生物识别和财产安全联系在一起。与此同时，随着经济的快速发展，大量的务工人口涌入城市，使得城市内的人口大量增加，其中城市的治安问题也越来越棘手。为了确保安全，防止城市内发生恶性事件，智能安防和个人身份识别已经成为研究领域的热点。目前，生物个人识别技术已经开始逐步取代传统的个人识别技术。生物个人识别技术是一种通过提取生物的生理特征，利用计算机的相关算法技术进行计算，从而识别个人身份的技术，这种技术具有安全性、便利性、不易伪造和易获取等特点，极大程度的减少了被破解或被伪造的几率，和传统的个人识别技术相比，每个人的生物识别特征是惟一的，极难被复制和伪造。当前主要的生物识别技术主要分为两个方向，一是在相当长的时间内都不会发生变化的生物特征，如指纹识别、DNA验证、掌纹识别、声纹识别、手部血管识别、人脸识别、三维人脸识别等；二是人们在后期逐渐形成的习惯特性，如写字的笔迹、走路的形态、个人的行为轨迹等等。其中DNA验证技术在准确度上很高，但验证识别的成本很高，专业验证过程的专业度也很高，不易普及。指纹识别和掌纹识别对一些特殊人群，如残疾人、指纹磨损严重的工人都存在局限性。人脸识别因为具有普适性更高，识别过程和采集过程更简单、可靠性高、无需接触等特点，成为当前生物识别领域的热点。虽然人脸识别对比其他生物识别技术有诸多优势，但其也有诸多缺点，如光照强度和光照阴影对人脸识别有影响；不能分辨物体的景深信息，容易被照片或屏幕上的人脸欺骗；二维识别对活体检验的识别准确度不高；黑暗条件下无法进行人脸识别等。由于人脸识别在安全性和准确性方面的不足，近年来，基于深度信息的三维人脸识别技术受到越来越多的重视，三维人脸识别对比二维人脸识别更具有优势，三维人脸识别技术可以从基本原理上完全避免阳光照射阴影或光照强度的影响；三维人脸识别技术可以分辨景深信息，从而完全避免被照片或者屏幕上的人脸所欺骗；对于人脸形状的模型，三维人脸识别技术可以结合红外线技术来进行活体检验，这样可以极大程度避免被虚假的模型欺骗；三维人脸识别技术也可以在黑暗的情况下进行识别，应用的场景比人脸识别更丰富。因此，研究三维人脸识别技术势在必行。在三维人脸识别领域，由于缺乏海量的三维人脸数据，大部分算法还是通过手动提取几何特征的方式来进行识别，这类算法的泛化能力不佳，并且识别率不会随着数据的增多而提升。
技术实现思路
针对上述现有技术的不足，本专利技术提供一种三维人脸识别方法。为解决上述技术问题，本专利技术所采取的技术方案是：一种三维人脸识别方法，包括：步骤1：三维人脸数据进行预处理，生成深度图形式的三维人脸数据集，过程如下：步骤1.1：对“.bnt”格式的文件进行读写，读出五个变量数据，分别为data,zmin,nrows,ncols,imfile；其中，data是一个行数为h，列数为5的数据，数据的前三列分别代表每个三维识别点的{x,y,z}坐标信息，第四列和第五列分别为x和y坐标的归一化数据；zmin是一个数值，如果{x,y,z}坐标中某个值与zmin数值相等，则认为这个三维识别点位并没有检测到物体，即没有识别到返回数据；nrows和ncols分别代表data数据的列数和行数，对data数据进行还原时会用到这两个数据；最后的imfile变量代表此识别数据的名字，可以用这个变量分辨识别数据的身份信息；步骤1.2：把步骤1.1中读取出的三维数据显示成二维的深度图形式，也就是把点云正交投影在二维平面上。所述步骤1.2还包括：取所有z坐标的最小值，对所有非zmin的z坐标加上z坐标最小值的绝对值，解决z坐标存在负值的问题，使得所有的z坐标都大于零，避免显示深度图时这些坐标被当成数值0处理，使得显示出的深度图的人脸不全，人脸的周边位置一些数据点遗失；对经过上述处理后的z坐标进行0到1的归一化，最后对z坐标乘以255，解决因z坐标的数值级别跨度大导致的生成的深度图颜色偏暗的问题，使处理后的深度图显示的轮廓更加清晰。步骤2：采用旋转、局部区域裁切、障碍物覆盖和加噪声的方法，对三维人脸数据进行增强，扩大三维人脸数据样本；所述旋转方法为对标签为同一个人的三维数据同时向右旋转90度和向左旋转90度，生成两个完全不同的三维数据；所述局部区域裁切方法为对脸部边缘进行不同程度的裁剪，整体上保留了五官的数据信息，以此来扩充样本；所述障碍物覆盖方法为通过随机给人脸增加障碍物的方式增加样本库，具体为：先随机选定某一个点，然后选取一个像素坐标在这个点50个像素点之内的另一个点，以这两个点确定一个矩形，把这个矩形中的数据都设置为0，得到障碍物覆盖的样本。所述加噪声方法为使用高斯噪声对三维人脸数据进行数据增强，提高模型的泛化性。步骤3：采用已知多姿态人脸数据库对挤压激励模块改造的残差神经网络进行二维人脸识别，来训练神经网络模型，然后将二维人脸识别网络的中底层特征保留，仅清除最后一个全连接层的权值，用三维人脸数据再次在这个神经网络上进行识别训练，过程如下：步骤3.1：二维人脸检测，将检测出来的人脸图片调整为同一尺寸；步骤3.2：采用挤压激励模块改造后的残差网络来构建二维人脸识别神经网络，设计了一个深度为50层的挤压激励模块改造的残差神经网络，神经网络使用softmax层进行人脸识别的判定，softmax层的维度由数据的标签数决定；步骤3.3：将步骤3.1检测出来的人脸图片输入步骤3.2构建的残差网络中进行训练；步骤3.4：将训练后获得的二维人脸检测模型的全连接层和softmax层的权重值去除，然后将其余权值作为三维人脸网络迁移学习的中低层网络初始权重。进一步的，所述挤压激励模块改造后的残差网络在每个神经单元多了两个全连接层，也就是挤压激励模块中的W1和W2，表示第一个全连接层的权值矩阵，表示第二个全连接层的权值矩阵；所述第一个全连接层使用ReLU激活函数，第二个全连接层使用Sigmoid激活函数。步骤4：使用迁移学习的方式把二维人脸的中底层特征迁移至三维人脸中，实现三维人脸识别，过程如下：步骤4.1：迁移卷积神经网络设计：为了使基于挤压激励模块的深度残差网络能适应三维人脸的特征并应用在三维人脸识别上，去除了深度残差网络最后一个全连接层和softmax层，本文档来自技高网...

【技术保护点】
1.一种三维人脸识别方法，其特征在于，包括如下步骤：/n步骤1：三维人脸数据进行预处理，生成深度图形式的三维人脸数据集；/n步骤2：采用旋转、局部区域裁切、障碍物覆盖和加噪声的方法，对三维人脸数据进行增强，扩大三维人脸数据样本；/n步骤3：采用已知多姿态人脸数据库对挤压激励模块改造的残差神经网络进行二维人脸识别，来训练神经网络模型，然后将二维人脸识别网络的中底层特征保留，仅清除最后一个全连接层的权值，用三维人脸数据再次在这个神经网络上进行识别训练；/n步骤4：使用迁移学习的方式把二维人脸的中底层特征迁移至三维人脸中，实现三维人脸识别。/n

【技术特征摘要】
1.一种三维人脸识别方法，其特征在于，包括如下步骤：
步骤1：三维人脸数据进行预处理，生成深度图形式的三维人脸数据集；
步骤2：采用旋转、局部区域裁切、障碍物覆盖和加噪声的方法，对三维人脸数据进行增强，扩大三维人脸数据样本；
步骤3：采用已知多姿态人脸数据库对挤压激励模块改造的残差神经网络进行二维人脸识别，来训练神经网络模型，然后将二维人脸识别网络的中底层特征保留，仅清除最后一个全连接层的权值，用三维人脸数据再次在这个神经网络上进行识别训练；
步骤4：使用迁移学习的方式把二维人脸的中底层特征迁移至三维人脸中，实现三维人脸识别。


2.根据权利要求1所述的一种三维人脸识别方法，其特征在于：所述步骤1的过程如下：
步骤1.1：对“.bnt”格式的文件进行读写，读出五个变量数据，分别为data,zmin,nrows,ncols,imfile；
其中，data是一个行数为h，列数为5的数据，数据的前三列分别代表每个三维识别点的{x,y,z}坐标信息，第四列和第五列分别为x和y坐标的归一化数据；zmin是一个数值，如果{x,y,z}坐标中某个值与zmin数值相等，则认为这个三维识别点位并没有检测到物体，即没有识别到返回数据；nrows和ncols分别代表data数据的列数和行数，对data数据进行还原时会用到这两个数据；最后的imfile变量代表此识别数据的名字，可以用这个变量分辨识别数据的身份信息；
步骤1.2：把步骤1.1中读取出的三维数据显示成二维的深度图形式，也就是把点云正交投影在二维平面上。


3.根据权利要求2所述的一种三维人脸识别方法，其特征在于：所述步骤1.2还包括：
取所有z坐标的最小值，对所有非zmin的z坐标加上z坐标最小值的绝对值，解决z坐标存在负值的问题，使得所有的z坐标都大于零，避免显示深度图时这些坐标被当成数值0处理，使得显示出的深度图的人脸不全，人脸的周边位置一些数据点遗失；
对经过上述处理后的z坐标进行0到1的归一化，最后对z坐标乘以255，解决因z坐标的数值级别跨度大导致的生成的深度图颜色偏暗的问题，使处理后的深度图显示的轮廓更加清晰。


4.根据权利要求1所述的一种三维人脸识别方法，其特征在于：
所述旋转方法为对标签为同一个人的三维数据同时向右旋转90度和向左旋转90度，生成两个完全不同的三维数据；
所述局部区域裁切方法为对脸部边缘进行不同程度的裁剪，整体上保留了五官的数据信息，以此来扩充样本；
所述障碍物覆盖方法为通过随机给人脸增加障碍物的方式增加样本库；
所述加噪声方法为使用高斯噪声对三维人脸数据进行数据增强，提高模型的泛化性。


5.根据权利要求4所述的一种三维人脸识别方法，其特征在于：所述随机给人脸增加障碍物的方...

【专利技术属性】
技术研发人员：乔建忠，林树宽，周驰，张之敏，刘志腾，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21