一种基于深度学习的三维人脸识别方法技术

一种基于深度学习的三维人脸识别方法，包括：构建人脸三维深度学习网络，计算每个训练样本的高频

【技术实现步骤摘要】
一种基于深度学习的三维人脸识别方法


[0001]本专利技术涉及一种基于深度学习的三维人脸识别方法，属于信息


技术介绍

[0002]人脸识别是指利用分析人脸视觉特征信息进行身份鉴别的计算机技术，属于非接触式识别，具有很高的隐蔽性，被广泛应用于办公场地、工地等安全系数要求较高的领域。
[0003]近年来，随着深度学习技术的发展，利用神经网络的人脸识别技术日渐成熟，相关应用也日渐落地，但由于在人脸成像过程中损失了深度信息，所有识别结果的可靠性仍有不足。
[0004]因此，如何充分利用人脸的深度信息来有效提高人脸识别结果的可靠性，已成为现有技术中亟待解决的技术问题之一。

技术实现思路

[0005]有鉴于此，本专利技术的目的是提供一种基于深度学习的三维人脸识别方法，能充分利用人脸的深度信息来有效提高人脸识别结果的可靠性。
[0006]为了达到上述目的，本专利技术提供了一种基于深度学习的三维人脸识别方法，包括有：
[0007]步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频
‑
深度映射图，然后将每个训练样本的彩色人脸二维图像和高频
‑
深度映射图同时输入人脸三维深度学习网络中进行训练；
[0008]步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；
[0009]步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待测人脸的人员信息。
[0010]与现有技术相比，本专利技术的有益效果是：本专利技术将人脸深度信息加入到神经网络的训练过程中，弥补了深度信息的缺失，从而有效提高了人脸识别结果的可靠性；本专利技术仅采用一个摄像头，只需要获取被测人脸的单张图像，并结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低、精度高。
附图说明
[0011]图1是本专利技术一种基于深度学习的三维人脸识别方法的流程图。
[0012]图2是计算任一训练样本X的高频
‑
深度映射图的具体流程图。
[0013]图3是图1步骤三中，根据待测人脸的彩色人脸二维图像和三维点云坐标计算三维人脸特征向量的具体流程图。
具体实施方式
[0014]为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术作进一步的详细描述。
[0015]如图1所示，本专利技术一种基于深度学习的三维人脸识别方法，包括有：
[0016]步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频
‑
深度映射图，然后将每个训练样本的彩色人脸二维图像和高频
‑
深度映射图同时输入人脸三维深度学习网络中进行训练；
[0017]步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；
[0018]步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待测人脸的人员信息。
[0019]人脸注册时，可以利用3d传感器准确记录其三维信息，并生成三维人脸特征向量，最后将注册人脸的三维人脸特征向量存入注册库中。
[0020]步骤一中人脸三维深度学习网络的具体结构构建如下：
[0021]基于tensorflow框架实现，并采用编码
‑
解码(即encoder
‑
decoder)结构：在encoder部分中，包含1个卷积层、7个残差层，从而可以将输入的250*250*3的人脸二维图像转变为16*16*1024的特征图；在decoder部分中，设置9个反卷积层，从而可以将特征图转变为250*250*1的三维深度图，再通过三维深度图和点云之间固定的转换关系，将三维深度图转变成三维点云输出，卷积层和反卷积层核的大小均为4，激活函数采用Softplus。这样，当输入250*250*3的彩色人脸二维图像后，人脸三维深度学习网络的输出是250*250的三维点云坐标(共62500个)。
[0022]值得一提的是，在训练人脸三维深度学习网络时，本专利技术可以通过计算每个训练样本的高频
‑
深度映射图，并将每个训练样本的彩色人脸二维图像和高频
‑
深度映射图同时输入人脸三维深度学习网络中进行训练，从而使得训练后得到的模型参数中，人脸图像中的一般特征(即人脸中比较普通、难以用来进行识别的特征)的权重降低，个性特征(即人脸中比较有个性、有助于准确识别的特征)的权重提高，显著提高人脸识别的准确性。如图2所示，计算任一训练样本X的高频
‑
深度映射图，可以进一步包括有：
[0023]步骤11、对训练样本X的彩色人脸二维图像进行傅里叶频谱变换，从而获得训练样本X的频谱图；
[0024]步骤12、从训练样本X的彩色人脸二维图像上提取若干关键点，所述关键点可以是眉毛、眼睛、鼻子、嘴巴、面部轮廓等，然后从训练样本X的频谱图上读取每个关键点的频谱值，并据此计算高通滤波函数的截断值D0，D0是所有关键点的频谱值的平均值；
[0025]步骤13、设定高通滤波函数，并将训练样本X的频谱图通过高通滤波函数以获得滤波后的高频图，高通滤波函数设置如下：其中，D(u，v)是训练样本X的频谱图上坐标(u，v)的频谱值，n是阶次常数，取2或者4，H(u，v)是滤波后得到的频谱值；如此可以有效的除去低频信息，并获得所需要的高频信息；
[0026]步骤14、将训练样本X的高频图进行反向傅里叶变换，从而获得高频彩色人脸二维图像；
[0027]步骤15、将高频彩色人脸二维图像中每个点的亮度值和阈值比对，并将高于阈值的亮度值替换成深度值：判断每个点的亮度值是否高于阈值，如果是，则从训练样本X的三维点云中读取该点的三维坐标，并将所读取的三维坐标转化成深度值，然后将该点的亮度值替换成深度值；如果否，则继续判断下一个点，当比对完所有点后，所获得的高频彩色人脸二维图像即是训练样本X的高频
‑
深度映射图。其中，训练样本X的三维点云可以使用深度相机采集训练样本而得到，阈值可以根据实际业务需要而设置，例如20。
[0028]如图3所示，步骤三中，根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，可以进一步包括有：
[0029]步骤31、将待测人脸的二维图像进行人脸检测、裁剪、对齐后，转化成浮点型矩阵，然后计算对应的二维图像特征向量，所述二维图像特征向量是大小为512的一维向量；
[0030]步骤32、根据待测人脸的三维点云坐标，以鼻尖为坐标原点，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的三维人脸识别方法，其特征在于，包括有：步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频
‑
深度映射图，然后将每个训练样本的彩色人脸二维图像和高频
‑
深度映射图同时输入人脸三维深度学习网络中进行训练；步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待测人脸的人员信息。2.根据权利要求1所述的方法，其特征在于，步骤一中人脸三维深度学习网络的具体结构构建如下：基于tensorflow框架实现，并采用编码
‑
解码encoder
‑
decoder结构：在encoder部分中，包含1个卷积层、7个残差层，从而将输入的250*250*3的人脸二维图像转变为16*16*1024的特征图；在decoder部分中，设置9个反卷积层，从而将特征图转变为250*250*1的三维深度图，再通过三维深度图和点云之间固定的转换关系，将三维深度图转变成三维点云输出，卷积层和反卷积层核的大小均为4，激活函数采用Softplus。3.根据权利要求1所述的方法，其特征在于，计算任一训练样本X的高频
‑
深度映射图，进一步包括有：步骤11、对训练样本X的彩色人脸二维图像进行傅里叶频谱变换，从而获得训练样本X的频谱图；步骤12、从训练样本X的彩色人脸二维图像上提取若干关键点，然后从训练样本X的频谱图上读取每个关键点的频谱值，并据此计算高通滤波函数的截断值D0，D0是所有关键点的频谱值的平均值；步骤13、设定高通滤波函数，并将训练样本X的频谱图通过高通滤波函数以获得滤波后的高频图，高通滤波函数设置如下：其中，D(u,v)是训练样本X的频谱图上坐标(u,v)的频谱值，n是阶次常数，取2或者4，H(u,v)是滤波后得到的频谱值；步骤14、将训练样本X的高频图进...

【专利技术属性】
技术研发人员：车建强，曹予飞，尹茂，
申请(专利权)人：杭州东信北邮信息技术有限公司，
类型：发明
国别省市：