一种基于信息融合的反欺骗三维人脸识别方法技术

本发明专利技术的一种基于信息融合的反欺骗三维人脸识别方法，包括：步骤1：采集多个真实人脸的彩色图和深度图并处理；步骤2：根据每张深度图中关键点的深度信息建立多个真实人脸的高斯分布模型，并确定真实人脸高斯分布参数的阈值范围；步骤3：建立待识别人脸的高斯分布模型，将待识别人脸的高斯分布模型参数和真实人脸高斯分布参数的阈值范围进行对比判定，如果判定为真实人脸则执行步骤4，否则不进行人脸识别；步骤4：构建深度卷积神经网络并训练；步骤5：将待识别人脸图像输入到训练好的深度卷积神经网络进行识别，输出识别结果。通过对人脸深度信息进行分析建模，及在数据端进行融合，构建轻量化的网络，提升整个人脸识别系统的性能。

【技术实现步骤摘要】
一种基于信息融合的反欺骗三维人脸识别方法
本专利技术属于人脸识别
，涉及一种基于信息融合的反欺骗三维人脸识别方法。
技术介绍
目前，人脸识别系统已被广泛应用于访问控制、身份去重、视频监控等领域，然而大多数人脸识别方法是基于二维图像进行身份的判别。二维人脸识别在不受约束的环境下仍面临着巨大的挑战，如姿态变化、光照变化、表情变化、伪装变化、整形手术变化等，并且对于管制区域等安全性更加重要性部门来讲，人脸防伪技术显得尤其重要。三维人脸识别相对于二维人脸识别能够利用三维深度信息对上述变化和人脸防伪具有较强的鲁棒性。对于人脸防伪，目前主要的方法有：1)基于运动信息的检测，如通过眨眼动作,嘴部运动进行活性检测；2)基于纹理的分析，如傅里叶频谱分析高斯滤波等，该方法易受到光照、图像分辨率的影响，针对视频攻击效果差；3)基于多光谱的反射情况来进行检测，该方法对采集条件要求严格，多光谱图像成本高于可见光系统；4)基于特征融合的检测，如结合运动分析和人脸文理进行判断，这种方法检测率较高但是平均处理时间较长，且对硬件要求较高。上述这些方法对设备要求较高且无法同时高效的辨别采集到的照片是来源于摄像头前的真实人脸，还是打印出来的照片，又或者是提前录制好的视频等。目前，较好的三维人脸识别是基于深度学习的特征融合方式实现的，但是这样会造成原始的图像信息在深度神经网络的传播过程中丢失的比较严重，导致整个的识别率有所下降。
技术实现思路
本专利技术的目的是提供一种基于信息融合的反欺骗三维人脸识别方法，以提升三维人脸识别准确率，同时解决来自于照片和视频的攻击，实现人脸防伪的功能。本专利技术的一种基于信息融合的反欺骗三维人脸识别方法，包括如下步骤：步骤1：采集多个真实人脸的彩色图和深度图，并对彩色图和深度图进行图像处理，获得真实人脸的彩色图像集和深度图像集；步骤2：根据每张深度图中关键点的深度信息建立多个真实人脸的高斯分布模型，根据多个高斯分布模型确定真实人脸高斯分布参数的阈值范围；步骤3：建立待识别人脸的高斯分布模型，将待识别人脸的高斯分布模型参数和真实人脸高斯分布参数的阈值范围进行对比，判定待识别人脸的真实性，如果判定为真实人脸则执行步骤4进行人脸识别步骤，否则不进行人脸识别步骤；步骤4：构建深度卷积神经网络，并利用真实人脸的彩色图像集和深度图像集对深度卷积神经网络进行训练；步骤5：将待识别人脸图像输入到训练好的深度卷积神经网络进行识别，输出识别结果。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，所述步骤1具体包括：步骤1.1：采集多个真实人脸的彩色图和深度图；步骤1.2：对彩色图进行真实人脸特征点的检测，确定人脸框的坐标信息以及多个特征点的坐标信息，完成人脸矫正对齐与人脸剪切处理；步骤1.3：对深度图进行背景分割以及去噪预处理；步骤1.4：根据彩色图与深度图之间的关系进行特征点的空间映射，根据特征点的映射对深度图进行人脸剪切处理；步骤1.5：最终获得真实人脸的彩色图像集和深度图像集。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，所述步骤2具体包括：步骤2.1：对每张深度图中关键点的深度信息进行离散度分析；步骤2.2：确定每张深度图的关键点间深度信息的最大差值，并计算多张深度图的关键点间深度信息的最大差值的平均值；步骤2.3：根据深度图中深度信息的最小值以及最大差值的平均值，对在一定差值内的深度信息进行归一化操作；步骤2.4：根据归一化后的深度信息，建立每张真实人脸的深度图的鼻子区域的高斯分布模型；步骤2.5：通过深度图像集中每张深度图对应的高斯分布模型，确立真实人脸的高斯分布参数的阈值范围。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，所述步骤3具体包括：步骤3.1：根据步骤1中的图像处理方式对待识别人脸图像进行处理，获得处理后的深度图和彩色图；步骤3.2：对处理后的深度图中关键点的深度信息进行离散度分析；步骤3.3：根据深度图中深度信息的最小值以及步骤2.2中计算获得的深度信息的最大差值的平均值，对在一定差值内的深度信息进行归一化操作；步骤3.4：根据归一化后的深度信息，建立待识别深度图的鼻子区域的高斯分布模型；步骤3.5：将待识别人脸的高斯分布模型参数和真实人脸高斯分布参数的阈值进行对比，如果判定为真实人脸则执行步骤4进行人脸识别步骤，否则不进行人脸识别步骤。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，高斯分布模型公式如下：其中，表示深度信息，是维度为D的向量，是多个向量的平均值，Σ表示所有向量的协方差矩阵。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，步骤4中的深度卷积神经网络是基于SqueezeNet的轻量型孪生网络结构构建的，数据输入端采用的是彩色图和深度图融合而成的4维图像数据，输出为两个表征人脸的特征向量；网络结构分为结构相同的左、右两部分，每部分具体包括：依次连接的卷积层、批标准化层与池化层，之后连接的网络结构以轻量级SqueezeNet结构为主干，轻量级SqueezeNet结构之后依次连接正则化加卷积层、全局平局池化层以及正则化加全连接层；经过左、右两个结构之后将输出的两个表征人脸的特征向量输入到loss层做欧式距离计算，再进行对比损失分类。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，步骤4中利用真实人脸的彩色图像集和深度图像集对深度卷积神经网络进行训练，具体为：(1)读取真实人脸的彩色图像集和深度图像集中的每张真实人脸的彩色图与对应的深度图，之后将彩色图对应的3维矩阵与深度图对应的1维矩阵进行维度的融合，输出一个4维的矩阵，多个真实人脸的彩色图和深度图融合输出的4维矩阵构成模型的训练集；(2)设置深度卷积神经网络的训练参数，包括总的迭代次数、基本学习率lr、权值衰减和Dropout率；(3)将训练集的样本输入到深度卷积神经网络，同时依据深度卷积神经网络训练参数构建Adam优化器；(4)采用基于Adam优化器的优化方法对对比损失函数求最优解来优化神经网络的权重参数，直到达到设定的迭代次数，完成深度卷积神经网络的训练。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，所述对比损失函数如下式表示：其中d＝||an-bn||2，代表两个表征人脸的特征向量的欧氏距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，margin为设定的阈值，设置为1，N为样本的数量。在本专利技术的基于信息融合的反欺骗三维人脸识别方法中，人脸的关键点为人脸特征点中鼻尖的中心、两个眼睛的左右中心、嘴巴的左角和右角五个坐标点。本专利技术的一种基于信息融合的反欺骗三维人脸识别方法，至少具有以下有益效果：1)通过使用人脸图像的深度信息来进行人脸真实性的检测，可以同时用于照片以及视频的攻击检测，通过高斯分布模型的建立，可以较快的进行人脸真实性的判断。2)通过在数据端进行融合，极大的在前端对数据进行保护处理，使用轻量化的网络，极大的减小存储以及空间占用，在保证准确度的情况下，提升整个的人脸识别效率。3)能够在相对较低成本的基础上实现对人脸真实性的检测判断，同时提出的人脸识别方案能够较大程度上减少人脸信息的损失，减小模型存储空间，提高人脸识别的效率，提升整个人脸识别系统的性能。附图说明图1是本专利技术基于本文档来自技高网...

【技术保护点】
1.一种基于信息融合的反欺骗三维人脸识别方法，其特征在于，包括如下步骤：步骤1：采集多个真实人脸的彩色图和深度图，并对彩色图和深度图进行图像处理，获得真实人脸的彩色图像集和深度图像集；步骤2：根据每张深度图中关键点的深度信息建立多个真实人脸的高斯分布模型，根据多个高斯分布模型确定真实人脸高斯分布参数的阈值范围；步骤3：建立待识别人脸的高斯分布模型，将待识别人脸的高斯分布模型参数和真实人脸高斯分布参数的阈值范围进行对比，判定待识别人脸的真实性，如果判定为真实人脸则执行步骤4进行人脸识别步骤，否则不进行人脸识别步骤；步骤4：构建深度卷积神经网络，并利用真实人脸的彩色图像集和深度图像集对深度卷积神经网络进行训练；步骤5：将待识别人脸图像输入到训练好的深度卷积神经网络进行识别，输出识别结果。

【技术特征摘要】
1.一种基于信息融合的反欺骗三维人脸识别方法，其特征在于，包括如下步骤：步骤1：采集多个真实人脸的彩色图和深度图，并对彩色图和深度图进行图像处理，获得真实人脸的彩色图像集和深度图像集；步骤2：根据每张深度图中关键点的深度信息建立多个真实人脸的高斯分布模型，根据多个高斯分布模型确定真实人脸高斯分布参数的阈值范围；步骤3：建立待识别人脸的高斯分布模型，将待识别人脸的高斯分布模型参数和真实人脸高斯分布参数的阈值范围进行对比，判定待识别人脸的真实性，如果判定为真实人脸则执行步骤4进行人脸识别步骤，否则不进行人脸识别步骤；步骤4：构建深度卷积神经网络，并利用真实人脸的彩色图像集和深度图像集对深度卷积神经网络进行训练；步骤5：将待识别人脸图像输入到训练好的深度卷积神经网络进行识别，输出识别结果。2.如权利要求1所述的基于信息融合的反欺骗三维人脸识别方法，其特征在于，所述步骤1具体包括：步骤1.1：采集多个真实人脸的彩色图和深度图；步骤1.2：对彩色图进行真实人脸特征点的检测，确定人脸框的坐标信息以及多个特征点的坐标信息，完成人脸矫正对齐与人脸剪切处理；步骤1.3：对深度图进行背景分割以及去噪预处理；步骤1.4：根据彩色图与深度图之间的关系进行特征点的空间映射，根据特征点的映射对深度图进行人脸剪切处理；步骤1.5：最终获得真实人脸的彩色图像集和深度图像集。3.如权利要求1所述的基于信息融合的反欺骗三维人脸识别方法，其特征在于，所述步骤2具体包括：步骤2.1：对每张深度图中关键点的深度信息进行离散度分析；步骤2.2：确定每张深度图的关键点间深度信息的最大差值，并计算多张深度图的关键点间深度信息的最大差值的平均值；步骤2.3：根据深度图中深度信息的最小值以及最大差值的平均值，对在一定差值内的深度信息进行归一化操作；步骤2.4：根据归一化后的深度信息，建立每张真实人脸的深度图的鼻子区域的高斯分布模型；步骤2.5：通过深度图像集中每张深度图对应的高斯分布模型，确立真实人脸的高斯分布参数的阈值范围。4.如权利要求3所述的基于信息融合的反欺骗三维人脸识别方法，其特征在于，所述步骤3具体包括：步骤3.1：根据步骤1中的图像处理方式对待识别人脸图像进行处理，获得处理后的深度图和彩色图；步骤3.2：对处理后的深度图中关键点的深度信息进行离散度分析；步骤3.3：根据深度图中深度信息的最小值以及步骤2.2中计算获得的深度信息的最大差值的平均值，对在一定差值内的深度信息进行归一化操作；步骤3.4：根据归一化后的深度信息，建立待识...

【专利技术属性】
技术研发人员：高文龙，陈楚，石乐强，刘潇，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21