基于多特征融合的人脸活体检测方法及设备技术

本发明专利技术涉及一种基于多特征融合的人脸活体检测方法及设备，属于图像处理与计算机视觉技术领域，该方法包含将具有代表性的图像块送入神经网络支路和二值模式LBP支路，得到每个图像块的第一和第二分类概率，通过反向传播更新网络参数，得到第一和第二分类概率的最优权重，把得到的每个图像块的第一和第二分类概率做加权融合，得到最终检测结果，本发明专利技术首次利用人脸图像块，结合LBP特征和深度神经网络提取的特征进行人脸活体检测，更好地利用了图像信息，不仅提高了人脸活体检测的精确度，而且提高了其泛化能力。

Method and equipment of human face detection based on multi feature fusion

【技术实现步骤摘要】
基于多特征融合的人脸活体检测方法及设备
本专利技术属于图像处理与计算机视觉
，涉及一种基于多特征融合的人脸活体检测方法。
技术介绍
目前，人脸识别技术的研究方兴未艾，近年来一直都是计算机视觉领域的研究热点。由于其和传统的生物识别模式相比(如：指纹和虹膜)，具有方便、快捷和非接触等显著的优点，现已广泛应用于社会和生活的诸多领域，从金融机构的身份认证，到机场、车站的身份验证，再到专业考试或手机、app中的身份验证。这也对人脸识别的准确性和安全性提出了更严格的要求。现有的人脸识别系统比较脆弱，容易受到欺骗、攻击，常见的欺骗种类有打印照片和视频回放。目前抗欺骗的方法主要有三种：(1)基于纹理信息的人脸活体检测方法，由于真实人脸图像是通过对真人的脸部(复杂的非刚性三维物体)进行拍摄得到，而虚假人脸图像是通过二次采集用户的照片或视频得到，所以两种图像的纹理信息会有所不同，可以根据纹理上的差别判断真假脸，这类方法在特定的光照环境下，表现较好，但泛化能力弱。(2)基于运动信息的人脸活体检测方法，这类方法通过检测人脸的自主性生理运动来区分真假脸，如眼部、头部和嘴部的运动。基于运动信息的人脸活体检测方法容易受到光照等自然环境的影响，通常需要处理序列图像，计算投入较大，而且需要用户的配合，用户体验效果不佳。(3)基于深度学习的人脸活体检测方法，这类方法可以更好地提取图像中的人脸信息，检测的精确度也很高，但是深度网络在学习过程中会存在过拟合问题，所以它的泛化能力较差。
技术实现思路
本专利技术为解决上述问题，提供一种基于多特征融合的人脸活体检测方法及设备，利用图像块训练了端到端的神经网络，更全面的提取真实人脸和虚假人脸之间的差异信息，提高了人脸识别的准确率，由于真实人脸和虚假人脸之间差异性较小，我们利用LBP提取图像块的颜色纹理特征，使模型具有较好的泛化能力，有效地将两种特征进行融合，可以使人脸识别更好地应用到实践中。根据本专利技术的一个方面，提供一种基于多特征融合的人脸活体检测方法，包括以下六个步骤：步骤1，提取数据集中的人脸图像，进行归一化处理，将数据分为训练集和测试集；步骤2，使用人脸识别算法，以眼睛为基准，对数据集中人脸部分的特征区域进行剪切，得到具有代表性的图像块；步骤3，将图像块送入神经网络支路，利用卷积神经网络提取特征，使用SoftMax分类器，得到每个图像块的第一分类概率；步骤4，将图像块送入局部二值模式LBP支路，利用LBP模式提取人脸图像块的颜色纹理特征，训练支持向量机SVM模型，得到每个图像块的第二分类概率；步骤5，根据训练集从神经网络支路得到的第一分类概率和LBP支路得到的第二分类概率，通过反向传播更新网络参数，得到第一和第二分类概率的最优权重；步骤6，提取测试集中的图像块分别送入到训练完成的神经网络支路和LBP支路，把得到的每个图像块的第一和第二分类概率做加权融合，得到最终检测结果。根据本专利技术的另一个方面，提供一种基于多特征融合的人脸活体检测设备，包括以下模块：数据预处理模块，用于与摄像头连接，接收摄像头采集的视频或图片数据，提取数据集中的人脸图像，进行归一化处理，将数据分为训练集和测试集；人脸图像块提取模块，用于使用人脸识别算法，以眼睛为基准，对数据集中人脸部分的特征区域进行剪切，得到具有代表性的图像块；神经网络支路模块，用于接收送入的人脸图像块，利用卷积神经网络提取特征，使用SoftMax分类器，得到每个图像块的第一分类概率；局部二值模式LBP支路模块，用于接收送入的人脸图像块，利用LBP模式提取人脸图像块的颜色纹理特征，训练支持向量机SVM模型，得到每个图像块的第二分类概率；最优权值生成模块，用于根据训练集从神经网络支路得到的第一分类概率和LBP支路得到的第二分类概率，通过反向传播更新网络参数，得到第一和第二分类概率的最优权重；检测结果生成模块，从神经网络支路和LBP支路接收测试集中的图像块的第一和第二分类概率，把测试集中的每个图像块的第一和第二分类概率做加权融合，得到最终检测结果。本专利技术的有益效果在于，提出了一种基于多特征融合的人脸活体检测方法及设备，能够准确的检测出虚假人脸图像，结合图像块的深度神经网络特征和LBP颜色纹理特征，更好地利用了图像信息，不仅提高了人脸活体检测的精确度，而且提高了其泛化能力。附图说明图1是本专利技术实施例提供的一种基于多特征融合的人脸活体检测方法流程图；图2是本专利技术实施例使用的局部二值模式LBP颜色纹理特征提取及训练流程图；图3是本专利技术实施例提供的另一种基于多特征融合的人脸活体检测方法流程图；图4是本专利技术实施例提供的一种基于多特征融合的人脸活体检测设备结构图。具体实施方式下面本专利技术具体的实施方式进行阐述，来进一步说明本专利技术的出发点以及相应的技术方案。图1是本专利技术实施例提供的一种基于多特征融合的人脸活体检测方法。所述方法包括以下几个步骤：步骤1，提取数据集中的人脸图像，进行归一化处理，将数据分为训练集和测试集。具体包括把数据集中的视频抽帧，使用人脸检测算法检测出人脸的位置，并裁剪出人脸图像。步骤2，使用人脸识别算法，以眼睛为基准，对数据集中人脸部分的特征区域进行剪切，得到具有代表性的图像块。所述特征区域包括额头、脸颊、嘴角、眼睛等真实人脸所特有区域。步骤3，将图像块送入神经网络支路，利用卷积神经网络提取特征，使用SoftMax分类器，得到每个图像块的第一分类概率。优选的，步骤3具体包括：训练卷积神经网络，搭建Alexnet卷积神经网络，并将相同大小的额头、脸颊、嘴角和眼睛等具有代表性的图像块送入到神经网络中，利用卷积神经网络提取特征，并利用SoftMax分类器，得到每个图像块的预测分类概率。步骤4，将图像块送入局部二值模式LBP支路，利用LBP模式提取人脸图像块的颜色纹理特征，训练支持向量机SVM模型，得到每个图像块的第二分类概率。图2是本专利技术实施例使用的局部二值模式LBP颜色纹理特征提取及训练流程图。优选的，步骤4具体包括：将具有代表性的图像块，从红绿蓝RGB模式分别转换为六角锥体模型HSV和亮度色度YCbCr模式，然后分别在这两个色彩空间中，利用局部二进制模式LBP提取图像块的颜色纹理特征，训练SVM模型，得到每个图像块的分类概率。其中，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。HSV是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，也称六角锥体模型。这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。YCbCr空间将RGB模式分为亮度(Y),色度蓝色(Cb)，色度红色(Cr)。步骤5，根据训练集从神经网络支路得到的第一分类概率和LBP支路得到的第二分类概率，通过反向传播更新网络参数，得到第一和第二分类概率的最优权重。优选的，步骤5具体包括以下步骤：步骤501，把在Imagenet数据集上训练的网络权重加载到Alexnet模型中；步骤502，把训练集的图像块送到神经网络和LBP支路中，并加权融合第一分类概率和第二分类概率，得到最终预测值；步骤503，利用交叉熵损失函数根据最终预测值和真实值的本文档来自技高网...

【技术保护点】
1.一种基于多特征融合的人脸活体检测方法，其特征在于，包括：步骤1，提取数据集中的人脸图像，进行归一化处理，将数据分为训练集和测试集；步骤2，使用人脸识别算法，以眼睛为基准，对数据集中人脸部分的特征区域进行剪切，得到具有代表性的图像块；步骤3，将图像块送入神经网络支路，利用卷积神经网络提取特征，使用SoftMax分类器，得到每个图像块的第一分类概率；步骤4，将图像块送入局部二值模式LBP支路，利用LBP模式提取人脸图像块的颜色纹理特征，训练支持向量机SVM模型，得到每个图像块的第二分类概率；步骤5，根据训练集从神经网络支路得到的第一分类概率和LBP支路得到的第二分类概率，通过反向传播更新网络参数，得到第一和第二分类概率的最优权重；步骤6，提取测试集中的图像块分别送入到训练完成的神经网络支路和LBP支路，把得到的每个图像块的第一和第二分类概率做加权融合，得到最终检测结果。

【技术特征摘要】
1.一种基于多特征融合的人脸活体检测方法，其特征在于，包括：步骤1，提取数据集中的人脸图像，进行归一化处理，将数据分为训练集和测试集；步骤2，使用人脸识别算法，以眼睛为基准，对数据集中人脸部分的特征区域进行剪切，得到具有代表性的图像块；步骤3，将图像块送入神经网络支路，利用卷积神经网络提取特征，使用SoftMax分类器，得到每个图像块的第一分类概率；步骤4，将图像块送入局部二值模式LBP支路，利用LBP模式提取人脸图像块的颜色纹理特征，训练支持向量机SVM模型，得到每个图像块的第二分类概率；步骤5，根据训练集从神经网络支路得到的第一分类概率和LBP支路得到的第二分类概率，通过反向传播更新网络参数，得到第一和第二分类概率的最优权重；步骤6，提取测试集中的图像块分别送入到训练完成的神经网络支路和LBP支路，把得到的每个图像块的第一和第二分类概率做加权融合，得到最终检测结果。2.根据权利要求1所述的方法，其特征在于，步骤3包括：搭建Alexnet卷积神经网络，将具有代表性的图像块送入到神经网络中，利用卷积神经网络提取特征，并利用SoftMax分类器，得到每个图像块的预测分类概率。3.根据权利要求1所述的方法，其特征在于，步骤4包括：将具有代表性的图像块，从红绿蓝RGB模式分别转换为六角锥体模型HSV和亮度色度YCbCr模式，然后分别在这两个色彩空间中，利用局部二进制模式LBP提取图像块的颜色纹理特征，训练SVM模型，得到每个图像块的分类概率。4.根据权利要求1所述的方法，其特征在于，步骤5包括：步骤501，把在Imagenet数据集上训练的网络权重加载到Alexnet模型中；步骤502，把训练集的图像块送到神经网络和LBP支路中，并加权融合第一分类概率和第二分类概率，得到最终预测值；步骤503，利用交叉熵损失函数根据最终预测值和真实值的损失值，进行反向传播更新神经网络中的网络参数；步骤504，迭代步骤502和步骤503，直到损失函数收敛，从而得到神经网络支路和LBP支路的最优权重。5.根据权利要求1所述的方法，其特征在于，步骤6包括：提取测试集中的图像块分别送入到训练完成的神经网络支路和LBP支路，把得到的每个图像块的第一和第二分类概率做加权融合，得到最终检测结果，其中所述加权融合计算的最终概率值p的表达式为：其中p为最终的预测概率值，p1和p2分别表示第一分类概率和第二分类概率对应的最优权值，i表示各个图像块序号，n表示图像块的个数，Ni表示神经网络支路预测的第i个图像块的概率值，Qi表示LBP支路预测的第i个图像块的概率值。6.一种基于多特征融合的人脸活体检测设备，其特征在于，包括：数据预处理模块...

【专利技术属性】
技术研发人员：殷超，陈亚军，
申请(专利权)人：西华师范大学，
类型：发明
国别省市：四川,51