人脸活体检测方法、装置、电子设备及存储介质制造方法及图纸

本申请适用于人工智能领域，提供了人脸活体检测方法、装置、电子设备及存储介质。人脸活体检测方法包括：获取人脸检测图像，人脸检测图像包括人脸的红外图像和深度图像；对红外图像进行特征提取，得到全局红外分类特征和局部红外分类特征；对深度图像进行特征提取，得到全局深度分类特征和局部深度分类特征；对全局红外分类特征以及全局深度分类特征进行特征拼接，得到全局多模态特征，对局部红外分类特征以及局部深度分类特征进行特征拼接，得到局部多模态特征；将各分类特征分别输入对应的分类器，得到对应分类结果；若分类结果满足预设条件，则确定人脸检测图像中的人脸为活体人脸。通过多个维度的特征互补，提高人脸活体检测的准确度。测的准确度。测的准确度。

【技术实现步骤摘要】
人脸活体检测方法、装置、电子设备及存储介质


[0001]本申请属于人工智能领域，尤其涉及人脸活体检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，利用人的生物特性进行身份识别得到了广泛的应用，由于人脸识别具有主动性、非侵犯性等优势，在生物特征识别中扮演着重要的角色。比如刷脸支付、人脸手机解锁，高铁刷脸进站和3D人脸识别门锁等等。但是，采用仿冒人脸（例如人脸照片、视频、人脸面具、人脸头模）来攻击人脸识别系统的现象越来越普遍，给人脸识别技术带来了越来越多的挑战。因此，识别人脸图像是否是活体人脸是抵挡仿冒人脸攻击的必要途径。现有的人脸活体检测方法不能适应不同环境下的活体人脸检测，因而人脸识别的准确度不高。

技术实现思路

[0003]有鉴于此，本申请实施例提供了人脸活体检测方法、装置、电子设备及存储介质，可以适应不同环境下的人脸活体检测，从而提高人脸识别的准确度。
[0004]本申请实施例的第一方面提供了一种人脸活体检测方法，包括：获取人脸检测图像，所述人脸检测图像包括人脸的红外图像和深度图像；对所述红外图像进行特征提取，得到全局红外分类特征以及局部红外分类特征；对所述深度图像进行特征提取，得到全局深度分类特征以及局部深度分类特征；对所述全局红外分类特征以及全局深度分类特征进行特征拼接，得到全局多模态特征，对所述局部红外分类特征以及局部深度分类特征进行特征拼接，得到局部多模态特征；将所述全局红外分类特征、所述局部红外分类特征、所述全局深度分类特征、所述局部深度分类特征、所述全局多模态特征、所述局部多模态特征分别输入对应的分类器，得到所述全局红外分类特征、所述局部红外分类特征、所述全局深度分类特征、所述局部深度分类特征、所述全局多模态特征、所述局部多模态特征，分别对应的分类结果；若所述分类结果满足预设条件，则确定所述人脸检测图像中的人脸为活体人脸。
[0005]在一种可能的实现方式中，所述对所述红外图像进行特征提取，得到全局红外分类特征以及局部红外分类特征；对所述深度图像进行特征提取，得到全局深度分类特征以及局部深度分类特征，包括：根据所述红外图像得到全局红外图像和局部红外图像，根据所述深度图像得到全局深度图像和局部深度图像；将所述全局红外图像输入全局红外网络模型，得到全局红外分类特征；将所述局部红外图像输入局部红外网络模型，得到局部红外分类特征；将所述全局深度图像输入全局深度网络模型，得到全局深度分类特征；将所述局部深度图像输入局部深度网络模型，得
到局部深度分类特征。
[0006]在一种可能的实现方式中，所述局部红外图像包括左眼所在区域的图像、右眼所在区域的图像、鼻子所在区域的图像以及，嘴巴所在区域的图像；所述局部红外网络模型包括第一红外模型、第二红外模型、第三红外模型以及第四红外模型；将所述局部红外图像输入局部红外网络模型，得到局部红外分类特征，包括：将所述左眼所在区域的图像输入第一红外模型，得到第一红外特征，将所述右眼所在区域的图像输入第二红外模型，得到第二红外特征，将所述鼻子所在区域的图像输入第三红外模型，得到第三红外特征，将所述嘴巴所在区域的图像输入第四红外模型，得到第四红外特征；将所述第一红外特征、所述第二红外特征、所述第三红外特征以及所述第四红外特征相加，得到局部红外分类特征。
[0007]在一种可能的实现方式中，在所述获取人脸检测图像之前，所述方法还包括：获取训练样本，所述训练样本包括红外训练图像和深度训练图像；基于所述红外训练图像得到全局红外分类模型和局部红外分类模型，基于所述深度训练图像得到全局深度分类模型和局部深度分类模型；基于所述红外训练图像和深度训练图像对应的全局多模态特征和局部多模态特征，对所述全局红外分类模型、局部红外分类模型、全局深度分类模型和局部深度分类模型进行联合训练，得到全局红外网络模型、局部红外网络模型、全局深度网络模型和局部深度网络模型。
[0008]在一种可能的实现方式中，所述局部红外分类模型包括第一局部红外模型、第二局部红外模型、第三局部红外模型以及第四局部红外模型，基于所述红外训练图像得到局部红外分类模型，包括：确定每个所述红外训练图像中的左眼所在区域的图像、右眼所在区域的图像、鼻子所在区域的图像以及，嘴巴所在区域的图像；根据每个所述红外训练图像中的左眼所在区域的图像、右眼所在区域的图像、鼻子所在区域的图像、嘴巴所在区域的图像，以及预设面积计算规则，分别确定所述红外训练图像中的第一区域图像、第二区域图像、第三区域图像以及第四区域图像，所述红外训练图像中的左眼所在区域的图像位于所述第一区域图像内，右眼所在区域的图像位于所述第二区域图像内，鼻子所在区域的图像位于所述第三区域图像内，嘴巴所在区域的图像位于所述第四区域图像内；采用每个所述红外训练图像中的左眼所在区域的图像以及第一区域图像训练第一分类模型，得到第一局部红外模型，采用每个所述红外训练图像中的右眼所在区域的图像以及第二区域图像训练所述第一分类模型，得到第二局部红外模型，采用每个所述红外训练图像中的鼻子所在区域的图像以及第三区域图像训练所述第一分类模型，得到第三局部红外模型，采用每个所述红外训练图像中的嘴巴所在区域的图像以及第四区域图像训练所述第一分类模型，得到第四局部红外模型。
[0009]在一种可能的实现方式中，基于所述红外训练图像得到全局红外分类模型，包括：基于所述红外训练图像以及损失函数
对初始模型进行训练，得到全局红外分类模型，其中，，s1表示全局红外分类模型对应的得分，s2表示局部红外分类模型对应的得分，s3表示全局深度分类模型对应的得分，s4表示局部深度分类模型对应的得分，表示损失函数的平衡调节因子。
[0010]在一种可能的实现方式中，所述分类结果为分类得分，若所述分类结果满足预设条件，则确定所述人脸检测图像中的人脸为活体人脸，包括：根据所述全局红外分类特征、所述局部红外分类特征、所述全局深度分类特征、所述局部深度分类特征、所述全局多模态特征、所述局部多模态特征，分别对应的得分，以及每个得分对应的权重，计算置信度；若所述置信度满足预设条件，则确定所述人脸检测图像中的人脸为活体人脸。
[0011]本申请实施例的第二方面提供了一种人脸活体检测装置，包括：获取模块，用于获取人脸检测图像，所述人脸检测图像包括人脸的红外图像和深度图像；提取模块，用于对所述红外图像进行特征提取，得到全局红外分类特征以及局部红外分类特征；对所述深度图像进行特征提取，得到全局深度分类特征以及局部深度分类特征；拼接模块，用于对所述全局红外分类特征以及全局深度分类特征进行特征拼接，得到全局多模态特征，对所述局部红外分类特征以及局部深度分类特征进行特征拼接，得到局部多模态特征；分类模块，用于将所述全局红外分类特征、所述局部红外分类特征、所述全局深度分类特征、所述局部深度分类特征、所述全局多模态特征、所述局部多模态特征分别输入对应的分类器，得到所述全局红外分类特征、所述局部红外分类特征、所述全局深度分类特征、所述局部深度分类特征、所述全局多模态特征、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸活体检测方法，其特征在于，包括：获取人脸检测图像，所述人脸检测图像包括人脸的红外图像和深度图像；对所述红外图像进行特征提取，得到全局红外分类特征以及局部红外分类特征；对所述深度图像进行特征提取，得到全局深度分类特征以及局部深度分类特征；对所述全局红外分类特征以及全局深度分类特征进行特征拼接，得到全局多模态特征，对所述局部红外分类特征以及局部深度分类特征进行特征拼接，得到局部多模态特征；将所述全局红外分类特征、所述局部红外分类特征、所述全局深度分类特征、所述局部深度分类特征、所述全局多模态特征、所述局部多模态特征分别输入对应的分类器，得到所述全局红外分类特征、所述局部红外分类特征、所述全局深度分类特征、所述局部深度分类特征、所述全局多模态特征、所述局部多模态特征，分别对应的分类结果；若所述分类结果满足预设条件，则确定所述人脸检测图像中的所述人脸为活体人脸。2.如权利要求1所述的方法，其特征在于，所述对所述红外图像进行特征提取，得到全局红外分类特征以及局部红外分类特征；对所述深度图像进行特征提取，得到全局深度分类特征以及局部深度分类特征，包括：根据所述红外图像得到全局红外图像和局部红外图像，根据所述深度图像得到全局深度图像和局部深度图像；将所述全局红外图像输入全局红外网络模型，得到全局红外分类特征；将所述局部红外图像输入局部红外网络模型，得到局部红外分类特征；将所述全局深度图像输入全局深度网络模型，得到全局深度分类特征；将所述局部深度图像输入局部深度网络模型，得到局部深度分类特征。3.如权利要求2所述的方法，其特征在于，所述局部红外图像包括左眼所在区域的图像、右眼所在区域的图像、鼻子所在区域的图像以及，嘴巴所在区域的图像；所述局部红外网络模型包括第一红外模型、第二红外模型、第三红外模型以及第四红外模型；将所述局部红外图像输入局部红外网络模型，得到局部红外分类特征，包括：将所述左眼所在区域的图像输入第一红外模型，得到第一红外特征，将所述右眼所在区域的图像输入第二红外模型，得到第二红外特征，将所述鼻子所在区域的图像输入第三红外模型，得到第三红外特征，将所述嘴巴所在区域的图像输入第四红外模型，得到第四红外特征；将所述第一红外特征、所述第二红外特征、所述第三红外特征以及所述第四红外特征相加，得到局部红外分类特征。4.如权利要求3所述的方法，其特征在于，在所述获取人脸检测图像之前，所述方法还包括：获取训练样本，所述训练样本包括红外训练图像和深度训练图像；基于所述红外训练图像得到全局红外分类模型和局部红外分类模型，基于所述深度训练图像得到全局深度分类模型和局部深度分类模型；基于所述红外训练图像和深度训练图像对应的全局多模态特征和局部多模态特征，对所述全局红外分类模型、局部红外分类模型、全局深度分类模型和局部深度分类模型进行联合训练，得到全局红外网络模型、局部红外网络模型、全局深度网络模型和局部深度网络模型。
5.如权利要求4所述的方法，其特征在于，所述局部红外分类模型包括第一局部红外模型、第二局部红外模型、第三局部红外模型以及第四局部红外模型，基于所述红外训练图像得到局部红外分类模型，包括：确定每个所述红外训练图像中的左眼所在区域的图像、右眼所在区域的图像、鼻子所在区域的图像以及，嘴巴所在区域的图像；...

【专利技术属性】
技术研发人员：李运涛，韩晶，童志军，丁小羽，
申请(专利权)人：南京阅面科技有限公司，
类型：发明
国别省市：