本申请提供一种人脸识别及活体检测方法、装置及电子设备。所述方法包括：应用第一神经网络对获取到的第一图像和第二图像进行人脸检测，其中，所述第一图像和所述第二图像由多目摄像机同时对人脸采集获得；通过第二神经网络对所述第一图像和所述第二图像进行特征融合，以得到特征融合结果；将所述特征融合结果传入所述第二神经网络的分类网络进行活体检测。测。测。
【技术实现步骤摘要】
人脸识别及活体检测方法、装置及电子设备
[0001]本专利技术涉及计算机视觉中的人脸活体检测与识别领域，具体涉及一种人脸识别及活体检测方法、装置及电子设备。
技术介绍
[0002]随着生物识别技术的日趋成熟，人脸识别系统已经实现了高精度的人脸检测与识别，并且广泛应用于安防金融等行业。
[0003]但是专利技术人发现现有技术存在用户凭借照片、面具、视频等欺骗识别系统的现象，例如对于门禁系统，现有技术的这种方式将极大的威胁到用户的安全。
[0004]目前，业界针对该问题最常用的人脸活体检测主要包括三类方案：用户须按照指示作出相应的动作(如摇头、眨眼、张嘴)，该方法检测时间长且用户体验不佳；利用传统图像算法基于真人人脸皮肤的反射率与假体人脸不同的特性判断单目摄像头采集的视频是否为活体，该方法实施难度大，且检测正确率较低；利用深度相机进行3D建模来判断是否为活体，该方法更为复杂，运算速度慢，并且深度相机昂贵大大增加了成本。
技术实现思路
[0005]根据本申请的一方面，提出一种人脸识别及活体检测方法。所述方法包括：应用第一神经网络对获取到的第一图像和第二图像进行人脸检测，其中，所述第一图像和所述第二图像由多目摄像机同时对人脸采集获得；通过第二神经网络对所述第一图像和所述第二图像进行特征融合，以得到特征融合结果；将所述特征融合结果传入所述第二神经网络的分类网络进行活体检测。
[0006]根据一些实施例，所述方法中，所述应用第一神经网络对获取到的第一图像和第二图像进行人脸检测，包括：对所述多目摄像机采集到的连续数帧图像进行筛选，以筛选出人脸框最大的一帧图像；将所筛选出的图像作为所述第一图像，将与所述第一图像同时采集的图像作为所述第二图像。
[0007]根据一些实施例，所述方法中，所述第一图像和所述第二图像为红外图像或者深度图像或者彩色图像。
[0008]根据一些实施例，所述方法中，所述通过第二神经网络对所述第一图像和第二图像进行特征融合，包括：对所述第一图像和所述第二图像分别赋予权重；将所述第一图像和所述第二图像的像素值分别乘以各自的权重；在通道的维度上将所述第一图像和所述第二图像拼接或者相加；将拼接或者相加的结果传入所述第二神经网络以进行特征融合。
[0009]根据一些实施例，所述方法中，所述在通道的维度上将所述第一图像和第二图像拼接或者相加，包括：将所述第一图像和所述第二图像的N个通道拼接成2N通道的图像，其中，N为自然数，拼接得到的图像与所述第一图像和所述第二图像的宽和高一致；或者，将所述第一图像和所述第二图像的对应位置的值相加，其中，相加得到的图像与所述第一图像和所述第二图像相比，大小一致。
[0010]根据一些实施例，所述方法中，所述通过第二神经网络对所述第一图像和所述第二图像进行特征融合，包括：将所述第一图像和所述第二图像同时输入所述第二神经网络，以获取所述第一图像的特征和所述第二图像的特征；将所述第一图像的特征和所述第二图像的特征分别赋予权重；对所述第一图像的特征和所述第二图像的特征分别乘以各自权重后的结果进行拼接或相加，以得到所述特征融合结果。
[0011]根据一些实施例，所述方法中，所述通过第二神经网络对所述第一图像和所述第二图像进行特征融合，包括：将所述第一图像和所述第二图像同时输入所述第二神经网络，以进行特征提取；记录特征提取中间过程中的至少两组对应的所述第一图像的特征和所述第二图像的特征；分别把所述至少两组对应的所述第一图像的特征和第二图像的特征进行拼接或者相加，以得到至少两组特征融合中间结果；将所述至少两组特征融合中间结果进行拼接或者相加，以得到所述特征融合结果。
[0012]根据一些实施例，所述方法中，所述应用第一神经网络对获取到的所述第一图像和第二图像进行人脸检测，包括：当通过所述第一图像和所述第二图像进行人脸检测时，如果所述第一图像和所述第二图像检测到人脸的置信度同时大于一定阈值，则判定检测到人脸。
[0013]根据一些实施例，所述方法中，所述应用第一神经网络对获取到的所述第一图像和第二图像进行人脸检测，还包括：若检测到人脸，则裁剪出包含人脸部分的匹配识别图像；将所述匹配识别图像调整为预设大小。
[0014]根据一些实施例，所述方法中，在所述将所述特征融合结果传入所述第二神经网络的分类网络进行活体检测之后，所述方法还包括：如果所述活体检测结果判定为活体，则将所述匹配识别图像输入到第三神经网络，与人脸库中的人脸信息进行匹配识别。
[0015]根据本申请的另一方面，提供一种人脸识别及活体检测的装置，包括：图像获取模块，用于同时对人脸采集获得第一图像和第二图像；人脸检测模块，用于应用第一神经网络对获取到的所述第一图像和所述第二图像进行人脸检测；特征融合模块，用于通过第二神经网络对所述第一图像和所述第二图像进行特征融合，以得到特征融合结果；活体检测模块，用于将所述特征融合结果传入所述第二神经网络的分类网络进行活体检测。
[0016]根据本申请的另一方面，提供一种电子设备。该电子设备包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中任一项所述的方法。
[0017]根据一些实施例，所述电子设备还包括：摄像模组，用于获取所述第一图像和第二图像。
[0018]根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述方法中任一项所述的方法。
[0019]根据本申请示例实施例，通过对来自多目相机实现多模态的输入的图像进行处理，获得更多的特征，这样相较于处理单目相机的图像能够提高识别准确率，且人脸识别时无需用户配合做动作，用户体验佳；通过轻量级神经网络结构与特征融合方法相结合，轻量级神经网络更便于部署于智能门锁等小型智能电器上，识别速度快，泛用性广；新型的特征融合办法能够在训练神经网络过程中，自适应地学习双目输入的权重，从而提高了判断准确率。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0021]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
[0022]图1示出根据本申请示例实施例的人脸识别及活体检测方法流程图。
[0023]图2示出根据本申请示例实施例的图像层面的信息融合方式示意图。
[0024]图3示出根据本申请示例实施例的特征层面的信息融合方式示意图。
[0025]图4示出根据本申请示例实施例的阶级式的特征信息融合方式示意图。
[0026]图5示出根据本申请示例实施例的人脸识别及活体检测装置的框图。
[0027]图6示出根据一示例性实施例的一种电子设备的框图。
具体实施方式
[0028]现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸识别及活体检测方法，其特征在于，包括：应用第一神经网络对获取到的第一图像和第二图像进行人脸检测，其中，所述第一图像和所述第二图像由多目摄像机同时对人脸采集获得；通过第二神经网络对所述第一图像和所述第二图像进行特征融合，以得到特征融合结果；将所述特征融合结果传入所述第二神经网络的分类网络进行活体检测。2.根据权利要求1所述的方法，其特征在于，所述应用第一神经网络对获取到的第一图像和第二图像进行人脸检测，包括：对所述多目摄像机采集到的连续数帧图像进行筛选，以筛选出人脸框最大的一帧图像；将所筛选出的图像作为所述第一图像，将与所述第一图像同时采集的图像作为所述第二图像。3.根据权利要求1所述的方法，其特征在于，所述第一图像和所述第二图像为红外图像或者深度图像或者彩色图像。4.根据权利要求1所述的方法，其特征在于，所述通过第二神经网络对所述第一图像和第二图像进行特征融合，包括：对所述第一图像和所述第二图像分别赋予权重；将所述第一图像和所述第二图像的像素值分别乘以各自的权重；在通道的维度上将所述第一图像和所述第二图像拼接或者相加；将拼接或者相加的结果传入所述第二神经网络以进行特征融合。5.根据权利要求4所述的方法，其特征在于，所述在通道的维度上将所述第一图像和第二图像拼接或者相加，包括：将所述第一图像和所述第二图像的N个通道拼接成2N个通道的图像，其中，N为自然数，拼接得到的图像与所述第一图像和所述第二图像的宽和高一致；或者将所述第一图像和所述第二图像的对应位置的值相加，其中，相加得到的图像与所述第一图像和所述第二图像相比，大小一致。6.根据权利要求1所述的方法，其特征在于，所述通过第二神经网络对所述第一图像和所述第二图像进行特征融合，包括：将所述第一图像和所述第二图像同时输入所述第二神经网络，以获取所述第一图像的特征和所述第二图像的特征；将所述第一图像的特征和所述第二图像的特征分别赋予权重；对所述第一图像的特征和所述第二图像的特征分别乘以各自权重后的结果进行拼接或相加，以得到所述特征融合结果。7.根据权利要求1所述的方法，其特征在于，所述通过第二神经网络对所述第一图像和所述第二图像进行特征融合，包括：将所述第一图像和所述第二...
【专利技术属性】
技术研发人员：盛天翔，陈文，潘锋，
申请(专利权)人：浙江舜宇智能光学技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。