基于双目摄像头的静默活体检测方法及系统技术方案

本公开涉及基于双目摄像头的静默活体检测方法及系统。根据本公开的一个实施例，提供了一种基于双目摄像头的静默活体检测方法，包括：通过双目摄像头获得同一对象的可见光图像以及红外图像，通过将获得的可见光图像的人脸区域以及红外图像的对应的区域进行比较来确定所获得的图像是否来自电子照片或视频，通过将获得的红外图像中的人脸的两侧区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片，以及通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像，将四通道图像输入经训练的神经网络分类器，以确定获得的图像是否来自面具或头模。或头模。或头模。

【技术实现步骤摘要】
基于双目摄像头的静默活体检测方法及系统


[0001]本公开涉及人脸识别领域，特别是涉及一种基于双目摄像头的静默活体检测方法。

技术介绍

[0002]图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。它是人工智能的一个重要领域。其中人脸识别是图像识别的一个重要方面。另一方面，深度学习模型近年来在图像分类领域的能力得到了指数级的提升，并成为了人工智能领域最为活跃的研究领域。随着近几年深度学习技术的快速发展，人脸识别已经应用到各行各业，如安防、支付、刑侦等领域。但仍然存在需要改进的方面。

技术实现思路

[0003]根据本公开的一个实施例，提供了一种基于双目摄像头的静默活体检测方法，包括：通过双目摄像头获得同一对象的可见光图像以及红外图像，通过将获得的可见光图像的人脸区域以及红外图像的对应的区域进行比较来确定所获得的图像是否来自电子照片或视频，通过将获得的红外图像中的人脸的两侧区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片，以及通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像，将四通道图像输入经训练的神经网络分类器，以确定获得的图像是否来自面具或头模。
[0004]提供上述方案概述仅为了提供对本文所描述的主题的各方面的基本理解。因此，上述方案中的技术特征仅是示例并且不应被解释为以任何方式限制本文所描述的主题的范围或精神。本文所描述的主题的其他特征、方面和优点将从以下结合附图描述的具体实施方式而变得明晰。
附图说明
[0005]当结合附图考虑实施例的以下具体描述时，可以获得对本公开内容更好的理解。在各附图中使用了相同或相似的附图标记来表示相同或相似的部件和操作。其中：
[0006]图1示出了根据本专利技术的一个实施例的基于双目摄像头的静默活体检测方法的流程图。
[0007]图2A及图2B分别示出了真实人脸的红外图像以及真实人脸的灰度化的可见光图像的示例。
[0008]图3A及图3B分别示出了屏幕的红外图像以及屏幕的灰度化的可见光图像的示例。
[0009]图4示出了根据本专利技术的一个实施例的将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的流程图。
[0010]图5示出了根据本专利技术的一个实施例的通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性的流程图。
[0011]图6A及图6B分别示出了打印照片的红外图像以及打印照片的灰度化的可见光图像的示例。
[0012]图7示出了根据本专利技术的一个实施例确定所获得的图像是否来自打印照片时所使用的红外图像中的人脸的两侧区域的示意图。
[0013]图8示出了根据本专利技术的一个实施例的方法通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像的流程图。
[0014]图9示出了根据本专利技术的一个实施例的方法获得的融合的四通道图像的示例。
[0015]图10示出了根据本专利技术的一个实施例的使用通过融合可见光图像与红外图像的人脸区域而获得的人脸区域的四通道图像训练神经网络分类器的方法的流程图。
具体实施方式
[0016]以下描述根据本公开的方法和系统等各方面的具体示例。描述这些例子仅是为了增加上下文并帮助理解所描述的实施例。因此，对本领域技术人员而言明晰的是，以下所描述的实施例可以在没有具体细节当中的一些或全部的情况下被实施。在其他情况下，众所周知的操作没有详细描述，以避免不必要地模糊所描述的实施例。其他应用也是可能的，本公开的方案并不限制于这些具体示例。
[0017]随着近几年深度学习技术的快速发展，人脸识别已经应用到各行各业，如安防、支付、刑侦等领域，但同时也存在较大安全风险，比如非法分子会采用电子照片、视频、打印照片、面具甚至是3D头模进行攻击，所以人脸活体检测技术在人脸识别领域至关重要。另一方面，现阶段基于深度学习的检测与识别算法的计算量较大，在实际使用中需要尽可能减少耗时才能保证人脸识别算法在硬件受限设备上的实时性，因此不得不努力选择耗时低、精度高、鲁棒性强以及用户配合度低的算法。
[0018]现阶段较为常用的活体检测方案是基于交互式、基于纹理特征或基于较大规模深度神经网络实现的。交互式的活体检测方案通常是用户配合系统做出摇头、张嘴、眨眼等动作，系统根据用户动作反馈判断是否是活体，例如采用眨眼检测的方法进行活体判别。该方法的缺点是用户体验较差，且不适用于人流量大的场合。基于纹理特征实现的活体检测算法通常是采用人工设计的特征描述子提取真实人脸、打印照片以及显示屏的细微纹理差别，并采用机器学习分类模型进行活体判别，例如采用局部二值模式LBP特征描述子提取纹理特征，后采用支持向量机SVM实现特征分类。这种方法的缺点是容易过拟合到训练样本，且容易受光照、遮挡、表情、环境、角度等因素的影响。由于非活体攻击形式多样，且需要模型不过拟合于单一摄像头采集的训练数据，保证模型的泛化性能，所以在实际使用中基于深度学习实现的活体检测模型需要较大规模的网络来增强分类能力，例如可以采用残差网络实现活体判别，这就导致模型耗时高。而且现有方案多是基于可见光图像信息实现的，易受光照因素影响。
[0019]现有技术中基于双目的活体检测方法多是在可见光图像与红外图像分别运行人脸检测算法过滤电子照片与视频回放攻击。两次人脸检测增加了活体检测环节的耗时，且由于常用的人脸检测器的训练样本为可见光图像，导致这样的人脸检测器在红外图像中检测性能较差。针对打印照片、面具以及头模等形式的攻击，采用红外图像或可见光图像训练深度神经网络进行判别，样本可分性信息较少，且神经网络需要抵抗的攻击形式多样，导致
模型复杂度高，增加了该环节的耗时。
[0020]根据本专利技术的一个实施例，提供了一种基于双目摄像头的静默活体检测方法。这里，双目摄像头指的是能够拍摄可见光图像和红外图像二者的摄像头，而静默活体检测意味着用户可无需进行眨眼、张嘴、摇头、点头等配合式组合动作即可进行检测。
[0021]图1示出了根据本专利技术的一个实施例的基于双目摄像头的静默活体检测方法的流程图。在步骤101中，通过双目摄像头获得同一对象的可见光图像以及红外图像。例如，图2A及图2B分别示出了真实人的脸红外图像以及真实人脸的灰度化的可见光图像的示例。图3A及图3B分别示出了屏幕的红外图像以及屏幕的灰度化的可见光图像的示例。图6A及图6B分别示出了打印照片的红外图像以及打印照片的灰度化的可见光图像的示例。由以上附图可以看出，不同对象的可见光图像以及红外图像分别具有不同的特点。
[0022]回到图1，在步骤102中，通过将获得的可见光图像的人脸区域以及红外图像的对应的区域进行比较来确定所获得的图像是否来自电子照片或视频。
[0023]由图2A及图2B可知，真实人脸的红外图像以及真实人脸的灰度化的可见光图像具有结构相似性，而从图3A可知，屏幕的红外图像基本显示为全黑，这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目摄像头的静默活体检测方法，包括：通过双目摄像头获得同一对象的可见光图像以及红外图像，通过将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频，通过将获得的红外图像中的人脸的两侧的区域的红外光强均值与预定阈值进行比较来确定所获得的图像是否来自打印照片，以及通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像，将四通道图像输入经训练的神经网络分类器，以确定获得的图像是否来自面具或头模。2.如权利要求1所述的方法，其中将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的步骤包括：将获得的可见光图像以及红外图像配准，通过人脸检测算法获得可见光图像中的人脸的坐标，计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性，以及通过结构相似性来确定获得的图像是否来自电子照片或视频。3.如权利要求2所述的方法，其中通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性。4.如权利要求3所述的方法，其中通过均值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性包括以下步骤：对所述坐标内的灰度化的可见光图像和红外图像的像素值分别求平均，根据平均值分别将所述灰度化的可见光图像和红外图像的每个像素二值化，分别生成所述二值化的可见光图像和红外图像的哈希值，以及比较可见光图像和红外图像的所生成的哈希值以确定可见光图像和红外图像的结构相似性。5.如权利要求2所述的方法，其中通过差值哈希算法计算所述坐标内的灰度化的可见光图像和红外图像的结构相似性。6.如权利要求1所述的方法，其中通过融合获得的可见光图像与红外图像的人脸区域而形成人脸区域的四通道图像的步骤包括：将获得的可见光图像以及红外图像配准，通过人脸检测算法获得可见光图像中的人脸的坐标，根据所获得的可见光图像中的人脸的坐标截取红外图像的相同坐标区域作为红外图像的人脸区域，以及融合可见光图像的人脸区域与红外图像的人脸区域而形成人脸区域的四通道图像。7.如权利要求1所述的方法，其中通过以下步骤来训练所述神经网络分类器：使用多种双目摄像头从多个角度获得真实人脸的多个可见光图像以及对应的多个红外图像，融合所获得的真实人脸的多个可见光图像以及对应的多个红外图像以形成真实人脸的多个四通道图像，使用多种双目摄像头从多个角度获得头模或面具的多个可见光图像以及对应的多个红外图像，
融合所获得的头模或面具的多个可见光图像以及对应的多个红外图像以形成头模或面具的多个四通道图像，使用真实人脸的多个四通道图像以及头模或面具的多个四通道图像来训练所述神经网络分类器，使得所述分类器能够在真实人脸的四通道图像与头模或面具的四通道图像之间进行分类。8.如权利要求1所述的方法，其中所述神经网络分类器包括四个卷积层、两个全连接层以及表征真实人脸的四通道图像和头模或面具的四通道图像两种标签的两个输出节点，以及所述神经网络分类器的损失函数采用二分类交叉熵损失函数。9.如权利要求1所述的方法，其中所述神经网络分类器采用轻量化网络。10.一种基于双目摄像头的静默活体检测系统，包括：用于通过双目摄像头获得同一对象的可见光图像以及红外图像的装置，用于通过将获得的可见光图像的人脸区域以及红外图像的对应区域进行比较来确定所获得的图像是否来自电子照片或视频的装置，用于通过将获得的红外图像中的人脸的两侧的区域的...

【专利技术属性】
技术研发人员：郭玉杰，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：