基于多模态视觉信息的人脸识别安全防御方法及系统技术方案

本发明专利技术提供了一种基于多模态视觉信息的人脸识别安全防御方法及系统，获取待识别人脸的可见光图像、深度信息图像和红外热图像；在所述可见光图像中进行人脸区域检测，将人脸区域坐标映射至所述深度信息图像和所述红外热图像；依据所述深度信息图像获取人脸区域的距离深度信息，用于二维假脸的攻击防御；针对获取的人脸区域的距离深度信息，依据所述红外热图像获取人脸面部温度值曲线，用于三维假脸的攻击防御；本发明专利技术利用视觉深度信息与红外热成像人脸温度曲线统计图，有效解决了基于二维平面的假脸攻击与基于三维假脸模型、面具等假脸攻击的防御技术，提高了人脸识别系统的可信度，避免了假借人脸进行信息安全攻击的违法行为。为。为。

【技术实现步骤摘要】
基于多模态视觉信息的人脸识别安全防御方法及系统


[0001]本专利技术属于计算机视觉
，尤其涉及一种基于多模态视觉信息的人脸识别安全防御方法及系统。

技术介绍

[0002]人脸识别是基于人的面部特征信息进行身份识别的一种生物特征识别技术；通过采集含有人脸的图像或视频，并自动检测和跟踪人脸，进而对检测到的人脸进行面部识别；人脸识别可提供图像或视频中的人脸检测定位、人脸属性识别和人脸对比等功能。
[0003]专利技术人发现，现有常见的人脸识别系统，多以可见光摄像机为图像或视频采集设备，将拍摄的二维人脸图像或视频动作作为输入，而如果把高度清晰的假冒视频借助显示设备在人脸识别摄像头前播放，无论是采用配合式活体检测或者静默式活体检测，仅采用二维平面作为输入的验证技术对编辑视频的假脸攻击无法防御，同时，通过对真人三维人脸的建模，可以模仿真人眨眼、说话、头部运动等各种动作，与人脸视频相比这些生理动作更具可控性，对于交互式活体检测方法，攻击人可以按系统提出的交互请求来制作相应的应答，对人脸识别系统来说，真人三维人脸威胁更大，如硅胶人脸，3D打印人脸面具可以破解多种流行终端的人脸识别解锁功能。

技术实现思路

[0004]本专利技术为了解决上述问题，提出了一种基于多模态视觉信息的人脸识别安全防御方法及系统，本专利技术利用视觉深度信息与红外热成像人脸温度曲线统计图，有效解决了基于二维平面的假脸攻击与基于三维假脸模型、面具等假脸攻击的防御技术，提高了人脸识别系统的可信度，避免了假借人脸进行信息安全攻击的违法行为。
[0005]为了实现上述目的，本专利技术是通过如下的技术方案来实现：
[0006]第一方面，本专利技术提供了一种基于多模态视觉信息的人脸识别安全防御方法，包括：
[0007]获取待识别人脸的可见光图像、深度信息图像和红外热图像；
[0008]在所述可见光图像中进行人脸区域检测，将人脸区域坐标映射至所述深度信息图像和所述红外热图像；
[0009]依据所述深度信息图像获取人脸区域的距离深度信息，用于二维假脸的攻击防御；
[0010]针对获取的人脸区域的距离深度信息，依据所述红外热图像获取人脸面部温度值曲线，用于三维假脸的攻击防御。
[0011]进一步的，人脸区域检测时，利用人脸检测深度学习算法，在所述可见光图像中进行人脸区域检测。
[0012]进一步的，进行二维假脸攻击防御时，所述深度信息图像中人脸区的不同部位和深度信息图像采集点的距离是不同；基于人脸不同部位和深度信息图像采集点的距离做统
计模型分析，判断人脸是来自立体人脸还是平面假体。
[0013]进一步的，进行三维假脸攻击防御时，获取人脸面部温度值曲线，根据得到的人脸区域内温度值的连续特征进行判断是否有三维假脸攻击。
[0014]进一步的，所述三维假脸攻击至少包括3D打印人脸的攻击信号、3D打印人脸与照片结合的攻击信号和真人与面具结合的攻击信号中的一种。
[0015]进一步的，对于通过了二维假脸攻击防御和三维假脸攻击防御的人脸区域，进行人脸身份识别操作。
[0016]进一步的，将可见光图像输入至预设的人脸识别深度学习模型，进行身份认证，认证为合法用户，予以授权，认证为非法用户，进行非法访问警告，返回人脸区域检测节点。
[0017]第二方面，本专利技术还提供了一种基于多模态视觉信息的人脸识别安全防御系统，包括：
[0018]数据采集模块，被配置为：获取待识别人脸的可见光图像、深度信息图像和红外热图像；
[0019]人脸区域检测模块，被配置为：在所述可见光图像中进行人脸区域检测，将人脸区域坐标映射至所述深度信息图像和所述红外热图像；
[0020]二维假脸防御模块，被配置为：依据所述深度信息图像获取人脸区域的距离深度信息，用于二维假脸的攻击防御；
[0021]三维假脸防御模块，被配置为：针对获取的人脸区域的距离深度信息，依据所述红外热图像获取人脸面部温度值曲线，用于三维假脸的攻击防御。
[0022]第三方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于多模态视觉信息的人脸识别安全防御方法的步骤。
[0023]第四方面，本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于多模态视觉信息的人脸识别安全防御方法的步骤。
[0024]与现有技术相比，本专利技术的有益效果为：
[0025]1、本专利技术通过深度相机获取的距离信息统计计算可以有效的阻截二维平面人脸伪装的假体攻击，并且增加热成像技术的基础上对真实人脸皮肤温度与三维立体假脸表面温度的差异统计，可以有效的对完整3D模型假脸、区域假脸面具等立体伪装进行防御；为人脸识别系统提供安全防伪的递进式验证，增强活体检测的可靠性，提高人了脸识别的可信度，有效保护合法用户的权益；
[0026]2、本专利技术可以灵活适用于多种人脸识别场景，对光线、环境依赖条件不高，对用户配合行为动作无要求，可以采用无感、静默式的人脸图像采集方式，免除用户对配合指定动作要求的抵触感与执行动作的障碍，提高用户使用的融入感。
附图说明
[0027]构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
[0028]图1为本专利技术实施例1的流程图；
[0029]图2为本专利技术实施例1的系统结构图；
[0030]图3为本专利技术实施例1的第一种视觉信息采集装置示意图；
[0031]图4为本专利技术实施例1的深度相机结构示意图；
[0032]图5为本专利技术实施例1的第二种视觉信息采集装置示意图；
[0033]图6为本专利技术实施例1的第三种视觉信息采集装置示意图；
[0034]图7为本专利技术实施例1的照片人脸可见光图像与深度信息图像；
[0035]图8为本专利技术实施例1的；正常人脸可见光图像与深度信息图像；
[0036]图9为本专利技术实施例1的正常人脸热度图像及温度曲线统计；
[0037]图10为本专利技术实施例1的面具人脸热度图像及温度曲线统计；
[0038]图11为本专利技术实施例1的危险性较高的区域面具假脸与真脸混合攻击模式热度图像及温度曲线；
[0039]图中，1、深度相机，2、可见光相机，3、红外热像仪，4、红外(IR)结构光接收器，5、红外(IR)结构光投射器。
具体实施方式：
[0040]下面结合附图与实施例对本专利技术作进一步说明。
[0041]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0042]人脸识别是基于人的面部特征信息进行身份识别的一种生物特征识别技术。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态视觉信息的人脸识别安全防御方法，其特征在于，包括：获取待识别人脸的可见光图像、深度信息图像和红外热图像；在所述可见光图像中进行人脸区域检测，将人脸区域坐标映射至所述深度信息图像和所述红外热图像；依据所述深度信息图像获取人脸区域的距离深度信息，用于二维假脸的攻击防御；针对获取的人脸区域的距离深度信息，依据所述红外热图像获取人脸面部温度值曲线，用于三维假脸的攻击防御。2.如权利要求1所示的基于多模态视觉信息的人脸识别安全防御方法，其特征在于，人脸区域检测时，利用人脸检测深度学习算法，在所述可见光图像中进行人脸区域检测。3.如权利要求1所示的基于多模态视觉信息的人脸识别安全防御方法，其特征在于，进行二维假脸攻击防御时，所述深度信息图像中人脸区的不同部位和深度信息图像采集点的距离是不同；基于人脸不同部位和深度信息图像采集点的距离做统计模型分析，判断人脸是来自立体人脸还是平面假体。4.如权利要求1所示的基于多模态视觉信息的人脸识别安全防御方法，其特征在于，进行三维假脸攻击防御时，获取人脸面部温度值曲线，根据得到的人脸区域内温度值的连续特征进行判断是否有三维假脸攻击。5.如权利要求4所示的基于多模态视觉信息的人脸识别安全防御方法，其特征在于，所述三维假脸攻击至少包括3D打印人脸的攻击信号、3D打印人脸与照片结合的攻击信号和真人与面具结合的攻击信号中的一种。6.如权利要求1所示的基于多模态视觉信息的人脸识别安全防御方...

【专利技术属性】
技术研发人员：房桦，李滢，孙田晖，李健源，王正林，安隆宇，侯婧，张瑞原，冯斌，张国锋，桑胜举，梁昭，
申请(专利权)人：泰山学院，
类型：发明
国别省市：