基于多任务自编码器的交互式人脸活体检测方法和装置制造方法及图纸

本发明专利技术公开了一种基于多任务自编码器的人脸活体检测方法和装置。方法包括：通过摄像头进行人脸检测并且跟踪，获得人脸图像；提示用户做指定动作；根据所获得的人脸图像，通过多任务自编码器进行人脸关键点检测以及面部器官状态的判定；多任务自编码器进行人脸位置跟踪，并通过一段时间的视频判断用户是否做指定的动作，同时获取用户图片；重复步骤S2‑S4，经过预定时间后，根据用户完成指定动作情况判断活体检测是否成功。本发明专利技术通过多任务自编码器，既可以定位关键点，也可以自然的加入对指定各种动作的判断，在不增加额外模型运算的同时，能够有效的防止活体检测中的图像及视频攻击。

【技术实现步骤摘要】

本专利技术涉及模式识别，计算机视觉，人脸检测和对齐等
，具体涉及一种基于深度学习的交互式人脸活体检测方法和装置。
技术介绍
人脸识别技术在近年来得到快速的发展，由于其易用性越来越多的场合开始使用人脸识别技术进行身份认定。由于人脸识别系统极易受到照片和视频片段的攻击，因此在判断所采集的人脸图像和注册数据库中人脸图像进行比对的同时，还需要判定所采集的人脸图像是否为真人，即活体检测，活体检测就是用于确定目标为有生命的个体的。目前，对于人脸识别系统有三种较为常见的攻击方式：打印的人脸照片，显示屏上的人脸图像，人脸面具和三维模型。由于伪造方式各种各样，所采用的材料、设备和技术也不尽相同，给人脸活体检测带来了很大的挑战。为了检测这些常用的攻击手段，人们提出了各种活体检测方法。常用的活体检测方法大致可以分为四类，第一类是检测人脸固有的特征，包括眨眼检测，频谱分析等。眨眼检测根据用户无意识的行为特征，但是不能抵抗视频攻击，准确度和鲁棒性都难以做的很好。依据照片的高频成分低于活体人脸图像的假设，频谱分析也是进行活体检测的一种方法。只是此方法需要高分辨率的图像。第二类是利用光源或者传感设备等，热图像传感器在红外光下，通过探测活体人脸和虚假图像的反射区别检测欺骗攻击。但是这一类方法需要增加设备，加大花费的成本。第三类是从视频和音频中提取特征信息，人说话时嘴部运动和声音是同步的。最后一类需要用户的参与，如用户被要求做指定的动作，通过动作判定验证它们是否同步来进行活体检测，传统的交互式人脸活体检测需要单独进行人脸关键点定位、姿态估计、嘴巴张闭状态判断等各种任务，增加了模型的复杂度和计算时间，而且由于没有考虑任务之间的关联性导致模型通用性能下降。
技术实现思路
为了解决现有技术不足，本专利技术的目的是提供一种基于多任务自编码器的交互式人脸活体检测方法，该方法把人脸面部关键点定位、姿态估计、人脸面部状态融合为一个目标函数，用一个模型能够同时解决上述问题，以此来实现人脸活体检测。根据本专利技术一方面，提供了一种基于多任务自编码器的人脸活体检测方法，其特征在于，包括：步骤S1，通过摄像头进行人脸检测并且跟踪，获得人脸图像；步骤S2，按下预定按键，提示用户做指定动作；步骤S3，根据所获得的人脸图像，通过多任务自编码器进行人脸关键点检测以及面部器官状态的判定；步骤S4，多任务自编码器进行人脸位置跟踪，并通过一段时间的视频判断用户是否做指定的动作，同时获取用户图片；步骤S5，重复步骤S2-S4，经过预定时间后，根据用户完成指定动作情况判断活体检测是否成功。根据本专利技术另一方面，提供了一种基于多任务自编码器的人脸活体检测装置，其特征在于，包括：人脸图像获取模块，用于通过摄像头进行人脸检测并且跟踪，获得人脸图像；提示模块，用于提示用户做指定动作；关键点检测模块，用于根据所获得的人脸图像，通过多任务自编码器进行人脸关键点检测以及面部器官状态的判定；判断模块，利用多任务自编码器进行人脸位置跟踪，并通过一段时间的视频判断用户是否做指定的动作，同时获取用户图片；结果判断模块，用于重复执行提示模块、关键点检测模块和判断模块，经过预定时间后，根据用户完成指定动作情况判断活体检测是否成功。根据本专利技术的方法，可以把多种任务：人脸关键点检测、姿态估计、嘴巴张闭、眼睛张闭等融合为一个目标函数，通过一个目标函数求解所有相关的任务，提高了模型的通用性能和泛化性能，能够自然的应用于交互式活体检测上，减小了模型的复杂度和运算开销，增加了模型判断的精度，进而使得活体检测更加高效和鲁棒。附图说明图1是本专利技术基于多任务自编码器的人脸活体检测方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本专利技术进一步详细说明。所描述的实施例子仅旨在便于对本专利技术的理解，而对其不起任何限定作用。本专利技术的目的是提供一种基于多任务自编码器的交互式人脸活体检测方法，该方法把人脸关键点定位、姿态估计、面部状态融合为一个目标函数，用一个模型能够同时解决上述问题，以此来实现人脸活体检测。如图1所示，本专利技术提出了一种基于多任务自编码器的人脸活体检测方法，包括如下步骤：步骤S1，通过摄像头进行人脸检测并且跟踪，获得人脸图像；所述步骤S1包括：步骤S11，在没有人脸图像情况下，开启人脸检测器，检测视频中的人脸；步骤S2，按下特定按键，提示用户做相应的特定动作；用户特定动作有以下形式：左摇头，右摇头，点头，张嘴和眨眼，可以用键盘上指定的几个按键(比如数字键1、2、3、4、5等)对应相应的动作。步骤S3，根据步骤S1所获得人脸图像，通过多任务自编码器进行人脸关键点检测以及面部器官状态的判定，进而判定被测试对象是否做了步骤S2中指定的动作；其中，多任务自编码器如下训练得到：步骤S31，收集人脸图像数据，人工标定关键点位置Sg，头部姿态信息Pg，嘴巴张闭状态Mg，眼睛张闭状态Eg；步骤S32，把人脸图像缩放到指定分辨率大小，如50x50；步骤S33，把缩放的人脸图像输入到第一阶段的多任务自编码器，检测初始的人脸关键点位置坐标S0，同时得到头部姿态信息P0，嘴巴张闭状态M0，眼睛张闭状态E0；在介绍多任务自编码器目标函数之前，我们先介绍一些基本的公式符号含义。假设收集到N张人脸图像{I1，...，Ii，...，IN本文档来自技高网...

【技术保护点】
一种基于多任务自编码器的人脸活体检测方法，其特征在于，包括如下步骤：步骤S1，通过摄像头进行人脸检测并且跟踪，获得人脸图像；步骤S2，按下预定按键，提示用户做指定动作；步骤S3，根据所获得的人脸图像，通过多任务自编码器进行人脸关键点检测以及面部器官状态的判定；步骤S4，多任务自编码器进行人脸位置跟踪，并通过一段时间的视频判断用户是否做指定的动作，同时获取用户图片；步骤S5，重复步骤S2‑S4，经过预定时间后，根据用户完成指定动作情况判断活体检测是否成功。

【技术特征摘要】
1.一种基于多任务自编码器的人脸活体检测方法，其特征在于，包括如下步骤：步骤S1，通过摄像头进行人脸检测并且跟踪，获得人脸图像；步骤S2，按下预定按键，提示用户做指定动作；步骤S3，根据所获得的人脸图像，通过多任务自编码器进行人脸关键点检测以及面部器官状态的判定；步骤S4，多任务自编码器进行人脸位置跟踪，并通过一段时间的视频判断用户是否做指定的动作，同时获取用户图片；步骤S5，重复步骤S2-S4，经过预定时间后，根据用户完成指定动作情况判断活体检测是否成功。2.根据权利要求1所述的方法，其特征在于，步骤S1包括：步骤S11，在没有人脸图像情况下，开启人脸检测器，检测视频中人脸。3.根据权利要求1所述的方法，其特征在于，所述步骤S2中指定动作包括以下的一种或几种的组合：左摇头，右摇头，点头，张嘴和眨眼。4.根据权利要求1所述的方法，其特征在于，所述步骤S3中多任务自编码器通过以下步骤训练得到：步骤S31，收集人脸图像数据，标定关键点位置坐标Sg、头部姿态信息Pg、嘴巴张闭状态Mg和眼睛张闭状态Eg；步骤S32，把人脸图像缩放到第一指定分辨率大小步骤S33，把缩放的人脸图像输入到第一阶段的多任务自编码器，检测人脸图像中初始的人脸关键点位置坐标S0，同时得到头部姿态信息P0、嘴巴张闭状态M0和睛张闭状态E0；步骤S34，再次把人脸图像缩放到第二指定分辨率大小，同时根据初始的人脸关键点位置坐标S0，计算出缩放后的人脸图像关键点位置坐标S01；步骤S35，根据缩放后的人脸图像和缩放后的人脸图像关键点位置坐标S01，在每个人脸关键点周围提取特征，将这些提取的特征串联起来输入到第二阶段的多任务自编码器，得到最终的人脸关键点位置坐标S1、头部姿态信息P1、嘴巴张闭状态M1和眼睛张闭状态E1。5.根据权利要求4所述的方法，其特征在于，所述步骤S31中，第一阶段多任务自编码器的目标函数为： J = J r 1 ( S g , f ( I ; W r ) ) + J r 2 ( P g , f ( I ; W r ) ) + J l 1 ( M g , f ( I ; W l ) ) + J l 2 ( E g , f ( I ; W l ) ) ]]>其中表示关键点检测的损失函数，表示头部姿态估计的损失函数，表示嘴巴张闭损失函数，表示眼睛张闭损失函数，Sg，Pg，Mg，Eg分别是人脸关键点位置坐标、头部姿态信息、嘴巴张闭状态和眼睛张闭状态，I为输入图像，f(·)是第一阶段的多任务自编码器的...

【专利技术属性】
技术研发人员：赫然，孙哲南，谭铁牛，李海青，张曼，李琦，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11