基于眨眼的活体检测方法、装置、可读存储介质及设备制造方法及图纸

本发明专利技术公开了一种基于眨眼的活体检测方法、装置、计算机可读存储介质及设备，属于人脸识别领域。该方法包括：对连续多帧人脸图像进行预处理，得到眼部图像；将眼部图像输入轻量级神经网络，得到人眼特征向量；使用多元回归softmax计算人眼特征向量的得分，若得分大于设定分值，则判定人眼状态是闭眼，否则，判定人眼状态是睁眼；根据所有人眼状态判断是否有眨眼动作，若存在眨眼动作，则活体检测通过，否则，活体检测不通过。其中，轻量级神经网络包括4个卷积层、4个池化层、1个全连接层和1个sigmoid层，损失函数为binary log los。本发明专利技术不但能够解决眨眼判断中姿态、光照等变化导致分类准确率下降的问题，还可以使得人脸活体检测的响应时间较短且稳定。

【技术实现步骤摘要】
基于眨眼的活体检测方法、装置、可读存储介质及设备
本专利技术涉及人脸识别领域，特别是指一种基于眨眼的活体检测方法、装置、计算机可读存储介质及设备。
技术介绍
随着人脸识别和认证在金融、信息安全等领域的广泛应用，出现越来越多的身份盗用、虚假身份的问题，其中主要是采用假体对识别和认证系统进行攻击。所以，人脸活体检测具有极其重要的意义。而基于眨眼检测的人脸检活方法则具有用户配合度低，判断准确度高等优点而被广泛的采用。按照眨眼判断的规则区分，现有技术中基于眨眼的活体检测方法大体上可以分为基于特征点定位的方法和基于图像分类的方法两类。(1)基于特征点定位的方法基于特征点定位的方法是根据连续几帧图像人眼特征点位置的相对变化来判断是否有眨眼动作。针对连续几帧图像首先要进行特征点定位，并根据连续两帧或几帧图像中人眼同一位置点坐标的差值来判断是否有眨眼动作。具体来说，眨眼动作存在时，人眼上部分定位的特征点应先向下移动在向上移动，即特征定位点的纵坐标应先减小在增大，人眼下部分定位的特征点应该恰好相反，并且同时存在。基于人脸特征点定位的眨眼判断方法需要完全依赖于较准确人脸特征点定位。并且，该方法需要准确的描述人眼周围的多个关键点，需要定位的关键点多而准确，但现实中定位的准确性极易受到光照、姿态等外界变化的影响。所以，该方法对特征点定位的依赖性较高，对光照等变化鲁棒性较差。(2)基于图像分类的方法该方法是根据人眼的图像判断其状态为睁眼或是闭眼，通过连续多帧的状态统计判断是否存在眨眼动作。针对图像进行二分类(睁眼或是闭眼)，分类算法会直接影响最终的判断结果，基于传统方法的二分类精度相对较低，基于深度学习的方法的准确性依赖于网络的深度和宽度，但深度和宽度较大的卷积神经网络会导致较慢的计算速度。
技术实现思路
为解决上述技术问题，本专利技术提供一种基于眨眼的活体检测方法、装置、计算机可读存储介质及设备，本专利技术不但能够解决眨眼判断中姿态、光照等变化导致分类准确率下降的问题，还可以使得人脸活体检测的响应时间较短且稳定。本专利技术提供技术方案如下：第一方面，本专利技术提供一种基于眨眼的活体检测方法，所述方法包括：对获取的连续多帧人脸图像进行预处理，得到多帧人脸图像的眼部图像；将所述多帧人脸图像的眼部图像输入预先训练的轻量级神经网络，得到多个人眼特征向量；使用多元回归softmax计算每个人眼特征向量的得分，若人眼特征向量的得分大于设定分值，则判定该帧人脸图像的人眼状态是闭眼，否则，判定该帧人脸图像的人眼状态是睁眼；根据所有人脸图像的人眼状态判断是否有眨眼动作，若存在眨眼动作，则活体检测通过，否则，活体检测不通过；其中，所述轻量级神经网络包括4个卷积层、4个池化层、1个全连接层和1个sigmoid层，所述轻量级神经网络的损失函数为binaryloglos。进一步的，所述根据所有人脸图像的人眼状态判断是否有眨眼动作，包括：对连续的多帧人脸图像中的每帧人脸图像，统计该帧人脸图像以及该帧人脸图像之前的若干帧人脸图像的人眼状态，若人眼状态是闭眼的数量大于设定数量，则将该帧人脸图像标记为第一状态，否则，将该帧人脸图像标记为第二状态；若连续的多帧人脸图像存在第一状态和第二状态的交替变化，则判定有眨眼动作。进一步的，所述预处理包括：对人脸图像进行人脸检测和特征点定位；并对人脸检测得到的人脸检测框内的人脸区域进行人脸对齐、归一化和灰度化处理，得到脸部图像；根据特征点定位得到的左眼或右眼的特征点，在人脸图像上选取左眼或右眼区域，并进行灰度化和归一化处理，得到眼部图像。进一步的，所述基于眨眼的活体检测方法还包括：将每帧人脸图像的脸部图像进行二维FFT，将脸部图像从空间域转化到频率域上；计算所有脸部图像在频率域上的响应值的平均值并进行归一化，若平归一化后的均值大于设定数值，则执行下一步，否则，活体检测不通过；判断相邻两帧人脸图像通过人脸检测得到的人脸检测框的相对位置变化，若连续的多帧人脸图像中有超过设定数目的相邻两帧人脸图像的人脸检测框的相对位置变化超过设定阈值，则活体检测不通过，否则，执行所述根据所有人脸图像的人眼状态判断是否有眨眼动作。进一步的，所述轻量级神经网络包括依次相连的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、全连接层和sigmoid层。第二方面，本专利技术提供一种基于眨眼的活体检测装置，所述装置包括：预处理模块，用于对获取的连续多帧人脸图像进行预处理，得到多帧人脸图像的眼部图像；人眼特征向量获取模块，用于将所述多帧人脸图像的眼部图像输入预先训练的轻量级神经网络，得到多个人眼特征向量；人眼状态判断模块，用于使用多元回归softmax计算每个人眼特征向量的得分，若人眼特征向量的得分大于设定分值，则判定该帧人脸图像的人眼状态是闭眼，否则，判定该帧人脸图像的人眼状态是睁眼；活体检测模块，用于根据所有人脸图像的人眼状态判断是否有眨眼动作，若存在眨眼动作，则活体检测通过，否则，活体检测不通过；其中，所述轻量级神经网络包括4个卷积层、4个池化层、1个全连接层和1个sigmoid层，所述轻量级神经网络的损失函数为binaryloglos。进一步的，所述根据所有人脸图像的人眼状态判断是否有眨眼动作通过如下单元实现：状态标记单元，用于对连续的多帧人脸图像中的每帧人脸图像，统计该帧人脸图像以及该帧人脸图像之前的若干帧人脸图像的人眼状态，若人眼状态是闭眼的数量大于设定数量，则将该帧人脸图像标记为第一状态，否则，将该帧人脸图像标记为第二状态；眨眼判断单元，用于若连续的多帧人脸图像存在第一状态和第二状态的交替变化，则判定有眨眼动作。进一步的，所述预处理模块包括：脸部图像获取单元，用于对人脸图像进行人脸检测和特征点定位；并对人脸检测得到的人脸检测框内的人脸区域进行人脸对齐、归一化和灰度化处理，得到脸部图像；眼部图像获取单元，用于根据特征点定位得到的左眼或右眼的特征点，在人脸图像上选取左眼或右眼区域，并进行灰度化和归一化处理，得到眼部图像；进一步的，所述基于眨眼的活体检测装置还包括人脸清晰度检测模块和人脸抖动检测模块：所述人脸清晰度检测模块包括：二维FFT模块，用于将每帧人脸图像的脸部图像进行二维FFT，将脸部图像从空间域转化到频率域上；平均值计算单元，用于计算所有脸部图像在频率域上的响应值的平均值并进行归一化，若归一化后的平均值大于设定数值，则执行人脸抖动检测模块，否则，活体检测不通过；所述人脸抖动检测模块包括：判断相邻两帧人脸图像通过人脸检测得到的人脸检测框的相对位置变化，若连续的多帧人脸图像中有超过设定数目的相邻两帧人脸图像的人脸检测框的相对位置变化超过设定阈值，则活体检测不通过，否则，执行活体检测模块。进一步的，所述轻量级神经网络包括本文档来自技高网...

【技术保护点】
1.一种基于眨眼的活体检测方法，其特征在于，所述方法包括：/n对获取的连续多帧人脸图像进行预处理，得到多帧人脸图像的眼部图像；/n将所述多帧人脸图像的眼部图像输入预先训练的轻量级神经网络，得到多个人眼特征向量；/n使用多元回归softmax计算每个人眼特征向量的得分，若人眼特征向量的得分大于设定分值，则判定该帧人脸图像的人眼状态是闭眼，否则，判定该帧人脸图像的人眼状态是睁眼；/n根据所有人脸图像的人眼状态判断是否有眨眼动作，若存在眨眼动作，则活体检测通过，否则，活体检测不通过；/n其中，所述轻量级神经网络包括4个卷积层、4个池化层、1个全连接层和1个sigmoid层，所述轻量级神经网络的损失函数为binary log los。/n

【技术特征摘要】
1.一种基于眨眼的活体检测方法，其特征在于，所述方法包括：
对获取的连续多帧人脸图像进行预处理，得到多帧人脸图像的眼部图像；
将所述多帧人脸图像的眼部图像输入预先训练的轻量级神经网络，得到多个人眼特征向量；
使用多元回归softmax计算每个人眼特征向量的得分，若人眼特征向量的得分大于设定分值，则判定该帧人脸图像的人眼状态是闭眼，否则，判定该帧人脸图像的人眼状态是睁眼；
根据所有人脸图像的人眼状态判断是否有眨眼动作，若存在眨眼动作，则活体检测通过，否则，活体检测不通过；
其中，所述轻量级神经网络包括4个卷积层、4个池化层、1个全连接层和1个sigmoid层，所述轻量级神经网络的损失函数为binaryloglos。


2.根据权利要求1所述的基于眨眼的活体检测方法，其特征在于，所述根据所有人脸图像的人眼状态判断是否有眨眼动作，包括：
对连续的多帧人脸图像中的每帧人脸图像，统计该帧人脸图像以及该帧人脸图像之前的若干帧人脸图像的人眼状态，若人眼状态是闭眼的数量大于设定数量，则将该帧人脸图像标记为第一状态，否则，将该帧人脸图像标记为第二状态；
若连续的多帧人脸图像存在第一状态和第二状态的交替变化，则判定有眨眼动作。


3.根据权利要求1所述的基于眨眼的活体检测方法，其特征在于，所述预处理包括：
对人脸图像进行人脸检测和特征点定位；并对人脸检测得到的人脸检测框内的人脸区域进行人脸对齐、归一化和灰度化处理，得到脸部图像；
根据特征点定位得到的左眼或右眼的特征点，在人脸图像上选取左眼或右眼区域，并进行灰度化和归一化处理，得到眼部图像。


4.根据权利要求3所述的基于眨眼的活体检测方法，其特征在于，所述基于眨眼的活体检测方法还包括：
将每帧人脸图像的脸部图像进行二维FFT，将脸部图像从空间域转化到频率域上；
计算所有脸部图像在频率域上的响应值的平均值并进行归一化，若归一化后的平均值大于设定数值，则执行下一步，否则，活体检测不通过；
判断相邻两帧人脸图像通过人脸检测得到的人脸检测框的相对位置变化，若连续的多帧人脸图像中有超过设定数目的相邻两帧人脸图像的人脸检测框的相对位置变化超过设定阈值，则活体检测不通过，否则，执行所述根据所有人脸图像的人眼状态判断是否有眨眼动作。


5.根据权利要求1-4任一所述的基于眨眼的活体检测方法，其特征在于，所述轻量级神经网络包括依次相连的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、全连接层和sigmoid层。


6.一种基于眨眼的活体检测装置，其特征在于，所述装置包括：
预处理模块，用于对获取的连续多帧人脸图像进行预处理，得到多帧人脸图像的眼部图像；
人眼特征向量获取模块，用于将...

【专利技术属性】
技术研发人员：周军，王洋，江武明，丁松，
申请(专利权)人：北京眼神智能科技有限公司，北京眼神科技有限公司，
类型：发明
国别省市：北京;11