自动人脸稽核方法、系统、设备及可读存储介质技术方案

本发明专利技术公开了一种自动人脸稽核方法，包括步骤：人脸检测，通过级联式神经网络算法检测人脸矩形框的坐标及人脸关键点的坐标；人脸质量评估、筛选，对多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；活体检测，利用双流式的卷积神经网络检测图片中是否为真人，过滤判定为非真人的图片；人脸比对认证，提取图片的人脸特征向量，比对该图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，输出比对结果。本发明专利技术实现了图片稽核的全自动化，无需人工操作，减少了人工成本，过滤相似程度低的图片，减少了人工误差。此外每本发明专利技术使用级联式的图片过滤方式，速度较快。

Automatic face audit method, system, equipment and readable storage medium

【技术实现步骤摘要】
自动人脸稽核方法、系统、设备及可读存储介质
本专利技术涉及图像识别处理
，特别涉及一种自动人脸稽核方法、系统、设备及可读存储介质。
技术介绍
随着移动设备和移动互联网的飞速发展，为了群众办事更加便捷和方便，许多政府平台和企业平台与时俱进，开始融合线下服务和线上服务。例如，各地方政府加快了线上政务服务平台的建设，手机运营商开通了线上营业厅等等。许多线上服务需要按照要求上传照片并存档留底，例如手机运营商移动、联通、电信的线上办理手机号的服务需要上传个人照片，身份证正面照片和身份证反面照片，天猫、淘宝等商城的自主申请开店铺的服务需要上传个人手持身份证的照片。现有的技术中，主要采用人工来对用户上传的个人照片进行审核判断。但是，依赖人工操作去审查用户上传的个人照片是否合规，是否人证合一等，不仅工作效率低，人工成本大，过程中不可避免的会产生人为误差，而且无法及时得给以用户反馈。
技术实现思路
本专利技术要解决的技术问题是如何提供一种快速高效的自动人脸稽核方法、系统、设备及可读存储介质。为了解决上述技术问题，本专利技术的技术方案为：第一方面，本专利技术提出了一种自动人脸稽核方法，包括步骤：人脸检测，通过级联式神经网络算法检测人脸矩形框的坐标及人脸关键点的坐标；人脸质量评估、筛选，对多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；活体检测，利用双流式的卷积神经网络检测图片中是否为真人，过滤判定为非真人的图片；人脸比对认证，提取图片的人脸特征向量，比对该图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，过滤相似程度低的图片。优选地，在人脸检测之前，还包括过滤分辨率在阈值范围之外的图片。优选地，在人脸检测之后，还包括：滤除人脸矩形框大小占图片大小的比例低于阈值的图片；滤除人脸两眼之间的间距低于阈值的图片。优选地，在人脸检测之后，还包括：人脸对齐，计算一图片的人脸关键点坐标与预存的标准人脸的关键点坐标之间的变换矩阵，并将所述变换矩阵作用于该图片，获得对齐后的人脸图像。优选地，人脸比对认证的过程为：提取所述优质图片，使用50层ResNet神经网络输出512维度的浮点向量，记做人脸特征向量；通过比对当前图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，公式为：其中，Si为当前图片的人脸特征向量，Sj为标准图片的人脸特征向量；若所述相似程度低于阈值，则判定为人证不统一；若所述相似程度高于于阈值，则判定为人证统一。优选地，人脸质量评估使用的质量属性包括：人脸质量评估使用的质量属性包括人脸姿态、眼部状态、嘴部状态、妆容状态、整体亮度、左右脸亮度差异、模糊度、遮挡；其中，人脸姿态、眼部状态、嘴部状态、妆容状态、模糊度及遮挡均采用MobileFaceNet结构作为主体构建多任务卷积神经网络，多个任务输出分别对应人脸的各个质量属性。眼部状态、嘴部状态、妆容状态及人脸遮挡为分类任务，采用softmax损失函数作为目标函数；人脸姿态、图像的光照度、图像模糊度为回归任务，采用Euclidean损失函数做为目标函数；网络训练的总目标函数包括多个Softmax损失函数和Euclidean损失函数的组合，多个任务进行共同学习时，总目标函数为多个损失函数的线性组合。优选地，活体检测的过程为：采集深度图像，对图片中的人脸区域进行归一化处理，获得处理后的人脸深度图；将一人脸ID预设帧数的RGB人脸图像和所述人脸深度图输入深度学习网络进行检测，获得每一帧图片的活体判断结果；将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，判断为攻击的帧数多时，则认定对象为非活体。优选地，活体检测的过程为：将人脸从原图中截取出，将RGB通道转换为HSV以及YCbCr空间，并将转换后的HSV和YCbCr图进行叠加，获得叠加图；通过Sobel算子对人脸区域提取Sobel特征，将获得的Sobel特征图；将一人脸ID预设帧数的所述Sobel特征图及所述叠加图分别从双流神经网络的两个输入通道输入，获得每一帧图片的活体判断结果；将该人脸ID的所有活体判断结果进行投票，当判断为活体的帧数多时，则认定对象为活体，当判断为攻击的帧数多时，则认定对象为非活体。第二方面，本专利技术还提出一种自动人脸稽核系统，包括：人脸检测模块，通过级联式神经网络算法检测人脸矩形框及人脸关键点；人脸质量评估模块，通过多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；活体检测模块，利用双流式的卷积神经网络检测图片中是否为真人，过滤无真人的图片；人脸比对模块，提取图片的人脸特征向量，比对图片的人脸特征向量与预存证件照的人脸特征向量之间的相似程度，过滤相似程度低的图片。第三方面，本专利技术还提出一种自动人脸稽核设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的自动人脸稽核方法的步骤。第四方面，本专利技术还提出一种自动人脸稽核的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的自动人脸稽核方法的步骤。本专利技术技术方案是一种结合了人脸检测、人脸质量分析、人脸活体检测以及人脸识别技术的自动人脸稽核方法。通过该方法审查用户上传的个人照片质量是否合规、是否为真人、是否人证合一。本技术方案中，个人照片质量是否合规主要考虑了图片中的人脸是否高质量、便于识别；活体检测主要考虑了照片是否为翻拍或者伪造；人证是否合一主要考虑了证件照和个人照片是否为同一个人。本专利技术实现了图片稽核的全自动化，无需人工操作，减少了人工成本，其算法稳定，减少了人工误差。此外每本专利技术使用级联式的图片过滤方式，速度较快。附图说明图1为本专利技术自动人脸稽核方法一实施例的步骤流程图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。参照图1，本专利技术提出了一种自动人脸稽核方法，包括以下步骤：滤分辨率在阈值范围之外的图片，将竖直方向分辨率低于阈值或者水平方向分辨率低于阈值的照片则为图像分辨率不满足要求。本专利技术实施例中，将竖直方向分辨率低于640或者水平方向分辨率低于480的照片过滤删除。S10：人脸检测，通过级联式神经网络算法检测人脸矩形框的坐标及人脸关键点的坐标。使用级联式的神经网络算法，对图像中人脸框坐标和人脸关键点坐标进行预测。人脸框坐标是指包含人脸面部区域的矩形人脸框；人脸关键点坐标是指人脸面部区域的106个关键点的位置，覆盖到人脸面部区域的眉毛、眼镜、鼻子、嘴巴以及面部轮廓。根据人脸框坐标计算出人脸框大小。当本文档来自技高网...

【技术保护点】
1.一种自动人脸稽核方法，其特征在于，包括步骤：/n人脸检测，通过级联式神经网络算法检测人脸矩形框的坐标及人脸关键点的坐标；/n人脸质量评估、筛选，对多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；/n活体检测，利用双流式的卷积神经网络检测图片中是否为真人，过滤判定为非真人的图片；/n人脸比对认证，提取图片的人脸特征向量，比对该图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，过滤相似程度低的图片。/n

【技术特征摘要】
1.一种自动人脸稽核方法，其特征在于，包括步骤：
人脸检测，通过级联式神经网络算法检测人脸矩形框的坐标及人脸关键点的坐标；
人脸质量评估、筛选，对多个人脸图片的质量属性进行人脸质量评估，筛选优质图片；
活体检测，利用双流式的卷积神经网络检测图片中是否为真人，过滤判定为非真人的图片；
人脸比对认证，提取图片的人脸特征向量，比对该图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，过滤相似程度低的图片。


2.根据权利要求1所述的自动人脸稽核方法，其特征在于：在人脸检测之前，还包括过滤分辨率在阈值范围之外的图片。


3.根据权利要求1所述的自动人脸稽核方法，其特征在于：在人脸检测之后，还包括：
滤除人脸矩形框大小占图片大小的比例低于阈值的图片；
滤除人脸两眼之间的间距低于阈值的图片。


4.根据权利要求1所述的自动人脸稽核方法，其特征在于，在人脸检测之后，还包括：
人脸对齐，计算一图片的人脸关键点的坐标与预存的标准人脸的关键点坐标之间的变换矩阵，并将所述变换矩阵作用于该图片，获得对齐后的人脸图像。


5.根据权利要求1至4任一项所述的自动人脸稽核方法，其特征在于，人脸比对认证的过程为：
提取所述优质图片，使用50层ResNet神经网络输出512维度的浮点向量，记做人脸特征向量；
通过比对当前图片的人脸特征向量与标准图片的人脸特征向量之间的相似程度，公式为：



其中，Si为当前图片的人脸特征向量，Sj为标准图片的人脸特征向量；
若所述相似程度低于阈值，则判定为人证不统一；若所述相似程度高于于阈值，则判定为人证统一。


6.根据权利要求1至4任一项所述的自动人脸稽核方法，其特征在于，人脸质量评估使用的质量属性包括：人脸质量评估使用的质量属性包括人脸姿态、眼部状态、嘴部状态、妆容状态、整体亮度、左右脸亮度差异、模糊度、遮挡；
其中，人脸姿态、眼部状态、嘴部状态、妆容状态、模糊度及遮挡均采用MobileFaceNet结构作为主体构建多任务卷积神经网络，多个任务输出分别对应人脸...

【专利技术属性】
技术研发人员：刘小扬，王心莹，王欢，徐小丹，黄泽斌，
申请(专利权)人：新大陆数字技术股份有限公司，
类型：发明
国别省市：福建;35