检测图像中人脸活度的系统和方法及电子设备技术方案

本申请公开了一种图像检测系统和方法及电子设备。该技术涉及面部属性识别领域。该技术可以识别图像中的人脸为真实的或具有欺骗性的。本申请提供的系统和方法包括：识别面部属性和利用多任务学习网络。神经网络包括分割功能和分类功能。最终输出结果用于获取像素级语义信息和高级特征信息。语义信息和高级特征信息。语义信息和高级特征信息。

【技术实现步骤摘要】
检测图像中人脸活度的系统和方法及电子设备


[0001]本申请涉及人脸活度检测的系统和方法，其旨在使提取面部属性更为便利以确定所呈现的面部是真实的还是欺骗性的。更具体地说，本申请旨在提供一种新的人脸反欺骗多任务学习网络，将分割任务与分类任务相结合，以进行人脸图像的活度检测。

技术介绍

[0002]基于图像的人脸反欺骗是指仅将三原色(Red Green Blue，RGB)图像作为输入而无需深度或热量等额外信息的人脸反欺骗技术。在过去的工作中，如“Blacksesame”提出的“基于深度神经网络的RGB
‑
近红外(Near Infrared Ray，NIR)双摄像头人脸反欺骗系统”所提到的，基于多传感器的方法在人脸反欺骗上可以达到很好的性能表现。现有的基于图像的人脸反欺骗方法可以分为两类：传统方法和基于深度学习的方法。
[0003]最近，深度学习方法，尤其是卷积神经网络(Convolution Neural Network，CNN)，已经在人脸反欺骗研究中得到了利用，并且如Yaojie Liu在“计算机视觉和模式识别”中提到的，一些已公开的CNN成果总体上性能优于传统方法。此外，由Lei Li和Keyurkumar Patel提出的“具有鲁棒特征表示的跨数据库人脸反欺骗”方法利用预训练的快速特征嵌入卷积结构网络(Convolutional Architecture for Fast Feature Embedding Network，CaffeNet)或二维物体识别(Visual Geometry Group，VGG)人脸模型作为特征提取器来区分活体人脸和欺骗人脸。
[0004]此外，Sergey Tulyakov在“现实条件下从面部视频中进行心率估计的自适应矩阵补全”中利用了多个空间尺度来对活体图像和欺骗图像进行分类。还有一些附加信息，例如远程照片体积描记法和欺骗噪声等已被开发。
[0005]J.Yang在“用于人脸反欺骗的学习卷积神经网络”中提出使用从原始帧中裁剪出的不同比例的图像堆栈作为CNN模型的输入。此外，Z.Xu在“使用长短期记忆(Long Short Term Memory，LSTM)CNN架构学习暂态特征用于人脸反欺骗”中提出通过LSTM CNN网络利用帧之间的暂态特征。Y.Atoum在“使用基于补丁和深度的卷积神经网络进行人脸反欺骗”中提出使用全卷积神经网络来估计输入的人脸图像的深度，然后将生成的深度图馈入支持向量机(support vector machine，SVM)以区分活体人脸和欺骗人脸。
[0006]另一个现有技术为美国专利8856541提供的一种通过利用图形用户界面(Graphical User Interface，GUI)来检测图像中的活度的技术。该专利中的系统利用GUI元素来提供用于基于面部的第一和第二图像检测人的眼睛运动的挑战模式。虽然此现有技术提供了全面的分析并给出了准确的结果，但是在仅提供单个图像的情况下仍然无法检测活度。
[0007]尽管上述相关技术的性能相对于传统方法有所进步，但是对于实际应用来说，它们的检测精度和对外部干扰变量的鲁棒性仍然不太令人满意。此外，所有参考文献都解决了活度检测问题，但是都没有公开分割引导的反欺骗分类网络，因此具有局限性。
[0008]因此，为了克服上述参考文献的局限性，本申请提出了一种将分割任务与分类任
务相结合的新的人脸反欺骗多任务学习网络。此外，本申请的系统包括对现有技术的以下创新。
[0009]·
一种新的用于人脸反欺骗的多任务学习网络。
[0010]·
一种用于人脸反欺骗任务的多尺度注意力输入解决方案。
[0011]·
一种主任务和副任务的决策融合方案。
[0012]本申请旨在提供一种对识别图像中人脸活度的改进。本申请提供了一种多任务学习网络，命名为分割引导的人脸反欺骗分类网络。
[0013]显然，在现有技术中开发了适合各种目的的多种方法和系统。然而，尽管这些申请可能适用于它们所针对的特定目的，但是不适用于如前所述的本申请的目的。因此，需要一种先进的图像检测系统来检测图像的活度。

技术实现思路

[0014]本申请提供了一种用于面部图像的活体检测的系统和方法，利用面部属性来确定所呈现的面部是真实的还是虚假。本申请提供了一种新颖的人脸反欺骗多任务学习网络。此外，学习网络将分割任务与分类任务相结合，进行人脸图像的活度检测。并且本申请的系统包括如下所述的多个的基本要素，以实现检测输入图像的人脸是真还是假的目标。
[0015]人脸检测模块，用于处理和缩放输入图像以生成特征图。其中，输入图像缩放通常用于根据需求提取少量或多个面部属性。
[0016]分割引导的反欺骗分类网络，用于执行图像的分割和分类。
[0017]融合模块，用于结合分割模块和分类模块的结果来识别人脸图像的活度。
[0018]本申请的主要目的是提供一种利用分割模块和分类模块的多任务学习网络，以及进行人脸图像中的活度检测的系统。
[0019]人脸检测模块接收输入图像以处理和识别感兴趣区域(Region of Interest，ROI)。人脸检测模块识别面部并通过边界框突出显示面部。对被识别的面部进行缩放以重新缩放图像来识别详细的面部属性。此外，人脸检测模块还获取面部区域和面部部分之外的信息。
[0020]分割模块提取像素级语义信息。每个像素的准确语义信息通过对图像进行标注来获取。使用四种标签对活体图像和欺骗图像在像素级别进行标注，这些标注是像素级别图像的彩色表示，用于在像素级别识别图像的某些属性。分割模块在分割每个像素后对欺骗像素和活体像素的数量进行计数。
[0021]分类模块从输入图像中提取高级特征信息。执行概率确定操作以检测特征是否属于欺骗的或活体的。此外，概率估计是通过softmax函数实现的。
[0022]本申请的另一目的在于提供一种分割模块，用作辅助模块以收集最终结果。
[0023]本申请的又一目的在于提供一种分类模块和融合模块。分类模块确定一个概率值，融合模块将分割模块的结果与分类模块的结果融合。分类模块和融合模块仅在分割模块未能检测到图像的活度时才被应用。
[0024]本申请的再一个目的是提供一种标注单元，用于根据定义的色板将单独的颜色标注到面部、前景区域和背景区域。
[0025]本申请的再一个目的是提供基于真人脸、假人脸、真前景、假前景、真背景和假背
景的标注。此外，标注单元生成图像的特征图。
[0026]然而，本申请的再一个目的是提供一种解码头以获取携带局部和全局上下文信息的特征表示。
[0027]本申请的其他目的和方面将体现在以下结合附图的详细描述中，这些附图示出了根据本申请实施例的特征。
[0028]为了实现上述和相关的目的，本申请可以以附图中所示的形式实施，但是要注意以下事实，附图仅是说明性的，并且可以在所附权利要求的范围内说明和描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检测系统，用于检测图像的活度，其特征在于，包括：人脸检测模块，包括：处理单元，用于处理所述图像以识别感兴趣区域；缩放单元，用于缩放所述感兴趣区域以识别一个或多个面部特征以生成第一图像；标注单元，用于将多个定义颜色中的第一颜色标注到所述第一图像的人脸区域，将所述多个定义颜色中的第二颜色标注到所述第一图像的前景区域，以及将所述多个定义颜色中的第三颜色标注到所述第一图像的背景区域，以生成第二图像；以及分割模块，包括：提取器单元，用于基于所述多个定义颜色提取所述第二图像内的多个像素以生成第三图像；以及计数器单元，用于对所述第三图像中的活体像素和欺骗像素进行计数，以检测所述图像的活度。2.根据权利要求1所述的图像检测系统，其特征在于，所述标注是基于真人脸、假人脸、真前景、假前景、真背景和假背景。3.根据权利要求1所述的图像检测系统，其特征在于，所述标注单元基于所述前景区域和所述背景区域的活度来分配颜色。4.根据权利要求1所述的图像检测系统，其特征在于，所述标注单元生成所述图像的特征图。5.一种图像检测系统，用于检测图像的活度，其特征在于，包括：人脸检测模块，包括：处理单元，用于处理所述图像以识别感兴趣区域；缩放单元，用于缩放所述感兴趣区域以识别一个或多个面部特征以生成第一图像；标注单元，用于将多个定义颜色中的第一颜色标注到所述第一图像的前景区域，将所述多个定义颜色中的第二颜色标注到所述第一图像的背景区域，以生成第二图像；以及分割模块，包括：提取器单元，用于基于所述多个定义颜色提取所述第二图像内的多个像素以生成第三图像；以及计数器单元，用于对所述第三图像中的活体像素和欺骗像素进行计数，以检测所述图像中的活度；分类模块，用于提取所述...

【专利技术属性】
技术研发人员：吕树恩，李博，
申请(专利权)人：黑芝麻智能科技上海有限公司，
类型：发明
国别省市：