人脸检测的方法及装置制造方法及图纸

本发明专利技术适用于人脸识别技术领域，提供了人脸检测的方法及装置，包括：构建并训练级联的多层卷积神经网络；将图像输入所述级联的多层卷积神经网络，并依次经过其中每一级的多层卷积神经网络；若所述级联的多层卷积神经网络的其中一级淘汰掉所述图像，则判定所述图像为非人脸图像；若所述图像从所述级联的多层卷积神经网络的最后一级输出，则判定所述图像为人脸图像。在本发明专利技术中，由于使用了多种类型的监督信息，因此能够学习并使用到鲁棒性更强的特征，相比于传统的检测器，人脸检测的效果更好，且能够利用级联的多层卷积神经网络来同时保证人脸检测的效果和速度。

【技术实现步骤摘要】

本专利技术属于人脸识别
，尤其涉及人脸检测的方法及装置。
技术介绍
在人脸识别应用领域，人脸检测和人脸关键点定位作为后续工作的基础，需要具有很强的鲁棒性，才能保证后续工作正常、高效地执行。在实际应用场景中，人脸数据存在着各种影响因素，例如光照、遮挡、姿态变化等，这些不可控制的因素会对人脸识别的效果造成很大影响。目前，人脸检测技术主要采用基于手工设计的特征实现，例如Haar特征，HOG特征等，这类方法在复杂环境以及人脸姿态、表情变化大的时候鲁棒性较差，对上述影响因素的抗干扰能力差，导致有些时候只能通过牺牲计算速度来保证检测效果。
技术实现思路
有鉴于此，本专利技术实施例提供了人脸检测的方法及装置，以解决现有技术对人脸数据中的影响因素抗干扰能力差，鲁棒性不高的问题。第一方面，提供了一种人脸检测的方法，包括：构建并训练级联的多层卷积神经网络；将图像输入所述级联的多层卷积神经网络，并依次经过其中每一级的多层卷积神经网络；若所述级联的多层卷积神经网络的其中一级淘汰掉所述图像，则判定所述图像为非人脸图像；若所述图像从所述级联的多层卷积神经网络的最后一级输出，则判定所述
图像为人脸图像。第二方面，提供了一种人脸检测的装置，包括：构建单元，用于构建并训练级联的多层卷积神经网络；检测单元，用于将图像输入所述级联的多层卷积神经网络，并依次经过其中每一级的多层卷积神经网络；第一判定单元，用于若所述级联的多层卷积神经网络的其中一级淘汰掉所述图像，则判定所述图像为非人脸图像；第二判定单元，用于若所述图像从所述级联的多层卷积神经网络的最后一级输出，则判定所述图像为人脸图像。在本专利技术实施例中，由于整个网络框架基于的都是卷积神经网络，因此能够学习并使用到鲁棒性更强的特征，相比于传统的检测器，人脸检测的效果更好，且能够利用级联的多层卷积神经网络来同时保证人脸检测的效果和速度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的人脸检测的方法的实现流程图；图2是本专利技术实施例提供的多级联的卷积神经网络结构示意图；图3是本专利技术实施例提供的人脸检测的方法S101的具体实现流程图；图4是本专利技术实施例提供的人脸检测的方法S102的具体实现流程图；图5至图7是本专利技术实施例提供的方案与现有技术其他方案的对比效果图；图8是本专利技术实施例提供的人脸检测的装置的结构框图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。本专利技术实施例基于级联的多层卷积神经网络实现，待测图像依次通过各级多层卷积神经网络，每级多层卷积神经网络均进行非人脸图像的淘汰，被淘汰的图像无需进入下一级多层卷积神经网络，最终，将通过各级多层卷积神经网络的图像判断为人脸图像。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。图1示出了本专利技术实施例提供的人脸检测的方法的实现流程，详述如下：在S101中，构建并训练级联的多层卷积神经网络。在S102中，将图像输入所述级联的多层卷积神经网络，并依次经过其中每一级的多层卷积神经网络。在S103中，若所述级联的多层卷积神经网络的其中一级淘汰掉所述图像，则判定所述图像为非人脸图像。在S104中，若所述图像从所述级联的多层卷积神经网络的最后一级输出，则判定所述图像为人脸图像。在本专利技术实施例中，由于整个网络框架基于的都是卷积神经网络，因此能够学习并使用到鲁棒性更强的特征，相比于传统的检测器，检测效果更好，且能够利用级联的多层卷积神经网络来同时保证人脸检测的效果和速度。在该级联的多层卷积神经网络中，多个卷积神经网络级联在一起，且每个卷积神经网络均包含多个层，不同层的作用有差异。在此，以图2所示的三级网络为例，对级联的多层卷积神经网络的网络结构进行阐述，可以理解的是，在实际应用的网络结构中，网络级联的级数不局限于三级。在图2所示的网络结构中，左上、右上的虚线框内分别为第一级网络、第
二级网络，下方虚线框为第三级网络。由于人脸检测属于一个二分类问题，即，判断输入图像为人脸图像或者非人脸图像，因此，在本专利技术实施例中，输入图像依次经过三级网络，在经过每级网络之后，淘汰掉该级网络所判定的非人脸图像，被淘汰的图像无需进入下一级网络，最终，通过三级网络的图像即被判断为人脸图像。在网络参数的设置上，通过专利技术人的实验发现，使用较少数量的卷积核并采用较深的网络结构，会达到比较好的人脸检测效果。具体地：第一级网络的输入为12x12x3，第二级网络的输入为24x24x3，第三级网络的输入为48x48x3，，其中，3代表输入图像的色彩通道数目为3，即该图像为RGB图像。除了第一级网络的最后一层外，其余卷积层均使用参数化的ReLU函数(Parametric Rectified Linear Units，PReLU)作为激活函数，除了第二级网络与第三级网络的最后一个全连接层外，其余全连接层也均使用PReLU作为激活函数。第一级网络和第二级网络使用人脸与非人脸的二分类信息、人脸候选框的位移信息、人脸关键点的位置信息作为监督信息，第三级网络在前两级网络所采用的监督信息的基础上加入人脸属性(人脸属性包括但不限于人脸表情和人脸性别中的至少一项)作为监督信息。测试阶段，第一级网络和第二级网络只输出人脸与非人脸的判断结果以及人脸候选框的位移，第三级网络除了上述两个输出外，还输出人脸属性和人脸关键点位置。如图2所示，第一级网络的网络结构从左至右依次为：第一层，卷积层，卷积核(conv)大小为3x3，卷积核个数为10；第二层，最大池化层，池化区间(MP)为3x3；第三层，卷积层，卷积核大小为3x3，卷积核个数为16；第四层，卷积层，卷积核大小为3x3，卷积核个数为32；第五层分三个子层，分别与第四层串联，这三个子层均为卷积层，卷积核为1x1，使用的监督信息分别为：人脸与非人脸的二分类信息、人脸候选框的位移信息、人脸关键点的位置信息。第二级网络的网络结构从左至右依次为：第一层，卷积层，卷积核大小为3x3，卷积核个数为28；第二层，最大池化层，池化区间为3x3；第三层，卷积
层，卷积核大小为3x3，卷积核个数为48；第四层，最大池化层，池化区间为3x3；第五层，卷积层，卷积核大小为2x2，卷积核个数为64；第六层，全连接层，神经元个数为128；第七层分三个子层，分别与第六层串联，这三个子层均为全连接层，使用的监督信息分别为：人脸与非人脸的二分类信息、人脸候选框的位移信息、人脸关键点的位置信息。第三级网络的网络结构从左至右依次为：第一层，卷积层，卷积核大小为3x3，卷积核个数为32；第二层，最大池化层，池化区间为3x3；第三层，卷积层，卷积核大小为3x3，卷积核个数为64；第四层，最大池化层，池本文档来自技高网...

【技术保护点】
一种人脸检测的方法，其特征在于，包括：构建并训练级联的多层卷积神经网络；将图像输入所述级联的多层卷积神经网络，并依次经过其中每一级的多层卷积神经网络；若所述级联的多层卷积神经网络的其中一级淘汰掉所述图像，则判定所述图像为非人脸图像；若所述图像从所述级联的多层卷积神经网络的最后一级输出，则判定所述图像为人脸图像。

【技术特征摘要】
1.一种人脸检测的方法，其特征在于，包括：构建并训练级联的多层卷积神经网络；将图像输入所述级联的多层卷积神经网络，并依次经过其中每一级的多层卷积神经网络；若所述级联的多层卷积神经网络的其中一级淘汰掉所述图像，则判定所述图像为非人脸图像；若所述图像从所述级联的多层卷积神经网络的最后一级输出，则判定所述图像为人脸图像。2.如权利要求1所述的方法，其特征在于，所述训练级联的多层卷积神经网络包括：利用多种类型的监督信息对所述级联的多层卷积神经网络进行训练；使用反向传播算法学习卷积神经网络的参数，并在反向传播过程中，选择困难样本训练参数，包括：在正向传播过程中，分别计算本次迭代的样本的损失函数值；将计算出的损失函数值由小到大进行排序；计算该次迭代中单样本的标注值N为该次迭代的样本总数，t为预设阈值，n为所述单样本在所述排序中的序号；令所述标注值f为1的样本参与反向传播。3.如权利要求1所述的方法，其特征在于，在所述级联的多层卷积神经网络的每一级加入人脸关键点定位任务；在所述级联的多层卷积神经网络的最后一级加入人脸属性识别任务，所述人脸属性可包括以下至少一项：人脸的性别和人脸的表情。4.如权利要求1所述的方法，其特征在于，所述级联的多层卷积神经网络的第一级为全卷积神经网络。5.如权利要求1所述的方法，其特征在于，所述将图像输入所述卷积神经网络包括：定义最小能检测到的人脸大小为m，缩放因子为c，构成多个缩放尺度[a1,…,n]，其中，an＝12/m·cn-1，且min(w,h)·an>12，min(w,h)·an+1<12，w和h分别为所述图像的宽和高；将所述图像分别缩放到各所述缩放尺度；当前级别的网络在经过候选检测框位移以及非极大值抑止后，将所有所述候选检测框内的图像缩放并输入到其下一级网络，直至最后一级网络输出最终的所述候选检测框。6.一种人脸检测的装置，其特征在于，包括：构建单元，用于构建并训练级联的多层卷...

【专利技术属性】
技术研发人员：乔宇，张凯鹏，李志锋，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44