基于级联深度卷积神经网络的人脸检测方法技术

本发明专利技术公开了一种基于级联深度卷积神经网络的人脸检测方法，包括：建立n级深度卷积网络；对训练样本填充后进行卷积运算；将特征图中的部分或全部特征图作为下一层卷积层的输入，进行卷积运算；重复上一步骤直至到第n+1层卷积层；将第n+1层卷积层输出的特征图串行化得到高维向量，将高维向量与全连接层的节点进行全连接；输出人脸框坐标和人脸质量评价得分；获取人脸检测损失函数、图像质量评价损失函数及总损失函数；获取训练样本的损失函数，进行训练样本权值的更新；训练出级联深度卷积神经网络。本发明专利技术能同时解决人脸检测和人脸图像质量评价的问题、在提高处理速度的同时还能提高性能。

【技术实现步骤摘要】
基于级联深度卷积神经网络的人脸检测方法
本专利技术涉及人脸检测领域，特别涉及一种基于级联深度卷积神经网络的人脸检测方法。
技术介绍
人脸检测(FaceDetection)是指在输入图像中，采用一定的策略对其进行搜索，确定其中是否含有人脸，如果有则返回各个人脸的位置及大小的过程。。人脸检测是人脸识别的基础，是人脸识别的先行步骤。人脸检阶段检测出的人脸图像质量好坏直接影响到人脸识别的精度。传统的人脸识别过程中，人脸检测和人脸图像质量评价是分两个阶段任务完成的，先检测出人脸图像，然后对检测出的人脸图像进行质量评价。这种方法有两个不足之处，一是需要消耗更多的处理时间，而在许多图像实时处理中，处理时间是一个很关键的指标。二是人脸检测的过程本身就需要用到图像质量作为判断依据，两种之间存在相关性。将这两个任务分开处理，会割裂两者之间的相关性。人脸检测方法可分成四大类：1)基于知识的方法。这种方法将研究人员对人脸的知识编码成识别规则。例如图像中的人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴吧。特征之间的相互关系可以通过它们之间的距离和位置关系来描述。这种方法的问题是很难将人的知识转换为明确定义的规则。如果规则过于详细，则会导致低的识别率，反之，如果规则太通用，则会导致高的错检率。2)特征不变量方法。这种方法的依据是人可以容易地识别出不同姿态、角度、光照条件下的人脸，因此可以认为图像中存在不随姿态、角度、光照条件改变的特征不变量。该方法先提取出诸如眉毛、眼睛、鼻子、嘴巴等面部特征，然后建立统计模型描述特征之间的关系以证实人脸的存在。该方法的问题是当图像中存在光照、噪声和遮挡等现象时，提取出来的特征可能会变得不可靠。3)模板匹配方法。这种方法预先定义好一些标准的人脸模式，通过计算输入图像区域和标准模式之间的相关程度来检测人脸。该方法实现简单，但不能有效地处理尺度、状态、形状变化的的问题。4)基于机器学习的方法。这种方法从训练图像中学习得到人脸和非人脸的知识，并以此检测人脸。在模板匹配中方法中，人脸的模板是由专家预先定义的，而在本方法中，模式是从图像中学习得到的。这类方法的问题在如何选择好的特征和机器学习算法。图像质量评价(ImageQualityAssessment，IQA)是图像处理中的基本技术之一。图像质量评价通过对图像特性进行分析研究，评估出图像的优劣程度或失真程度。图像质量评价在某些图像应用例如人脸认证(FaceAuthentication)中具有重要的作用，一个人脸库中注册的人，可能因为相机采集到的图像质量很差(例如：模糊，歪斜，失真等)而无法通过验证。图像质量评价包括主观评价和客观评价两种方法。主观评价方法可分为绝对评价和相对评价两种类型。客观评价可分为全参考(Full-Reference)，部分参考(Reduced-Reference)和无参考(No-Reference)三种类型。1989年，LeCun专利技术了卷积神经网络LeNet，主要用手写数字识别，取得不错的效果，然而没有引起重视。2006年，GeoffreyHinton提出深度置信网(DeepBeliefNet)，给出了深层网络训练中梯度消失问题的解决方案，即通过无监督预训练对权值进行初始化，然后再进行有监督的训练微调。2011年，ReLU激活函数被应用于深度网络，该激活函数能够有效的抑制梯度消失问题，2012年，正则化技术和Dropout技术的应用使得深度学习算法更稳定，性能更佳。同年，Hinton课题组为了证明深度学习的潜力，利用8层的AlexNet卷积神经网络参加ImageNet图像识别比赛，取得冠军。注入深度学习活力的神经网络重新成为人工智能和信息领域的焦点技术，深度神经网络成了一种效果良好的通用学习框架。人脸检测要达到实用程度，对精度和速度都有较高的要求，两者缺一不可。经过研究人员多年来的不断努力，出现了大量的人脸检测方法，大致可分为三种：1)基于Cascade级联分类器的人脸检测，例如PaulViola和MichaelJones在2001年提出的基于Adaboost的人脸检测算法。2)基于DPM(deformablepartmodels)的人脸检测，是一种将人脸分割成好几个部件进行检测的算法。3)基于深度神经网络的方法，例如DDFD(DeepDenseFaceDetector)，R-CNN等。Viola-Jones的方法的优点是速度快，但性能不够好。DPM方法的特点是速度慢，性能也不是最好的。基于深度神经网络的方法可以取得最好的性能，速度在三类方法中处于中等水平。深度神经网络的特点是网络结构比较深，带来的问题是训练参数数量巨大，需要消耗大量的处理时间。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能同时解决人脸检测和人脸图像质量评价的问题、在提高处理速度的同时还能提高性能的基于级联深度卷积神经网络的人脸检测方法。本专利技术解决其技术问题所采用的技术方案是：构造一种基于级联深度卷积神经网络的人脸检测方法，包括如下步骤：A)建立n级深度卷积网络；所述第n级深度卷积网络包括n个卷积层、一个全连接层、一个人脸框输出层和一个人脸质量评价输出层，每个所述卷积层中含有多个正方形卷积核和长方形卷积核，所述人脸框输出层设有多个节点，所述人脸质量评价输出层设有多个节点，所述n为整数且n≥1；B)选取若干个输入图像作为训练样本，对当前训练样本的边缘处进行行数和列数的填充，得到填充图像，并将所述填充图像分别与第一层所述卷积层中的每个卷积核进行卷积运算，得到多个特征图；C)将所述特征图中的部分或全部特征图作为下一层所述卷积层的输入，并将其分别与下一层所述卷积层中的每个卷积核进行卷积运算，得到多个对应的特征图；D)重复上述步骤C)直至到第n+1层所述卷积层；E)将第n+1层所述卷积层输出的特征图串行化得到高维向量，将所述高维向量与所述全连接层的节点进行全连接；F)通过所述人脸框输出层输出人脸框坐标，通过所述人脸质量评价输出层输出人脸质量评价得分；G)根据所述人脸框坐标，计算出包围框坐标偏移量，得到人脸检测损失函数；H)用Softmaxloss(Softmax是神经网络中常用的归一化指数函数，用于将网络输出变成概率分布，交叉熵(CrossEntropy)描述了两个概率分布之间的距离，交叉熵越小说明二者之间越接近，将Softmax和CrossEntropy结合便得到Softmaxloss)函数来表示图像质量评价损失函数；I)对所述人脸检测损失函数和图像质量评价损失函数进行加权叠加后得到当前所述训练样本的损失函数；J)对每个训练样本的损失函数进行求和，得到总损失函数；K)当其中一级深度卷积网络训练结束后，用训练好的深度卷积网络计算出每个训练样本的损失函数，将损失函数大的训练样本的权值进行增大，将损失函数小的训练样本的权值进行减小，完成对每个所述训练样本的权值的更新；L)通过所述步骤A)至步骤K)的学习方式，将多级深度卷积网络串起来训练出级联深度卷积神经网络，采用所述级联深度卷积神经网络进行人脸检测，去除非人脸窗口。在本专利技术所述的基于级联深度卷积神经网络的人脸检测方法中，在所述第n级深度卷积网络中，所述全连接层的节点数为64x2(n-1)本文档来自技高网...

【技术保护点】
1.一种基于级联深度卷积神经网络的人脸检测方法，其特征在于，包括如下步骤：A)建立n级深度卷积网络；所述n级深度卷积网络包括n个卷积层、一个全连接层、一个人脸框输出层和一个人脸质量评价输出层，每个所述卷积层中含有多个正方形卷积核和长方形卷积核，所述人脸框输出层设有多个节点，所述人脸质量评价输出层设有多个节点，所述n为整数且n≥1；B)选取若干个输入图像作为训练样本，对当前训练样本的边缘处进行行数和列数的填充，得到填充图像，并将所述填充图像分别与第一层所述卷积层中的每个卷积核进行卷积运算，得到多个特征图；C)将所述特征图中的部分或全部特征图作为下一层所述卷积层的输入，并将其分别与下一层所述卷积层中的每个卷积核进行卷积运算，得到多个对应的特征图；D)重复上述步骤C)直至到第n+1层所述卷积层；E)将第n+1层所述卷积层输出的特征图串行化得到高维向量，将所述高维向量与所述全连接层的节点进行全连接；F)通过所述人脸框输出层输出人脸框坐标，通过所述人脸质量评价输出层输出人脸质量评价得分；G)根据所述人脸框坐标，计算出包围框坐标偏移量，得到人脸检测损失函数；H)用Softmax loss函数来表示图像质量评价损失函数；I)对所述人脸检测损失函数和图像质量评价损失函数进行加权叠加后得到当前所述训练样本的损失函数；J)对每个训练样本的损失函数进行求和，得到总损失函数；K)当其中一级深度卷积网络训练结束后，用训练好的深度卷积网络计算出每个训练样本的损失函数，将损失函数大的训练样本的权值进行增大，将损失函数小的训练样本的权值进行减小，完成对每个所述训练样本的权值的更新；L)通过所述步骤A)至步骤K)的学习方式，将多级深度卷积网络串起来训练出级联深度卷积神经网络，采用所述级联深度卷积神经网络进行人脸检测，去除非人脸窗口。...

【技术特征摘要】
1.一种基于级联深度卷积神经网络的人脸检测方法，其特征在于，包括如下步骤：A)建立n级深度卷积网络；所述n级深度卷积网络包括n个卷积层、一个全连接层、一个人脸框输出层和一个人脸质量评价输出层，每个所述卷积层中含有多个正方形卷积核和长方形卷积核，所述人脸框输出层设有多个节点，所述人脸质量评价输出层设有多个节点，所述n为整数且n≥1；B)选取若干个输入图像作为训练样本，对当前训练样本的边缘处进行行数和列数的填充，得到填充图像，并将所述填充图像分别与第一层所述卷积层中的每个卷积核进行卷积运算，得到多个特征图；C)将所述特征图中的部分或全部特征图作为下一层所述卷积层的输入，并将其分别与下一层所述卷积层中的每个卷积核进行卷积运算，得到多个对应的特征图；D)重复上述步骤C)直至到第n+1层所述卷积层；E)将第n+1层所述卷积层输出的特征图串行化得到高维向量，将所述高维向量与所述全连接层的节点进行全连接；F)通过所述人脸框输出层输出人脸框坐标，通过所述人脸质量评价输出层输出人脸质量评价得分；G)根据所述人脸框坐标，计算出包围框坐标偏移量，得到人脸检测损失函数；H)用Softmaxloss函数来表示图像质量评价损失函数；I)对所述人脸检测损失函数和图像质量评价损失函数进行加权叠加后得到当前所述训练样本的损失函数；J)对每个训练样本的损失函数进行求和，得到总损失函数；K)当其中一级深度卷积网络训练结束后，用训练好的深度卷积网络计算出每个训练样本的损失函数，将损失函数大的训练样本的权值进行增大，将损失函数小的训练样本的权值进行减小，完成对每个所述训练样本的权值的更新；L)通过所述步骤A)至步骤K)的学习方式，将多级深度卷积网络串起来训练出级联深度卷积神经网络，采用所述级联深度卷积神经网络进行人脸检测，去除非人脸窗口。2.根据权利要求1所述的基于级联深度卷积神经网络的人脸检测方法，其特征在于，在所述第n级深度卷积网络中，所述全连接层的节点数为64x2(n-1)，从所述全连接层往左算起，第m个卷积层的卷积核的大小分别为(1+2m)×(1+2m)、(3+2m)×(1+2m)和(1+2m)×(3+2m)，通道数均为16×2(n-m)，所述m为整数且0<m<n+2。3.根据权利要求2所述的基于级联深度卷积神经网络的人脸检测方法，其特征在于，在所述步骤B)中，令所述当前训练样本的大小为Iy×Ix，卷积核的大小为ky×kx，在所述当前训练样本的边...

【专利技术属性】
技术研发人员：温峻峰，江志伟，李鑫，杜海江，夏欢，谢巍，张浪文，翁冠碧，
申请(专利权)人：中科天网广东科技有限公司，
类型：发明
国别省市：广东,44