一种基于深度神经网络的迭代定位式人脸检测方法技术

本发明专利技术公开了一种基于深度神经网络的迭代定位式人脸检测方法，包括如下步骤：基于AFLW公共图像数据集，提取其中的区域图像块作为训练集的输入并进行预处理；定义人脸候选框提取模型P‑Net和人脸偏移微调模型A‑Net，使用上述训练集训练该模型；对上述已训练模型P‑Net采用全卷积化策略，以获得对样本的全局检测结果矩阵；测试过程中将图片输入模型P‑Net获取人脸候选框，再通过模型A‑Net迭代式微调人脸候选框位置，配合极大值抑制方法获得最终结果。本发明专利技术方法用于在复杂环境中，利用计算机自动检测人脸，且具有准确性高、识别速度快、性能稳定等优点。

【技术实现步骤摘要】
一种基于深度神经网络的迭代定位式人脸检测方法
本专利技术涉及基于图像的人脸检测
，具体涉及一种基于深度神经网络的迭代定位式人脸检测方法。
技术介绍
一、人脸检测的定义人脸检测是指，给定任意一张图像，利用计算机自动检测出其中所有的人脸(如果存在)，并返回这些人脸的位置。二、人脸检测的重要性人脸是信息量很大的视觉模式，其所反映出的视觉信息，在人们的生活、工作中有着重要的意义和作用。在信息自动化的今天，人脸识别在社会生活中已经得到广泛应用，在这里面，人脸检测是一个关键环节，如果人脸检测算法的效果不好，势必会影响到后续识别算法的效果。除此之外，基于图像的年龄识别，性别识别，情绪识别等识别算法，同样需要人脸检测算法来作为基础环节。这些技术应用的广泛应用，将人脸检测算法的重要性提升到了新的高度。三、人脸检测的技术发展对人脸检测的研究可以追溯到20世纪70年代，人脸检测早期的研究主要致力于模板匹配、子空间方法、变形模板匹配等。这些早期的人脸检测方法往往针对简单无变化背景下的正面人脸检测，对于复杂环境下的人脸，并不具备很好的检测效果。20世纪90年代到21世纪初，基于级联结构的人脸检测方法获得很大发展，其中Viola和Jones在Adaboost算法的基础上，使用Haar-like小波特征和积分图方法进行人脸检测，该方法在检测准确性和实时性上获得了很大提升，但同样无法处理复杂场景下的人脸检测。近年来，随着深度学习的快速发展，基于深度学习的人脸检测算法获得了长足的发展，这些方法包括：吴素雯,战荫伟.基于选择性搜索和卷积神经网络的人脸检测,2016年9月28日[J].计算机应用研究,2017(2)；陈伟栋,张杨,杨晓龙.基于肤色特征和深度模型的人脸检测方法[J].工业控制计算机,2017,30(3):26-28；陈锐,林达.基于级联卷积神经网络的人脸关键点定位[J].四川理工学院学报(自科版),2017,30(1):32-37；张百灵,夏翌彰,钱荣强,等.基于深度卷积神经网络的人脸遮挡检测方法,CN106485215A[P].2017。四、目前的人脸检测做法的缺点：精确度和速度但基于深度学习的方法往往在速度方面不具备优势，这是由于深度神经网络的前向过程较为耗时，并且对于一张图片，该前向过程可能需要执行多次，导致耗费过多时间。除此之外，目前已有的方法对人脸检测的定位准确性没有足够多的重视，而实际上定位准确性对后续诸如人脸识别，情绪识别等算法的效果会产生影响。因此本算法利用两种不同任务的卷积神经网络结合检测结果矩阵进行人脸检测以及人脸候选框迭代式定位，在准确性和实时性上均获得良好的效果。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于深度神经网络的迭代定位式人脸检测方法，设计多任务深度神经网络并使用公共数据集的海量数据训练，测试过程中利用人脸候选框提取模型获得初步人脸候选框，再接着使用人脸偏移微调模型多次迭代定位人脸获得更加精确的人脸定位。该算法用于在复杂环境中实时检测人脸，并具有准确性高、性能稳定等特点。本专利技术的目的可以通过采取如下技术方案达到：一种基于深度神经网络的迭代定位式人脸检测方法，所述的人脸检测方法包括如下步骤：S1、定义人脸候选框提取模型P-Net和人脸偏移微调模型A-Net；S2、基于AFLW公共图像数据集提取训练P-Net和A-Net所需要的数据以及相应标签；S3、使用上一个步骤所获得的数据，基于经典卷积神经网络微调训练P-Net和A-Net；S4、对上述已训练的P-Net模型采用全卷积化策略，以获得对输入图片的全局检测结果矩阵；S5、对于一张待测试图片，将多尺度形式下的图片输入P-Net获得多个尺度的检测结果矩阵，通过这些矩阵以及窄化非极大值抑制算法获取候选人脸框；S6、再根据人脸位置判别条件，将候选人脸框迭代式输入至A-Net进行微调，直到满足判别条件；S7、使用窄化非极大值抑制算法去除重复的人脸候选框，并输出最后检测结果；进一步地，所述步骤S1中定义的人脸候选框提取模型P-Net和人脸偏移微调模型A-Net，均采用AlexNet模型，并依据实际情况将其输出层修改为2类以及45类。进一步地，所述步骤S2中P-Net需要的训练数据为二类数据，即人脸与非人脸；A-Net需要的训练数据为45类数据，即各种偏移模式下的人脸候选框。进一步地，所述步骤S3中的训练方法，采用的是随机梯度下降，同时配合学习率衰减和动量；采用的损失函数为交叉熵损失函数，具体形式如下：其中x代表原始信号，z代表重构信号，以向量形式表示长度均为d，又可轻易地将其改造为向量内积的形式，K代表一次迭代中样本的个数。进一步地，所述步骤S4中的全卷积化策略，即将全连接层的参数保存，接着用同样尺寸的卷积层替代全连接层，并将之前保存的全连接层参数赋值给新的卷积层。进一步地，所述步骤S5中的窄化非极大值抑制，为一种对象形状定制化的极大值抑制算法，其对人脸这种具有不同长宽比的矩形候选框具有更好的效果。具体如下：在对多个部分重合的候选框进行非极大值抑制之前，对原始的正方形候选框进行中心窄化，窄化公式为其中(x1,y1)为左上角坐标，(x2,y2)为右下角坐标，narrowrate为窄化率，窄化率设定为0.08，这意味着候选框被窄化为保持原高度和中心点，但宽度缩小为原始宽度的0.84倍大小；接着对窄化后的数据进行非极大值抑制计算去重，去重结束后，进行窄化复原，复原公式如下：其中(x1,y1)为左上角坐标，(x2,y2)为右下角坐标，narrowrate为窄化率，窄化率设定为0.08，这意味着候选框被复原为保持原中心点和高度，宽度放大为窄化前的原始宽度大小。进一步地，所述的步骤S6中，对于前个步骤中模型P-Net获取的人脸候选框，将其候选框图像输入至A-Net进行偏移模式分类，模型A-Net将输出该候选框图像对于45种偏移模式的分类置信度，利用分类结果集成出该候选框的偏移情况，如下：其中，[s,x,y]为最终集成结果；N为偏移模式个数，取N＝45，[sn,xn,yn]为类别n的偏移模式，n为偏移模式下标，遵循前文45个偏移模式的设置；z为超过阈值的偏移模式的个数，I为权重计算公式，用于计算超过阈值的偏移模式各自的权重。z和I的计算公式如下：其中I的定义与上述权重计算公式I定义相同其中cn为超过阈值的偏移模式n的权重，t为阈值；接着根据以上过程获得的分类结果，反分类结果方向微调以获得更加准确的人脸定位，具体如下：对于某左上角坐标为(x,y)，长宽为(w,h)的候选框，通过模型A-Net分类获得其偏移模式为[x,y,s]，则其反偏移模式方向微调后的[xnew,ynew,wnew,hnew]为：进一步地，所述的步骤S6中，在反偏移模式方向微调之后，再次将该已微调候选框输入模型A-Net之中，并通过再次的偏移情况估计来判断目前该候选框是否到达最合适的位置，若是，则停止微调，进入下一步；若否，则继续进行微调步骤，直至满足条件或者迭代次数超过设定阈值为止。其中判断候选框是否已经达到最佳位置的判断公式如下：其中，[s,x,y]为根据上述公式计算的当前候选框的集成偏移模式，同时，设定最大迭代次数为10次，即最大迭代10次结束。本专利技术相对于现有本文档来自技高网...

【技术保护点】
一种基于深度神经网络的迭代定位式人脸检测方法，其特征在于，所述的人脸检测方法包括如下步骤：S1、定义人脸候选框提取模型P‑Net和人脸偏移微调模型A‑Net；S2、基于AFLW公共图像数据集提取训练模型P‑Net和模型A‑Net所需要的数据以及相应标签；S3、使用上一个步骤所获得的数据，基于经典卷积神经网络微调训练模型P‑Net和模型A‑Net；S4、对上述已训练的模型P‑Net采用全卷积化策略，以获得对输入图片的全局检测结果矩阵；S5、对于一张待测试图片，将多尺度形式下的图片输入模型P‑Net获得多个尺度的检测结果矩阵，通过这些矩阵以及窄化非极大值抑制算法获取候选人脸框；S6、再根据人脸位置判别条件，将候选人脸框迭代式输入至模型A‑Net进行微调，直到满足判别条件；S7、使用窄化非极大值抑制算法去除重复的人脸候选框，并输出最后检测结果。

【技术特征摘要】
1.一种基于深度神经网络的迭代定位式人脸检测方法，其特征在于，所述的人脸检测方法包括如下步骤：S1、定义人脸候选框提取模型P-Net和人脸偏移微调模型A-Net；S2、基于AFLW公共图像数据集提取训练模型P-Net和模型A-Net所需要的数据以及相应标签；S3、使用上一个步骤所获得的数据，基于经典卷积神经网络微调训练模型P-Net和模型A-Net；S4、对上述已训练的模型P-Net采用全卷积化策略，以获得对输入图片的全局检测结果矩阵；S5、对于一张待测试图片，将多尺度形式下的图片输入模型P-Net获得多个尺度的检测结果矩阵，通过这些矩阵以及窄化非极大值抑制算法获取候选人脸框；S6、再根据人脸位置判别条件，将候选人脸框迭代式输入至模型A-Net进行微调，直到满足判别条件；S7、使用窄化非极大值抑制算法去除重复的人脸候选框，并输出最后检测结果。2.根据权利要求1所述的一种基于深度神经网络的迭代定位式人脸检测方法，其特征在于，所述的步骤S1中的人脸偏移微调模型A-Net中，设定该模型为N类分类模型，这N类人脸偏移模式用于评估一个人脸候选框其对于人脸真实框的偏移程度，人脸偏移模式采用横轴、纵轴、缩放率三个因素来衡量，采用设定的设定如下：定义偏移模式集合：其中，xn代表该候选框在x轴上相对候选框宽度本身的偏移率，yn代表该候选框在y轴上相对候选框长度本身的偏移率，sn代表该候选框相对本身长度，应该缩放的比率，N代表偏移模式类别数，n为类别下标。3.根据权利要求2所述的一种基于深度神经网络的迭代定位式人脸检测方法，其特征在于，设置偏移模式类别数N＝45，n为类别下标,对xn，yn，sn分别赋值如下，可以获得5x3x3＝45个类别：4.根据权利要求1所述的一种基于深度神经网络的迭代定位式人脸检测方法，其特征在于，所述的步骤S4中的全卷积化策略，即将全连接层的参数保存，接着用同样尺寸的卷积层替代全连接层，并将之前保存的全连接层参数赋值给新的卷积层。5.根据权利要求1所述的一种基于深度神经网络的迭代定位式人脸检测方法，其特征在于，所述的步骤S5中的检测结果矩阵，其每个点代表原图片中某个227*227像素大小正方形区域的检测结果,通过将其还原至原图中的候选框，再根据候选框的重合情况使用窄化非极大值抑制算法获得人脸候选框。6.根据权利要求1所述的一种基于深度神经网络的迭代定位式人脸检测方法，其特征在于，所述的步骤S5中的窄化非极大值抑制，为一种对象形状定制化的极大值抑制算法，其对人脸这种具有不同长宽比的矩形候选框具有更好的效果,具体如下：在对多个部分重合的候选框进行非极大值抑制之前，对原始的正方形候选框进行中心窄化，窄化公式为其中...

【专利技术属性】
技术研发人员：文贵华，罗达志，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44