一种基于三级卷积神经网络的人脸检测方法及系统技术方案

本发明专利技术公开了一种基于三级卷积神经网络的人脸检测方法及系统，方法具有以下有益效果：在训练过程中，通过增加前n级的训练结果作为后一级的输入，弥补了训练数据的缺失问题，从而提高了人脸检测的准确度和召回率，并且提升了整体网络的性能。在训练样本中加入人脸特征点，通过人脸特征点使人脸的分类以及人脸矩形框的定位精度得到提高，从而接近于达到网络上线，并且进一步提升了人脸检测的召回率和准确度；仅通过计算得到的第一(第二)偏移量中的分类偏移量进行图片分类的回归校正，如此保证了分类正确的部分不再进行回归校正，从而使人脸检测的速度得到提高，并达到进一步挖掘网络性能的目的。系统具有检测方法相同的有益效果。

Face detection method and system based on three stage convolutional neural network

The invention discloses a face detection method and system of three levels based on convolutional neural network, the method has the following advantages: in the training process, by increasing the N level after training as a result of the level of input, makes up the insufficiency of training data, so as to improve the accuracy and recall rate of face detection and, to enhance the overall performance of the network. Join the facial feature points in the training samples, the facial feature points to face classification and location of the face of the rectangle frame precision can be improved and thus close to reach the network line, and further improve the face detection recall and accuracy; only by calculating the first (second) regression classification offset in image classification correction, thus ensuring that the correct classification is no longer part of the regression correction, so that the detection speed is improved, and the performance of the network to further tap. The system has the same beneficial effect as the detection method.

【技术实现步骤摘要】
一种基于三级卷积神经网络的人脸检测方法及系统
本专利技术涉及人脸检测
，具体涉及一种基于三级卷积神经网络的人脸检测方法及系统。
技术介绍
进入二十一世纪以来，计算机技术蓬勃发展，被广泛的运用于各大领域；随着计算机技术的发展，人脸检测技术应运而生并且在不断的迭代、更新中。人脸检测是指对于任意图像集合，采用一定的策略对其进行搜索以确定其中具有人脸的图像。人脸检测是自动人脸识别系统中的一个关键环节。早期的人脸识别研究主要针对具有较强约束条件的人脸图象(如无背景的图象)，往往假设人脸位置一直或者容易获得，因此人脸检测问题并未受到重视。随着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统能够对一般图象具有一定的识别能力，由此所面临的一系列问题使得人脸检测开始作为一个独立的课题受到研究者的重视。今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视频检测、人脸建模以及人脸跟踪等方面有着重要的应用价值。人脸检测技术一般采用的搜索策略为决策树、逻辑回归、朴素贝叶斯以及三级卷积神经网络等算法等，其中基于三级卷积神经网络的人脸检测方法/系统凭借检测速度快，识别准确率高而迅速迭代、更新。现有技术中的基于三级卷积神经网络的人脸检测方法：1)通过多级性能逐级增强的网络进行逐级训练，将前一级判断为人脸的候选框传递给下一级作为训练样本进行学习；2)每一级中通过人脸的分类和人脸框的回归网络进行判决；3)如果分类正确直接将修正过的数据全部后馈。现有技术的不足之处在于，由于前一级网络性能较差，存在部分人脸无法正确判定，导致传入下一级人脸候选框有损失，整体性能差；仅仅通过人脸分类和人脸框的回归无法达到网络的性能上线，仍有提升空间；数据全部后馈，网络学习的深度不够，不能挖掘网络性能。
技术实现思路
本专利技术的目的是提供一种基于三级卷积神经网络的人脸检测方法及系统，以解决整体性能差；仅通过人脸分类和人脸框进行校正，无法达到网络的性能上线；正确分类的部分仍然进行回归校正的问题。为了实现上述目的，本专利技术提供如下技术方案：一种基于三级卷积神经网络的人脸检测方法，包括以下步骤：获取训练样本和检测图片；所述训练样本至少包括标注有人脸框和人脸特征点的人脸图片；将所述训练样本输入三级卷积神经网络进行逐级训练，所述训练的过程为：根据所述训练样本和前n级的训练结果进行预测后降维，得到对应的二维特征向量，并据其计算获得第一偏移量；通过所述第一偏移量对所述二维特征向量进行回归校正，得到对应的训练结果；将所述检测图片输入训练后的三级卷积神经网络进行逐级人脸检测，得到人脸矩形框。上述基于三级卷积神经网络的人脸检测方法，所述训练样本中的人脸图片还含有图片分类标签和唯一确定的人脸框。上述基于三级卷积神经网络的人脸检测方法，所述二维特征向量的获得包括以下步骤：根据所述训练样本和前n级的训练结果获得m维特征向量；通过全卷积层/全连接层对所述m维特征向量进行降维处理，获得所述二维特征向量。上述基于三级卷积神经网络的人脸检测方法，所述三级网络包括第一支路、第二支路和第三支路，所述二级网络包括所述第一支路和所述第二支路，所述第一支路与所述一级网络相同。上述基于三级卷积神经网络的人脸检测方法，在三级网络中，m维特征向量的获得包括以下步骤：将所述训练样本和上一级的训练结果输入所述第一支路获取第一特征向量，将其输入所述第二支路获取第二特征向量，将其输入所述第三支路获取第三维特征向量；将所述第一特征向量、第二特征向量以及第三特征向量进行拼接，得到m维特征向量。上述基于三级卷积神经网络的人脸检测方法，所述第一偏移量的获取包括以下步骤：将所述二维特征向量输入SoftmaxWithLoss层，计算获得分类偏移量；将所述二维特征向量输入EuclideanLoss层，计算获得人脸框偏移量以及所述人脸特征点偏移量。上述基于三级卷积神经网络的人脸检测方法，所述分类偏移量的计算包括以下步骤：对所述二维特征向量进行定义；定义为Z＝{z1,z2}，其中通过softmax函数进行分类；分为二类，特殊化为：通过损失函数计算预测到的所述二维特征向量与所述训练样本间的差异；损失函数为：其中计算修正其中α为系数。上述基于三级卷积神经网络的人脸检测方法，所述人脸矩形框的获得包括以下步骤：将所述检测图片输入一级网络对其进行筛选、回归校正并合并，得到第一人脸候选框；将所述第一人脸候选框输入二级网络对其进行筛选、回归校正并合并，得到第二人脸候选框；将所述第二人脸候选框输入三级网络对其进行筛选、回归校正并合并，得到人脸矩形框。上述基于三级卷积神经网络的人脸检测方法，进行筛选、回归校正并合并包括以下步骤：根据检测图片/第一人脸候选框/第二人脸候选框以及相应的人脸概率，筛选出大于设定概率阈值的人脸候选框；根据筛选后得到的人脸候选框计算获得第二偏移量，通过所述第二偏移量对其进行回归校正；通过非极大值抑制算法对校正后得到的人脸候选框进行合并，得到第一人脸候选框/第二人脸候选框/人脸矩形框。本专利技术提供的基于三级卷积神经网络的人脸检测方法，具有以下有益效果：1)在训练过程中，通过增加前n级的训练结果作为后一级的输入，弥补了训练数据的缺失问题，从而提高了人脸检测的准确度和召回率，并且提升了整体网络的性能；2)在训练样本中加入人脸特征点，通过人脸特征点使人脸的分类以及人脸矩形框的定位精度得到提高，从而接近于达到网络上线，并且进一步提升了人脸检测的召回率和准确度；3)仅通过计算得到的第一(第二)偏移量中的分类偏移量进行图片分类的回归校正，如此保证了分类正确的部分不再进行回归校正，从而使人脸检测的速度得到提高，并达到进一步挖掘网络性能的目的。一种基于三级卷积神经网络的人脸检测系统，包括三级卷积神经网络，所述三级卷积神经网络包括：获取单元，用以获取训练样本和检测图片；所述训练样本至少包括标注有人脸特征点的人脸图片；网络训练单元，用以将所述训练样本输入三级卷积神经网络进行逐级训练；其包括：特征向量模块和回归校正模块，所述特征向量模块，用以根据所述训练样本和前n级的的训练结果进行预测后降维，得到对应的二维特征向量，并据其计算获得第一偏移量；所述回归校正模块，用以通过所述第一偏移量对所述二维特征向量进行回归校正，得到对应的训练结果；人脸检测单元，用以将所述检测图片输入训练后的三级卷积神经网络进行逐级人脸检测，得到人脸矩形框。本专利技术提供的基于三级卷积神经网络的人脸检测系统，具有以下有益效果：1)通过网络训练单元2(或人脸检测单元3)中的二级网络和三级网络弥补再一级网络性能差的缺陷，使图片分类的精确性得到提高，从而提升了人脸检测的召回率和准确度，并且提升了整体网络的性能；2)在获取单元1的训练样本中的人脸图片上加入人脸特征点，通过人脸特征点使人脸的分类以及人脸矩形框的定位精度得到提高，从而接近于达到网络上线，并且进一步提升了人脸检测的召回率和准确度；3)仅通过特征向量模块21和回归校正模块22的配合得到的分类偏移量进行图片分类的回归校正，如此保证了分类正确的部分不需进行校正，从而使人脸检测的速度得到提高，并达到进一步挖掘网络性能的目的。附图说明为了更清楚地说明本申请实本文档来自技高网...

【技术保护点】
一种基于三级卷积神经网络的人脸检测方法，其特征在于，包括以下步骤：获取训练样本和检测图片；所述训练样本至少包括标注有人脸框和人脸特征点的人脸图片；将所述训练样本输入三级卷积神经网络进行逐级训练，所述训练的过程为：根据所述训练样本和前n级的训练结果进行预测后降维，得到对应的二维特征向量，并据其计算获得第一偏移量；通过所述第一偏移量对所述二维特征向量进行回归校正，得到对应的训练结果；将所述检测图片输入训练后的三级卷积神经网络进行逐级人脸检测，得到人脸矩形框。

【技术特征摘要】
1.一种基于三级卷积神经网络的人脸检测方法，其特征在于，包括以下步骤：获取训练样本和检测图片；所述训练样本至少包括标注有人脸框和人脸特征点的人脸图片；将所述训练样本输入三级卷积神经网络进行逐级训练，所述训练的过程为：根据所述训练样本和前n级的训练结果进行预测后降维，得到对应的二维特征向量，并据其计算获得第一偏移量；通过所述第一偏移量对所述二维特征向量进行回归校正，得到对应的训练结果；将所述检测图片输入训练后的三级卷积神经网络进行逐级人脸检测，得到人脸矩形框。2.根据权利要求1所述的人脸检测方法，其特征在于，所述训练样本中的人脸图片还含有图片分类标签。3.根据权利要求1所述的人脸检测方法，其特征在于，所述二维特征向量的获得包括以下步骤：根据所述训练样本和前n级的训练结果获得m维特征向量；通过全卷积层/全连接层对所述m维特征向量进行降维处理，获得所述二维特征向量。4.根据权利要求1所述的人脸检测方法，其特征在于，三级卷积神经网络包括一级网络、二级网络以及三级网络，所述三级网络包括第一支路、第二支路和第三支路，所述二级网络包括所述第一支路和所述第二支路，所述第一支路与所述一级网络相同。5.根据权利要求3或4所述的人脸检测方法，其特征在于，在三级网络中，m维特征向量的获得包括以下步骤：将所述训练样本和上一级的训练结果输入所述第一支路获取第一特征向量，将其输入所述第二支路获取第二特征向量，将其输入所述第三支路获取第三特征向量；将所述第一特征向量、第二特征向量以及第三特征向量进行拼接，得到m维特征向量。6.根据权利要求1所述的人脸检测方法，其特征在于，所述第一偏移量的获取包括以下步骤：将所述二维特征向量输入SoftmaxWithLoss层，计算获得分类偏移量；将所述二维特征向量输入EuclideanLoss层，计算获得人脸框偏移量以及所述人脸特征点偏移量。7.根据权利要求6所述的人脸检测方法，其特征在于，所述分类偏移量的计算包括以下步骤：对所述...

【专利技术属性】
技术研发人员：王鲁许，白洪亮，董远，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11