一种基于深度级联卷积神经网络的快速人脸检测方法技术

本发明专利技术公开的是一种基于深度级联卷积神经网络的快速人脸检测方法，包括创建人脸数据集、组建深度级联卷积神经网络、测试网络模型，使用正负样本组成训练集和验证集，以训练所述深度级联卷积神经网络进行深度学习，在所述深度学习过程中加入性别分类辅助任务，同时采取微调训练；同时对训练方法和网络结构进行优化；本发明专利技术基于深度级联卷积神经网络，通过对卷积层的优化改进增加网络深度，并且改进级联网络的级联方式，从而大大降低了网络的计算量，提高了检测速度，同时引入辅助任务训练和微调训练阶段的在线难负样本挖掘方法，提高了网络的分类准确率，降低了误检率，能保证该方法在实际应用中的检测速度和准确率。

A Fast Face Detection Method Based on Deep Cascade Convolutional Neural Network

The invention discloses a fast face detection method based on deep cascade convolution neural network, which includes creating face data set, constructing deep cascade convolution neural network, testing network model, using positive and negative samples to form training set and verification set to train the deep cascade convolution neural network for in-depth learning, and adding gender classification to the in-depth learning process. Aid task and adopt fine-tuning training at the same time; optimize training method and network structure at the same time; The invention is based on deep cascade convolution neural network, which increases network depth by optimizing convolution layer, and improves cascade mode of cascade network, thus greatly reducing the calculation amount of network, improving detection speed, and introducing auxiliary task training and fine-tuning training steps. The segment on-line hard-negative sample mining method improves the classification accuracy of the network, reduces the false detection rate, and guarantees the detection speed and accuracy of the method in practical application.

【技术实现步骤摘要】
一种基于深度级联卷积神经网络的快速人脸检测方法
本专利技术涉及人脸检测领域，特别地，涉及一种基于深度级联卷积神经网络的快速人脸检测方法。
技术介绍
人脸检测(Facedetection)在人脸图像分析中起着重要作用，是计算机视觉中的一个基本问题。各种基于人脸的实际应用，尤其是在无控制的环境中，人脸角度、尺度、背景和曝光变化很大，都依赖于准确快速的人脸检测。随着卷积神经网络(convolutionalneuralnetworks,CNNs)在诸如图像分类和物体检测等计算机视觉任务中取得了显著的进步，在图像领域，基于CNNs的深度学习方法比传统方法在解决各种视觉问题上有显著的提高。深度学习方法与传统方法的最大不同在于它所使用的特征是从海量数据中学习得到，而传统方法一般使用的是手工特征，因此在复杂多变的场景中传统方法很难满足实际的应用需求。在传统人脸检测方法中，效果显著的有deformablepartmodels(DPM)方法，但是该方法在训练阶段事先需要进行大量的手工特征提取，在测试阶段也需要较大的计算代价，而且在复杂不可控的环境中检测效果较差。在使用深度学习方法的人脸检测算法中大多借鉴FasterR-CNN系列框架来进行人脸检测，还有些更深的残差网络(ResNet)应用到人脸检测中，这些方法虽然都取得了显著的效果，但是计算量大，模型文件太大，一般很难在实际产品中使用，特别是难以集成到硬件前端比如低端CPU上，网络结构太复杂也不利于硬件加速优化。
技术实现思路
本专利技术针对以上缺点，提供一种基于深度级联卷积神经网络的快速人脸检测方法，以解决现有方法集成到硬件成本高、检测速度慢的问题，具有检测准确率高，鲁棒性能良好，网络结构简单等优点。为了实现上述目的，本专利技术是通过以下技术方案实现的：一种基于深度级联卷积神经网络的快速人脸检测方法，包括创建人脸数据集、组建深度级联卷积神经网络、测试网络模型，所述人脸数据集对人脸图像进行标注，使用多级金字塔缩放方法对人脸图像进行窗口滑动，将窗口与人脸矩形框的图像交并比IOU大于等于0.7的窗口图像设置为正样本，图像交并比IOU小于0.3的窗口图像设置为负样本，使用正负样本组成训练集和验证集，以训练所述深度级联卷积神经网络进行深度学习，在所述深度学习过程中加入性别分类辅助任务，同时采取微调训练；所述深度级联卷积神经网络包括至少三级级联卷积网络，第一级网络特征层和第二级网络特征层进行级联，第三级网络为单独网络并不和第二级网络级联，所述每一级网络都为全卷积网络包括多个卷积层和池化层，所述卷积层包括两个1x1的卷积层和一个3x3的卷积层。优选的，所述深度级联卷积神经网络为三级全卷积网络，其中：第一级卷积神经网络采用12x12x3大小的图像作为输入，由48x48x3的图像进行两次2x2的均值池化得到，其最后一个特征层的大小为1x1x20，其后使用不同的1x1的卷积层作为不同任务的输出层；第二级卷积神经网络采用24x24x3大小的图像作为输入，由48x48x3的图像进行一次2x2的均值池化得到，其最后一个特征层的大小为1x1x144，再将该特征层和第一级网络特征层进行级联，形成1x1x164大小的级联层作为联合特征层，其后使用不同的1x1的卷积层作为不同任务的输出层；第三级卷积神经网络采用48x48x3大小的图像作为输入，其最后一个特征层的大小为1x1x512，其后使用不同的1x1的卷积层作为不同任务的输出层。优选的，每一级网络的最后一个卷积层为特征层，其后并使用1x1的卷积层代替全连接层作为输出层。优选的，所述微调训练采用在线难负样本挖掘方法，在每个批次处理训练梯度更新时，对各个样本的损失值进行递减排序，只对前设定阈值比例的样本进行梯度更新，忽略损失值低的简单负样本。优选的，在深度学习阶段，人脸分类和性别属性分类任务采用交叉熵损失函数，人脸区域位置回归采用平滑损失函数SmoothL1Loss，总的损失函数为各个任务的损失函数通过不同的权重加权求和，其中性别属性分类任务属于辅助任务，其损失函数在各级网络总损失函数中的权重并不相同。优选的，人脸分类为二分类，性别属性分类为三分类。优选的，所述人脸数据集对人脸图像进行标注包括人脸矩形框坐标、性别属性。有益效果：本专利技术基于深度级联卷积神经网络，通过对卷积层的优化改进增加网络深度，并且改进级联网络的级联方式，从而大大降低了网络的计算量，提高了检测速度，同时引入辅助任务训练和微调训练阶段的在线难负样本挖掘方法，提高了网络的分类准确率，降低了误检率，能保证该方法在实际应用中的检测速度和准确率。附图说明图1是基于深度级联卷积神经网络的人脸检测示意流程图。图2是本专利技术深度级联卷积网络的网络结构示意图。图3是本专利技术对卷积层的优化改进示意图。具体实施方式以下结合说明书附图，对本专利技术作进一步说明，但本专利技术并不局限于以下实施例。本专利技术根据图1-图3所述的一种基于深度级联卷积神经网络的快速人脸检测方法，包括创建人脸数据集、组建深度级联卷积神经网络、测试网络模型。用WiderFace数据集和CelebA数据集以及收集的人脸数据集作为人脸数据集，其中80％为训练数据，20％为测试数据。使用多级金字塔缩放方法和48x48的滑动窗口对训练数据中的人脸图像进行滑动，将滑动窗口与人脸矩形框的IOU(滑动窗口与人脸矩形框的重叠面积占二者总面积的比例)大于等于0.7的窗口图像设置为正样本，IOU小于0.3的窗口图像设置为负样本，其中包含部分人脸图像IOU大于0且小于0.3和背景图像IOU小于等于0。将正负样本分为训练集和验证集，其中训练集用于训练模型，验证集则用于训练过程中验证模型的泛化能力。对上述的训练集和验证集进行标签标注，人脸分类任务为二分类任务，人脸性别属性分类为三分类，人脸区域位置回归的值为[tx，ty，tw，th]，其中tx，ty为滑动窗口中心点x或y轴坐标值与人脸矩形框中心点x或y轴坐标值比值的log对数，tw，th为滑动窗口宽或高与人脸矩形框宽或高比值的log对数。如图2所示的三级级联卷积神经网络的结构，三级级联卷积神经网络中的每一级网络都是全卷积网络，包括若干个卷积层和池化层，每一级网络最后一个卷积层为特征层，其后使用1x1卷积层代替全连接层作为输出层，这样不仅可以有利于后续算法的加速优化，而且保留了分类概率输出层到输入层的位置映射能力，这样大大简化了人脸检测过程。三级级联卷积网络的第一级网络特征层和第二级网络特征层进行级联，第三级网络为单独网络并不和第二级网络级联，第一级网络和第二级网络主要是为了提高人脸检测分类的准确率和降低误检率，第三级网络主要是为了提高人脸检测框的定位精度。为了进一步优化人脸检测速度，第三级网络为单独网络不与第二级网络进行级联，这样在保证检测效果的前提下使得第三级网络的计算量相对于级联方式大大降低。作为进一步优化，第一级卷积神经网络采用12x12x3大小的图像作为输入，由48x48x3的图像进行两次2x2的均值池化得到，其最后一个特征层的大小为1x1x20，其后使用不同的1x1的卷积层作为不同任务的输出层；第二级卷积神经网络采用24x24x3大小的图像作为输入，由48x48x3的图像进行一次2x2的均值池化得到，其最后一个特征层的大小本文档来自技高网...

【技术保护点】
1.一种基于深度级联卷积神经网络的快速人脸检测方法，包括创建人脸数据集、组建深度级联卷积神经网络、测试网络模型，其特征在于：所述人脸数据集对人脸图像进行标注，使用多级金字塔缩放方法对人脸图像进行窗口滑动，将窗口与人脸矩形框的图像交并比IOU大于等于0.7的窗口图像设置为正样本，图像交并比IOU小于0.3的窗口图像设置为负样本，使用正负样本组成训练集和验证集，以训练所述深度级联卷积神经网络进行深度学习，在所述深度学习过程中加入性别分类辅助任务，同时采取微调训练；所述深度级联卷积神经网络包括至少三级级联卷积网络，第一级网络特征层和第二级网络特征层进行级联，第三级网络为单独网络并不和第二级网络级联，所述每一级网络都为全卷积网络包括多个卷积层和池化层，所述卷积层包括两个1x1的卷积层和一个3x3的卷积层。

【技术特征摘要】
1.一种基于深度级联卷积神经网络的快速人脸检测方法，包括创建人脸数据集、组建深度级联卷积神经网络、测试网络模型，其特征在于：所述人脸数据集对人脸图像进行标注，使用多级金字塔缩放方法对人脸图像进行窗口滑动，将窗口与人脸矩形框的图像交并比IOU大于等于0.7的窗口图像设置为正样本，图像交并比IOU小于0.3的窗口图像设置为负样本，使用正负样本组成训练集和验证集，以训练所述深度级联卷积神经网络进行深度学习，在所述深度学习过程中加入性别分类辅助任务，同时采取微调训练；所述深度级联卷积神经网络包括至少三级级联卷积网络，第一级网络特征层和第二级网络特征层进行级联，第三级网络为单独网络并不和第二级网络级联，所述每一级网络都为全卷积网络包括多个卷积层和池化层，所述卷积层包括两个1x1的卷积层和一个3x3的卷积层。2.根据权利要求1所述的一种基于深度级联卷积神经网络的快速人脸检测方法，其特征在于：所述深度级联卷积神经网络为三级全卷积网络，其中：第一级卷积神经网络采用12x12x3大小的图像作为输入，由48x48x3的图像进行两次2x2的均值池化得到，其最后一个特征层的大小为1x1x20，其后使用不同的1x1的卷积层作为不同任务的输出层；第二级卷积神经网络采用24x24x3大小的图像作为输入，由48x48x3的图像进行一次2x2的均值池化得到，其最后一个特征层的大小为1x1x144，再将该特征层和第一级网络特征层进行级联，形成1x1x164大小的...

【专利技术属性】
技术研发人员：杨波，
申请(专利权)人：杭州雄迈集成电路技术有限公司，
类型：发明
国别省市：浙江,33