一种多任务级联卷积神经网络的人脸检测方法及系统技术方案

本发明专利技术公开了一种多任务级联卷积神经网络的人脸检测方法及系统，将获取的人脸检测数据集分为训练集和测试集，采用多支路的扩张卷积结构对MTCNN网络中的P网络进行改进，利用训练集分别训练O网络、R网络和改进后的P网络的其中一条支路，得到MTCNN网络的最优参数；以此生成训练好的MTCNN网络；对测试集中的图片进行预处理，将预处理后的图片输入到训练好的MTCNN网络中进行人脸检测，输出检测结果，去除了极其耗时的图像金字塔结构，改之以多支路的扩张卷积代替，不再需要大量搬运数据来完成对图像的多次缩放，也不再需要多次重复的将图像输入到P

【技术实现步骤摘要】
一种多任务级联卷积神经网络的人脸检测方法及系统


[0001]本专利技术属于人脸检测
，具体涉及一种多任务级联卷积神经网络的人脸检测方法及系统。

技术介绍

[0002]目标检测是计算机视觉领域中一项具有挑战性的任务。对于给定一张图像，目标检测需要识别出图像中的指定目标并给出其具体位置。人脸检测是目标检测的一个细分，比起一般的目标检测更加注重多个目标的检测。人脸检测被广泛应用于人脸识别、行人检测、智能监控等领域，为图像和视频的高级语义理解提供有价值的信息，在以图像为主体的智能化数据采集与处理中具有十分重要的作用和影响。传统的人脸检测方法主要是通过对人工设计的特征进行检测，准确率低、速度慢。近年来，采用深度学习的卷积神经网络(CNN)通过自动提取更深层的特征，在人脸检测上取得良好的效果。
[0003]多任务级联卷积神经网络即MTCNN(Multi
‑
task convolutional neural network)是一种通过三层级联结构进行特征提取和分类的高精度、轻量级人脸检测网络。对一张输入的任意大小的图片，它首先对尺寸进行倍率为0.707的缩放，形成一张面积大小为原图0.5倍的新图片。然后再对新图片继续缩放，直到最新生成的图片最短边的长度小于12像素为止，重复多次生成多张尺寸不同的图片。这些尺寸大小不同的图片共同组成图像金字塔。每次检测人脸时，需由小到大依次将图像金字塔中的图片送入P
‑
net(ProposalNetwork)。在P
‑
net中，通过多层卷积神经网络提取特征后，再通过分类器对特征进行分类，从而得到对应的人脸位置信息。将所有尺寸的图片全部输入完成后，生成大量的人脸建议框。再对这些建议框进行非极大值抑制，得到P
‑
net的最终输出结果。其结果包含人脸二分类信息、人脸坐标信息、人脸五官定位。根据P
‑
net中的人脸坐标信息，可以得到原始图像中的对应位置，再将对应位置的图像作为输入，输入进R
‑
net(Refine Network)。在R
‑
net中，只对P
‑
net输出的建议框进行检测，通过更深层的特征提取网络，来获得更精确的结果。R
‑
net的输出结果则作为O
‑
net(Output Network)的输入。通过三层级联的卷积网络后，结合五官定位坐标，得到原始图像中的人脸坐标。
[0004]MTCNN网络因为采用了图像金字塔和三重级联网络的形式，在运行速度上较为缓慢。对于图像金字塔，每次生成不同尺寸的图像都需要进行一次缩放，而缩放操作实际上会导致数据在内存和显存中不断搬运，数据搬运的时间消耗甚至大于神经网络逻辑推理的消耗。同时，每一张缩放后的新图像都需要输入进P
‑
net进行运算，当原始图像越大时，生成的图像就越多，P
‑
net的重复运算次数也就越多，速度就越慢。并且，对于过大的图像，P
‑
net提取特征后生成的特征图尺寸也就越大，最后分类时需要遍历的特征点也就越多，时间消耗也就越明显。

技术实现思路

[0005]本专利技术所要解决的技术问题是如何提高MTCNN网络在进行人脸检测时的效率，本
专利技术的目的在于提供一种多任务级联卷积神经网络的人脸检测方法及系统，采用MTCNN网络为主干网络，通过多支路的扩张卷积结构代替了原本MTCNN网络的图像金字塔结构，从而更加快捷的提取人脸特征并生成建议框，克服了图像金字塔结构而导致的多种耗时问题，提高了程序运行速度，优化了实时性能，从而提高人脸检测的效率。
[0006]本专利技术通过下述技术方案实现：
[0007]一方面，本专利技术提供一种多任务级联卷积神经网络的人脸检测方法，包括以下步骤：
[0008]获取人脸检测数据集，将人脸检测数据集分为训练集和测试集；
[0009]构建MTCNN网络，采用多支路的扩张卷积结构对MTCNN网络中的P网络进行改进，利用训练集分别训练O网络、R网络和改进后的P网络的其中一条支路，得到MTCNN网络的最优参数；以此生成训练好的MTCNN网络；
[0010]对测试集中的图片进行预处理，将预处理后的图片输入到训练好的MTCNN网络中进行人脸检测，输出检测结果。
[0011]现有的人脸检测中常使用MTCNN网络进行，然而由于MTCNN网络的结构像图像金字塔结构，处理过程存在多次缩放图像导致数据反复搬运、多次输入P网络(P
‑
net)导致的推断过程复杂等问题，其最终结果是网络运行速度降低，网络中无效建议框生成过多浪费计算资源，检测时间耗费增加。因此，本专利技术针对MTCNN网络进行改进，在MTCNN网络的图片输入流程前加入了预处理，对输入图像不再缩放形成图像金字塔，将建议框生成网络(P 网络)的结构以多支路的扩张卷积结构替代，利用训练集进行训练时，采用分段训练的方式，即P、R、O三个网络分开训练，保证其泛化能力，对P网络进行训练时，也只需对其一条支路进行训练，这样得到的改进后的MTCNN网络去除了极其耗时的图像金字塔结构，改之以多支路的扩张卷积代替，不再需要大量搬运数据来完成对图像的多次缩放，也不再需要多次重复的将图像输入到P
‑
net中，减少了无用操作，从而克服了MTCNN原有的因使用图像金字塔结构而导致的多种耗时问题，提高了运行速度，使检测用时大幅缩短，同时多任务级联卷积神经网络本身是一个极其轻量的网络，采用以上方案在实现了保持小型化的同时又保证了实时性。
[0012]进一步地，所述人脸检测数据集采用COCO数据集，以COCO数据集中图片的人脸真实框的几何中心作中心进行裁剪并缩放，分别获得24*24、36*36、48*48三种尺寸的真实人脸图片，计算各个尺寸中真实人脸图片的IOU值，以此标定正样本和负样本，将所有正样本和负样本进行汇总得到训练集；
[0013]训练集中，24*24尺寸的真实人脸图片用于训练R网络，48*48尺寸的真实人脸图片用于训练O网络，36*36尺寸的真实人脸图片用于训练改进后的P网络的其中一个支路。
[0014]进一步地，对测试集中的图片进行预处理的过程包括：
[0015]将图片最短边长统一缩放为300，得到待检测图片；
[0016]将待检测图片依次通过一个3*3的卷积核和池化层，依次进行初步特征筛选和图片压缩，得到预处理后的图片。
[0017]进一步地，改进后的P网络包括三条支路，其中，第一支路为改进前的P网络结构，包括两个3*3的卷积核；
[0018]第二支路中，对两个3*3的卷积核均采用扩张卷积的方法，在两个卷积核中分别增
加一个超参数，超参数为扩张率，且两个卷积核采用的扩张率互质，
[0019]第三支路中，对两个3*3卷积核均采用扩张卷积的方法，在两个卷积核中分别增加一个超参数，超参数为扩张率，且两个卷积核采用的扩张率互质，第三支路采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务级联卷积神经网络的人脸检测方法，其特征在于，包括以下步骤：获取人脸检测数据集，将人脸检测数据集分为训练集和测试集；构建MTCNN网络，采用多支路的扩张卷积结构对MTCNN网络中的P网络进行改进，利用训练集分别训练O网络、R网络和改进后的P网络的其中一条支路，得到MTCNN网络的最优参数；生成训练好的MTCNN网络；对测试集中的图片进行预处理，将预处理后的图片输入到训练好的MTCNN网络中进行人脸检测，输出检测结果。2.根据权利要求1所述的一种多任务级联卷积神经网络的人脸检测方法，其特征在于，所述人脸检测数据集采用COCO数据集，以COCO数据集中图片的人脸真实框的几何中心作中心进行裁剪并缩放，分别获得24*24、36*36、48*48三种尺寸的真实人脸图片，计算各个尺寸中真实人脸图片的IOU值，以此标定正样本和负样本，将所有正样本和负样本进行汇总得到训练集；训练集中，24*24尺寸的真实人脸图片用于训练R网络，48*48尺寸的真实人脸图片用于训练O网络，36*36尺寸的真实人脸图片用于训练改进后的P网络的其中一个支路。3.根据权利要求1所述的一种多任务级联卷积神经网络的人脸检测方法，其特征在于，对测试集中的图片进行预处理的过程包括：将图片最短边长统一缩放为300，得到待检测图片；将待检测图片依次通过一个3*3的卷积核和池化层，依次进行初步特征筛选和图片压缩，得到预处理后的图片。4.根据权利要求1所述的一种多任务级联卷积神经网络的人脸检测方法，其特征在于，改进后的P网络包括三条支路，其中，第一支路为改进前的P网络结构，包括两个3*3的卷积核；第二支路中，对两个3*3的卷积核均采用扩张卷积的方法，在两个卷积核中分别增加一个超参数，超参数为扩张率，且两个卷积核采用的扩张率互质，第三支路中，对两个3*3卷积核均采用扩张卷积的方法，在两个卷积核中分别增加一个超参数，超参数为扩张率，且两个卷积核采用的扩张率互质，第三支路采用的扩张率大于第二支路。5.根据权利要求4所述的一种多任务级联卷积神经网络的人脸检测方法，其特征在于，第一支路输出的最终特征图中，每个特征点代表原图12*12大小的区域，用于检测的人脸图片最大为16*16尺寸；第二支路...

【专利技术属性】
技术研发人员：唐贤伦，林鑫，谢颖，罗洪平，黄德军，谢涛，邹密，王会明，徐梓辉，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：