一种级联的人脸检测最后一级的检测方法技术

本发明专利技术提供一种级联的人脸检测最后一级的检测方法，所述方法是基于三级级联，对最后一级的训练中，使用无人脸的图片提取负样本，以增加负样本量；在第二级生成的结果中，对得分在阈值确定区间的人脸图片进行最后一级的处理，并且使用第二级输入的人脸图片作为最后一级输入的人脸图片。通过本申请实现用增加很小的时间代价提升召回率和正确率。网络可以量化并保证召回率和正确率不变甚至提升。化并保证召回率和正确率不变甚至提升。化并保证召回率和正确率不变甚至提升。

【技术实现步骤摘要】
一种级联的人脸检测最后一级的检测方法


[0001]本专利技术涉及神经网络
，特别涉及一种级联的人脸检测最后一级的检测方法。

技术介绍

[0002]当今社会，人工智能领域中神经网络技术发展迅猛。其中MTCNN技术也是近年来较为流行的技术之一。MTCNN，Multi-task convolutional neural network(多任务卷积神经网络)，将人脸区域检测与人脸关键点检测放在了一起，总体可分为P-Net、R-Net、和O-Net三层网络结构。用于人脸检测任务的多任务神经网络模型，该模型主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高效的人脸检测。这三个级联的网络分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net。
[0003]但是，MTCNN级联检测存在以下缺陷：
[0004]1、存在一定的误检，召回率和正确率相对较低。
[0005]2、网络无法进行量化或量化后损失召回率和正确率。
[0006]3、在最后一级，增加的检测时间比较大。如果删除最后一级，召回率和正确率都会明显下降。
[0007]此外，现有技术中还包括以下常用的技术术语：
[0008]1、级联：是指几个检测器通过串联的方式进行检测的方式称为级联。
[0009]2、iou：两个区域面积的交集与这两个区域面积的并集的比值。
[0010]3、量化：浮点转化为定点或是8位或4位或2位的一种现象叫做量化。/>[0011]4、召回率：正确检测出人脸的个数与标记人脸的总数的比值。
[0012]5、正确率：正确检测出结果与检测出结果总数的比值。
[0013]6、模型：是通过样本训练出来的一个函数的所有的系数，这些系数称为模型。
[0014]7、检测器：是用于检测的一个函数，其主要组成部分是模型。
[0015]8、人脸检测：使用人脸检测器检测视频或一张图片中是否存在人脸的过程，叫做人脸检测。
[0016]9、卷积核：卷积核是用来做图像处理时的矩阵，与原图像做运算的参数。卷积核通常是一个列矩阵数组成(例如3*3的矩阵)，该区域上每个方格都有一个权重值。矩阵形状一般是1
×
1,3
×
3,5
×
5,7
×
7,1
×
3,3
×
1,2
×
2,1
×
5,5
×
1，
……
[0017]10、卷积：将卷积核的中心放置在要计算的像素上，一次计算核中每个元素和其覆盖的图像像素值的乘积并求和，得到的结构就是该位置的新像素值，这个过程称为卷积。
[0018]11、前端人脸检测：在芯片上使用的人脸检测称之为前端人脸检测，前端人脸检测的速度和正确率比云端服务器人脸检测的低。
[0019]12、特征图：输入数据通过卷积计算后得到的结果称之为特征图，数据通过全连接后生成的结果也称为特征图。特征图大小一般表示为长
×
宽
×
深度，或1
×
深度。
[0020]13、步长：卷积核中心位置再坐标上移动的长度。
[0021]14：两端非对齐处理：图像或数据通过卷积核大小为3且步长为2处理时，会导致两侧数据不够，此时采用丢弃两侧或一侧数据，这种现象叫做两端非对其处理。

技术实现思路

[0022]为了解决上述现有技术存在的问题，本专利技术的目的在于通过本申请实现：用增加很小的时间代价提升召回率和正确率。网络可以量化并保证召回率和正确率不变甚至提升。
[0023]具体地，本专利技术提供一种级联的人脸检测最后一级的检测方法，所述方法是基于三级级联，对最后一级的训练中，使用无人脸的图片提取负样本，以增加负样本量；在第二级生成的结果中，对得分在阈值确定区间的人脸图片进行最后一级的处理，并且使用第二级输入的人脸图片作为最后一级输入的人脸图片。
[0024]所述阈值是根据所述的当第二级生成的结果中，基于得分在大于所述阈值的人脸中，正确率很高，当低于这个阈值时，正确率降低和/或错误率升高的情况确定的。
[0025]所述方法包括：
[0026]S1，训练样本的生成：
[0027]提取训练样本的负样本，使用大量没有人脸的图片进行提取负样本，所有被二级检测器检测为人脸的图片都是负样本，以输入到二级检测器的图片为保存目标进行保存；
[0028]正样本的采集，使用二级检测器检测带有标注的图片，检测出的人脸与图片标注区域的人脸的iou大于0.5的为正样本，小于0.2的为负样本；
[0029]S2，设计网络结构模型：
[0030]量化要求卷积只使用3
×
3的卷积，每层的深度必须是16的倍数，根据量化要求设计如下网络：
[0031]第一层输入的图片为25
×
25
×
3，输出深度为32的特征图，卷积核为3
×
3，步长为1，计算卷积的图为两端非对齐，所有数据有效使用；
[0032]第二层输入数据的特征图为23
×
23
×
32，输出特征图深度为32，卷积核大小为3
×
3大小，步长为2，计算卷积的图为两端非对齐；
[0033]第三层输入数据的特征图的大小为11
×
11
×
32，输出特征图深度为32，卷积核为3
×
3，步长为2，计算卷积的图为两端非对齐，输出特征图5
×5×
32；
[0034]第四层输入特征图为5
×5×
32，输出48张特征图，卷积核为3
×
3，步长为2，计算卷积的图为两端非对齐，输出特征图2
×2×
48；
[0035]将2
×2×
48的数据展成一维数据192；
[0036]第六层包括两个分支，将192数据分别连接到是否为人脸的判断和人脸box相对坐标上；
[0037]S3，使用网络结构模型：
[0038]设二级检测器检测出的得分为score，再设置两个阈值分别为max_th和min_th，max_th>min_th，其中max_th是最大阈值；
[0039]当score>＝max_th时，所输入二级检测器的图像数据符合要求，判断为人脸并计算该输入二级检测器检测的图片对应原图中的坐标信息，不会再输入到第三级检测器中；
[0040]当min_th<score<max_th，该得分对应的图像数据输入到第三级检测器中，根据得分情况，判断是否为人脸，进行取舍，并将该图片对应原图中的坐标进行映射计算；
[0041]将第三级判断为人脸的坐标信息和第二级检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种级联的人脸检测最后一级的检测方法，其特征在于，所述方法是基于三级级联，对最后一级的训练中，使用无人脸的图片提取负样本，以增加负样本量；在第二级生成的结果中，对得分在阈值确定区间的人脸图片进行最后一级的处理，并且使用第二级输入的人脸图片作为最后一级输入的人脸图片。2.根据权利要求1所述的一种级联的人脸检测最后一级的检测方法，其特征在于，所述阈值是根据所述的当第二级生成的结果中，基于得分在大于所述阈值的人脸中，正确率很高，当低于这个阈值时，正确率降低和/或错误率升高的情况确定的。3.根据权利要求1所述的一种级联的人脸检测最后一级的检测方法，其特征在于，所述方法包括：S1，训练样本的生成：提取训练样本的负样本，使用大量没有人脸的图片进行提取负样本，所有被二级检测器检测为人脸的图片都是负样本，以输入到二级检测器的图片为保存目标进行保存；正样本的采集，使用二级检测器检测带有标注的图片，检测出的人脸与图片标注区域的人脸的iou大于0.5的为正样本，小于0.2的为负样本；S2，设计网络结构模型：量化要求卷积只使用3
×
3的卷积，每层的深度必须是16的倍数，根据量化要求设计如下网络：第一层输入的图片为25
×
25
×
3，输出深度为32的特征图，卷积核为3
×
3，步长为1，计算卷积的图为两端非对齐，所有数据有效使用；第二层输入数据的特征图为23
×
23
×
32，输出特征图深度为32，卷积核大小为3
×
3大小，步长为2，计算卷积的图为两端非对齐；第三层输入数据的特征图的大小为11
×
11
×
32，输出特征图深度为32，卷积核为3
×
3，步长为2，计算卷积的图为两端非对齐，输出特征图5
×5×
32；第四层输入特征图为5
×5×
32，输出48张特征图，卷积核为3
×
3，步长为2，计算卷积的图为两端非对齐，输出特征图2
×2×
48；...

【专利技术属性】
技术研发人员：田凤彬，于晓静，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：