一种利用上下文信息的三分类人脸检测方法技术

本发明专利技术公开了一种利用上下文信息的三分类人脸检测方法，包括以下步骤：步骤1、数据准备：a、对图像集合中的每一张人脸进行人工标注，获得人脸框；b、将标注完成的人脸框按照大小进行分类，并对小人脸区域进行放大，其余标注为正常脸；c、将步骤b获得的带有标注的人脸图像集合分为训练集和校验集；步骤2、模型设计：设计端到端的神经网络模型，包括基础卷积网络、区域建议网络和精调网络；步骤3、模型训练：经训练集输入步骤2设计的神经网络模型，利用批次随机梯度下降方法进行模型训练；利用校验集验证模型训练效果；最终得到人脸检测模型。本发明专利技术极大提高了人脸检测的精度和人脸的召回率。

A three classification face detection method using context information

The invention discloses a three-class face detection method utilizing context information, which comprises the following steps: step 1, data preparation: a, labeling each face in the image set manually to obtain the face frame; b, classifying the labeled face frame according to its size, and enlarging the small face region; The rest are labeled as normal faces; C. Divide the labeled face image set obtained by step B into training set and checking set; Step 2, Model design: Designing end-to-end neural network model, including basic convolution network, area recommendation network and fine-tuning network; Step 3, Model training: Designed by training set input step 2. Neural network model is trained by batch stochastic gradient descent method, the training effect is validated by checkset, and the face detection model is finally obtained. The invention greatly improves the accuracy of face detection and the recall rate of face.

【技术实现步骤摘要】
一种利用上下文信息的三分类人脸检测方法
本专利技术涉及人脸检测方法，尤其涉及一种利用上下文信息的三分类人脸检测方法。
技术介绍
人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸(存在)则返回人脸的位置、大小和姿态。人脸的处理和分析包括人脸识别、人脸跟踪、姿势估计和表情识别等，其中人脸检测是所有人脸信息处理中关键的第一步。目前的人脸检测方法大多基于深度神经网络框架。主要方法有：1)基于级联卷积神经网络的人脸检测。相关专利：CN107688786A。主要技术手段：首先进行图像预处理，对测试图像进行尺度变换，输入第一层级网络。其次在后续阶段，对人脸框进行筛选与进一步回归，对人脸进行过滤。问题和缺点：该类方法需要设定最小人脸参数，且对检测结果有较强影响；其次，第一阶段的网络深度一般，导致人脸召回不高，导致精度下降。2)基于卷积神经网络的人脸检测方法及装置。相关专利：CN107633229A。主要技术手段：采用双肤色分割法提取前景信息，再从中筛选出候选区域，进行训练。问题和缺点：采用肤色分割法从待检图片提取前景区域精度欠佳，对不同肤色人种鲁棒性较弱，直接导致选取训练所用的基于候选区的样本不准确；其次，针对图中尺度较小的人脸，检测能力较差。
技术实现思路
为了解决上述技术所存在的不足之处，本专利技术提供了一种利用上下文信息的三分类人脸检测方法。为了解决以上技术问题，本专利技术采用的技术方案是：一种利用上下文信息的三分类人脸检测方法，包括以下步骤：步骤1、数据准备：a、对RGB图像集合中的每一张人脸进行人工标注，获得人脸框；b、将标注完成的人脸框按照大小进行分类，将大小在20*20像素以内的人脸框标注为小人脸，并对小人脸区域进行放大，其余标注为正常脸；c、将步骤b获得的带有标注的人脸图像集合分为训练集和校验集；步骤2、模型设计：设计端到端的神经网络模型，包括基础卷积网络、区域建议网络和精调网络；步骤3、模型训练：经训练集输入步骤2设计的神经网络模型，利用批次随机梯度下降方法进行模型训练；利用校验集验证模型训练效果；最终得到人脸检测模型。进一步地，所述步骤1中，标注人脸框的位置、尺寸与真实数据之间误差不得超过10％，在人脸被部分遮挡的情况下也应标注出准确位置；对于正脸，上边界为额头边缘，下边界为下巴，左右边界为耳根；对于侧脸，上边界为额头边缘，下边界为下巴，左右边界一个为耳根，另一个为面颊边缘或者鼻尖靠外一方。进一步地，所述步骤2中的神经网络模型中，所述基础卷积网络将输入的训练集数据进行一系列卷积层，得到特征图，并送入区域建议网络；区域建议网络以基础卷积网络得到的特征图上每个点为锚心，以锚的大小提取前景区域；精调网络结合基础网络得到的特征图和区域建议网络得到的前景区域，对分类任务重新定义，判断前景区域是否为小人脸、正常脸或背景，同时对边框位置进行回归，调整边框的位置信息，得到最终人脸的位置信息。进一步地，所述区域建议网络锚的大小基于训练集，采用k-means聚类算法获得，设置距离公式为：d(box,anchor)＝k(1-IOU(box,anchor))，其中IOU为人脸框与设定的锚的交并比，k为权重的设置，此处设置k为1。进一步地，所述区域建议网络还包括边框回归模块，对得到的前景区域进行边框回归任务，根据特征和映射函数，对前景区域的位置信息进行调整，使其更准确的包含前景物体。进一步地，所述区域建议网络还包括上下文信息模块，对得到的前景区域的进行中心不变，面积扩大原来的两倍操作，使其包含上下文信息。进一步地，所述步骤3中，利用校验集验证模型训练效果，具体位置：当模型在校验集上获得较好的人脸检测精度并且该精度不能随着训练过程再提升时，停止训练，获得最好的训练效果。进一步地，所述三分类人脸检测方法还包括步骤4：将待检测图像输入步骤3获得的训练好的人脸检测模型中，获得人脸位置。本专利技术的有益效果为：1.由于小脸(20x20像素以内)与正常脸包含特征模式不同，本专利技术的方法增加小脸类别，设计三分类任务，防止小脸与正常脸在预测时属于同一类别而互相影响。技术效果：增加第三个类别大大提高了人脸分类的精度。特别的，随着人脸尺寸的下降，精度指数递减，矛盾在与不同大小的人脸包含的信息模式不一样，增加新的类别将有效解决该冲突。2.利用上下文信息提高小脸检测的召回率：1)对训练样本的标注进行外扩，保证上下文信息的利用；2)设计上下文信息模块，使建议网络生成的候选区包含上下文信息。技术效果：检测模型通过对上下文信息的学习提高了检测小人脸的精度。3.使用聚类算法计算锚的大小：针对训练集，对锚的大小进行聚类，从而获得更好的训练样本，提高测试过程中对人脸的召回率。本专利技术将对上下文信息的学习与三分类任务配合使用，极大地提高了人脸检测的精度，通过聚类算法对锚的设定，提高了训练数据的使用效率，对人脸的召回率有很大的提升，解决了现有技术中人脸检测精度不足且对小人脸不鲁棒的问题。附图说明图1为本专利技术的方法流程示意图。图2为在RGB图像上人工标注人脸框的示意图。图3为根据锚的大小提取前景区域的示意图。图4为上下文区域模块工作示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本实施例提供利用上下文信息的三分类人脸检测方法，包括：1.数据准备阶段1.1对RGB图像集合中的每一张人脸进行人工标注：用矩形框标注出人脸所在位图片中所有可肉眼识别的人脸(人脸大小大于20*20像素)，包括黑人、白人、黄种人等，非真人人脸(如漫画、雕塑等)不需要标注。标注矩形框的位置、尺寸与真实数据之间误差不得超过10％，在部分遮挡情况下(遮挡小于50％)也应标注出准确位置。对于正脸，上边界为额头边缘，下边界为下巴，左右边界为耳根(不包括耳朵)；对于侧脸，上下边界不变，左右边界一个为耳根(不包括耳朵)，另一个为面颊边缘或者鼻尖(哪个更靠外就是哪个)，如图2所示。1.2将标注完成的人脸框按照大小进行分类。大小在20*20像素以内的人脸框标注为小人脸，并对标注区域进行放大，中心不变，面积为原来的二倍，其余标注为正常脸。2.模型设计阶段，如图1所示，设计端到端的模型如下：2.1模型分为由三部分组成，基础卷积网络，区域建议网络，精调网络；2.2训练数据输入模型，经过基础卷积网络，得到特征图，送入区域建议网络；2.3区域建议网络基于所设锚的大小得到一系列前景区域，这些区域中有较大概率包含人脸。以2.2得到的特征图上每个点为锚心，以锚的大小提取前景区域，如图3；2.4锚的大小基于训练集，采用k-means聚类算法获得，设置距离公式为：d(box,anchor)＝k(1-IOU(box,anchor))其中IOU为人脸框与设定的锚的交并比，k为权重的设置，此处我们设置k为1；2.5对2.4得到一系列前景区域FG_i(x1_i,y1_i,x2_i,y2_i)，i＝0,1,2..n，进行边框回归任务，其中(x1_i,y1_i,)和(x2_i,y2_i)分别表示前景区域图像中FG_i左上角和右下角的点的坐标；根据特征和映射函数F，使得F(x1,y1,x2,y2)逼近人脸真实坐标，即对前景区域的位置信息进行调整，使其更准确的包含前景物体；2.6设计上下文信息模本文档来自技高网...

【技术保护点】
1.一种利用上下文信息的三分类人脸检测方法，其特征在于：包括以下步骤：步骤1、数据准备：a、对RGB图像集合中的每一张人脸进行人工标注，获得人脸框；b、将标注完成的人脸框按照大小进行分类，将大小在20*20像素以内的人脸框标注为小人脸，并对小人脸区域进行放大，其余标注为正常脸；c、将步骤b获得的带有标注的人脸图像集合分为训练集和校验集；步骤2、模型设计：设计端到端的神经网络模型，包括基础卷积网络、区域建议网络和精调网络；步骤3、模型训练：经训练集输入步骤2设计的神经网络模型，利用批次随机梯度下降方法进行模型训练；利用校验集验证模型训练效果；最终得到人脸检测模型。

【技术特征摘要】
1.一种利用上下文信息的三分类人脸检测方法，其特征在于：包括以下步骤：步骤1、数据准备：a、对RGB图像集合中的每一张人脸进行人工标注，获得人脸框；b、将标注完成的人脸框按照大小进行分类，将大小在20*20像素以内的人脸框标注为小人脸，并对小人脸区域进行放大，其余标注为正常脸；c、将步骤b获得的带有标注的人脸图像集合分为训练集和校验集；步骤2、模型设计：设计端到端的神经网络模型，包括基础卷积网络、区域建议网络和精调网络；步骤3、模型训练：经训练集输入步骤2设计的神经网络模型，利用批次随机梯度下降方法进行模型训练；利用校验集验证模型训练效果；最终得到人脸检测模型。2.根据权利要求1所述的三分类人脸检测方法，其特征在于：所述步骤1中，标注人脸框的位置、尺寸与真实数据之间误差不得超过10％，在人脸被部分遮挡的情况下也应标注出准确位置；对于正脸，上边界为额头边缘，下边界为下巴，左右边界为耳根；对于侧脸，上边界为额头边缘，下边界为下巴，左右边界一个为耳根，另一个为面颊边缘或者鼻尖靠外一方。3.根据权利要求1所述的三分类人脸检测方法，其特征在于：所述步骤2中的神经网络模型中，所述基础卷积网络将输入的训练集数据进行一系列卷积层，得到特征图，并送入区域建议网络；区域建议网络以基础卷积网络得到的特征图上每个点为锚心，以锚的大小提取前景区域；精调网络结合基础网络得到的特征图和区...

【专利技术属性】
技术研发人员：姜丰，张杰，山世光，
申请(专利权)人：中科视拓北京科技有限公司，
类型：发明
国别省市：北京,11