一种基于上下文信息增强的人脸检测方法技术

本发明专利技术涉及一种基于上下文信息增强的人脸检测方法，包括：收集不同场景下的包含人脸目标的图像数据，并将每张图像中所包含的人脸目标标记出来；图像数据集划分；设计基于上下文信息增强的深度卷积网络结构；设计上下文信息增强的子网络；设计多路径增强子网络；设计检测子网络。

A Face Detection Method Based on Context Information Enhancement

The present invention relates to a face detection method based on context information enhancement, which includes: collecting image data containing face targets in different scenes and marking the face targets contained in each image; dividing image data sets; designing a deep convolution network structure based on context information enhancement; designing a sub-network based on context information enhancement; and designing multi-path augmentation. Hadron network; design detection subnetwork.

【技术实现步骤摘要】
一种基于上下文信息增强的人脸检测方法
本专利技术涉及人脸识别、身份验证、安防监控、门禁考勤等计算机视觉相关领域的人脸检测方法，特别是涉及小尺度目标检测与基于深度卷积神经网络的人脸检测方法。
技术介绍
目标检测是计算机视觉领域中重要研究领域之一，随着深度学习技术的不断完善与发展，基于深度学习的目标检测技术已经在诸多现实领域中具有广泛的应用。而人脸检测任务作为其中一个重要的研究方向已获得了长足的发展，且随着信息化的不断加深，基于人脸检测技术的个人身份认证、安防监控、门禁考勤、客流统计等人工智能技术逐渐出现在安全、商业等诸多应用场景中。人脸检测任务是指利用相关的算法与模型将图像或视频数据中存在的感兴趣目标与背景区分出来，同时利用检测框的形式给出人脸目标在图像中所在的位置信息。图1中展示了两个基于人脸检测的人工智能技术在不同场景下的应用示例图。传统的考勤门禁系统是采用刷卡的方式进行信息的统计，但这种方式存在很多弊端，如：忘记带卡、代刷卡等现象；后来出现了指纹打卡的形式，但会存在因手部的变化会使得识别效果受到严重影响的问题；而图1(a)中基于人脸检测技术的方法则有效地避免了上述问题，且更加便捷、高效。图1(b)中，为了统计商业活动中的客流信息，监控系统会实时进行采集，并分析不同顾客的消费习惯及客流分布情况。人脸检测任务的目标是找到图像中存在的人脸目标及其位置信息，在约束环境下，图像中的人脸目标比较显著，且受到的环境影响较小，故该情况下的算法研究已达到一个较好的水平；但在非约束环境下，存在较多的影响因素，如：人脸的尺寸变化范围很大、光照条件不一、成像质量不同、面部遮挡等问题，导致在该情况下的人脸检测任务存在极大的困难和挑战。在经典的目标检测算法中主要分为两类：双阶段方法[1]主要包含候选位置的生成以及候选目标的分类两个步骤；单阶段方法[2]则是直接在图像中同时完成候选目标的生成与分类。两者相比而言，双阶段方法具有更高的准确率，单价段方法的检测速度更快。而开放环境下人脸检测的难点在于解决多尺度以及目标信息匮乏等问题，现有的检测方法中通过图像金字塔[1][3]、特征金字塔[2][4][5]以及引入上下文信息[3][6]等方法来解决上述问题。但当前针对于单阶段检测模型中不能较好地融入上下文信息的问题。参考文献：[1]RenS,HeK,GirshickR,etal.FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks[C]//InternationalConferenceonNeuralInformationProcessingSystems.MITPress,2015:91-99.[2]LiuW,AnguelovD,ErhanD,etal.SSD:SingleShotMultiBoxDetector[J].2015:21-37.[3]HuP,RamananD.Findingtinyfaces[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEEComputerSociety,2017:1522-1530.[4]C.-Y.Fu,W.Liu,A.Ranga,A.Tyagi,A.C.Berg,DSSD:DeconvolutionalSingleShotDetector,CoRRabs/1701.06659,2017.[5]T.Lin,P.Dollar,R.Girshick,K.He,B.Hariharan,andS.Belongie,FeaturePyramidNetworksforObjectDetection,Proc.IEEEComputerVisionandPatternRecognition,2017.[6]CaiZ,FanQ,FerisRS,etal.AUnifiedMulti-scaleDeepConvolutionalNeuralNetworkforFastObjectDetection[C]//EuropeanConferenceonComputerVision.Springer,Cham,2016:354-370.
技术实现思路
本专利技术的目的是提供一种人脸目标检测性能较好，可以提高算法对开放环境下人脸检测的鲁棒性的。本专利技术在单阶段网络中利用不同尺度的检测分支，并引入多感受野的、多语义层级的上下文特征，以此来使得网络能够得到候选目标更加丰富的特征信息，帮助网络提升在非约束环境下对小尺度人脸目标、存在遮挡的人脸目标的检测性能。技术方案如下：一种基于上下文信息增强的人脸检测方法，包含以下步骤：(1)收集不同场景下的包含人脸目标的图像数据，并将每张图像中所包含的人脸目标标记出来，标注内容为每个目标在图像中的位置信息以及相对于目标的标签信息，来作为每张图像的标签信息；(2)图像数据集划分：将收集到的数据集划分为：训练集、验证集以及测试集；(3)设计基于上下文信息增强的深度卷积网络结构：包括设计网络结构中的主干子网络结构，包括其中的卷积层、池化层、非线性激活层等的相关结构及其参数的设置，设计训练过程中的训练策略及其所需的损失函数，并选择合适的方法实现对所设计模型的参数初始化；(4)设计上下文信息增强的子网络：采用跨层之间的跳连接来传递卷积层之间的信息，利用尺寸较小的卷积核堆叠的方式等效出较大卷积核的特性；引入深度可分离卷积，将进行三维卷积的同时考虑区域与通道，变换为先只考虑局部区域，再考虑通道间的关系，进而将区域与通带分离开来，对于主干子网络中每一个特征分支输出的特征图，均利用该模块进一步提取候选目标的上下文信息，作为参考特征来辅助网络模型对人脸目标的判别；(5)设计多路径增强子网络：将不同分支经过上下文信息增强后的特征做进一步不同路径间多语义层级的特征融合，将相邻路径中高语义层级的特征经过上采样与低语义层级特征进行融合，低语义层级的特征经过下采样与高语义层级特征相融合，经过该操作得到的特征图作为检测子网络的输入特征图；(6)设计检测子网络：给网络模型输入图像，经过(4)和(5)设计的子网络的基础特征提取、上下文信息增强与多语义特征融合得到最终的输出特征，该特征通过检测子网络计算出每个候选目标的置信概率与位置偏移量，进而根据预先设置的状态阈值对其进行判别，最终得到输入图像中人脸目标的检测结果。采用本专利技术中的方法实现简单，便于将该方法应用到需要增强上下文信息的目标检测器中，在保证检测效率的同时，引入更加丰富的上下文信息与不同语义级别的特征信息，有效地提高了单阶段网络在复杂环境下对感兴趣目标的检测性能，有助于对小尺度目标与存在遮挡问题目标的检测任务。附图说明图1物体检测的应用示例(a)考勤门禁(b)客流信息统计图2传统的深度卷积网络应用于目标检测方法示意图3本专利技术中设计的基于上下文信息增强的人脸目标检测方法示例图4本专利技术所提出方法中的上下文信息增强子网络示例图5上下文信息增强模块中采用的可分离卷积示例图1中描述了本专利技术在各个现实场景中的实际应用示例。图2中描述了传统的基于深度卷积网络的目标检测方法的应用示例。图3中描述了本专利技术中所涉及的开放场景中基于上下文信息增强本文档来自技高网...

【技术保护点】
1.一种基于上下文信息增强的人脸检测方法，包含以下步骤：(1)收集不同场景下的包含人脸目标的图像数据，并将每张图像中所包含的人脸目标标记出来，标注内容为每个目标在图像中的位置信息以及相对于目标的标签信息，来作为每张图像的标签信息；(2)图像数据集划分：将收集到的数据集划分为：训练集、验证集以及测试集；(3)设计基于上下文信息增强的深度卷积网络结构；(4)设计上下文信息增强的子网络：采用跨层之间的跳连接来传递卷积层之间的信息，利用尺寸较小的卷积核堆叠的方式等效出较大卷积核的特性；引入深度可分离卷积，将进行三维卷积的同时考虑区域与通道，变换为先只考虑局部区域，再考虑通道间的关系，进而将区域与通带分离开来，对于主干子网络中每一个特征分支输出的特征图，均利用该模块进一步提取候选目标的上下文信息，作为参考特征来辅助网络模型对人脸目标的判别；(5)设计多路径增强子网络：将不同分支经过上下文信息增强后的特征做进一步不同路径间多语义层级的特征融合，将相邻路径中高语义层级的特征经过上采样与低语义层级特征进行融合，低语义层级的特征经过下采样与高语义层级特征相融合，经过该操作得到的特征图作为检测子网络的输入特征图；(6)设计检测子网络：给网络模型输入图像，经过(4)和(5)设计的子网络的基础特征提取、上下文信息增强与多语义特征融合得到最终的输出特征，该特征通过检测子网络计算出每个候选目标的置信概率与位置偏移量，进而根据预先设置的状态阈值对其进行判别，最终得到输入图像中人脸目标的检测结果。...

【技术特征摘要】
1.一种基于上下文信息增强的人脸检测方法，包含以下步骤：(1)收集不同场景下的包含人脸目标的图像数据，并将每张图像中所包含的人脸目标标记出来，标注内容为每个目标在图像中的位置信息以及相对于目标的标签信息，来作为每张图像的标签信息；(2)图像数据集划分：将收集到的数据集划分为：训练集、验证集以及测试集；(3)设计基于上下文信息增强的深度卷积网络结构；(4)设计上下文信息增强的子网络：采用跨层之间的跳连接来传递卷积层之间的信息，利用尺寸较小的卷积核堆叠的方式等效出较大卷积核的特性；引入深度可分离卷积，将进行三维卷积的同时考虑区域与通道，变换为先只考虑局部区域，再考虑通道间的关系，进而将区域与通带分离开来，对于主干子网络中每一个特征分支输出...

【专利技术属性】
技术研发人员：陈龙，庞彦伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12