基于深度卷积神经网络的人脸遮挡检测方法技术

本发明专利技术公开了一种基于深度卷积神经网络的人脸遮挡检测方法，包括：对输入图像进行分块，得到目标预选区域；构建第一深度卷积神经网络，通过训练包括第一深度卷积网络和与其连接的第一多层感知器的第一深度卷积神经网络得到所需参数，提取目标预选区域的特征并进行分类；根据提取的特征，通过第二多层感知器预测人头位置；将分类类别是人头的可信度和预测得到的人头位置通过非极大值抑制过滤去除重叠的重复检测框；联合原图分割得到人头块，构建基于多任务学习策略的第二深度卷积神经网络，判断该人头块的左眼、右眼、鼻子和嘴巴是否被遮挡。该方法能准确检测遮挡的人脸，并且判断其具体的遮挡部位，主要用于自动取款机前摄像机视频的犯罪预警。

【技术实现步骤摘要】

本专利技术涉及一种人脸遮挡检测方法，具体地涉及一种基于深度卷积神经网络的人脸遮挡检测方法。
技术介绍
自从20世纪70年代自动取款机(AutomaticTellerMachine(ATM))被广泛引入，其一直是犯罪分子的目标。例如，骗子使用各种手段获取用户的卡号和密码。实时自动报警系统是解决此问题的最直接技术。因为，监控摄像机几乎被安装在所有的自动取款机上。然而，视频需要人工二十四小时监管，但是人的疲劳和分心将不可避免。因此，政商们急需一种用于自动取款机的人脸遮挡检测方法。面遮挡检测已经研究了数年，也提出了一些方法，其中许多旨在加强自动取款机的安全性。但是其特征表达方法不能满足自动取款机场景下的复杂的情况。直到深度学习被提出。大量研究者将其应用于各种机器视觉问题，比如检测，分类和分割。深度卷积神经网络模型(deepconvolutionalneuralnetwork)，作为深度学习最为成功的模型之一，其集特征提取与分类模型为一体，在有监督的机器学习任务上，具有良好的表现。最近，目标检测最成功的方法是利用众所周知的滑动窗口(slidingwindow)模式.但是为了准确检测大小变化较大的目标时，此方法将导致后续分类器(classifier)计算量剧增。基于边缘的预选区域推荐器(EdgeBoxes)是一种主流的解决方法，其不仅计算快，推荐的区域少，而且几乎能确保所需目标一定在推荐结果中。为了克服拟合深度学习模型时训练数据不足的问题，知识迁移(knowledgetransfer)技术的提出很好得缓解了此问题。多任务学习(multi-tasklearning)策略共享任务间的信息，其不仅能分享任务间的信息，以达到同时提高每个任务的性能。本专利技术因此而来。
技术实现思路
针对上述存在的缺陷，本专利技术的目的是提出了一种基于深度卷积神经网络的人脸遮挡检测方法。该方法能实现基于自动取款机视频场景下的人脸遮挡检测，并且提供具体的遮挡部位。同时，该方法载入通用的预训练模型减少了训练数据，使用基于边缘的预选区域推荐器降低了分类器在复杂场景下的计算复杂度，通过深度卷积神经网络提取了更具类别差异的特征，借用多任务学习策略共享多任务间的差异信息提高了每个任务的性能。本专利技术的技术方案是：一种基于深度卷积神经网络的人脸遮挡检测方法，包括以下步骤：S01：对输入图像进行分块，得到目标预选区域；S02：构建第一深度卷积神经网络，通过训练第一深度卷积神经网络得到所需参数，提取目标预选区域的特征并进行分类，所述第一深度卷积神经网络包括第一深度卷积网络和与其连接的第一多层感知器；S03：根据步骤S02提取的特征，构建第二多层感知器，通过第二多层感知器预测人头位置；S04：将分类类别是人头的可信度和预测得到的目标位置通过非极大值抑制过滤去除重叠的重复检测框；S05：联合原图分割得到人头块，构建基于多任务学习策略的第二深度卷积神经网络，所述第二深度卷积神经网络包括第二深度卷积网络和四个并联的第三多层感知器，所述四个第三多层感知器分别用于判断该人头块的左眼、右眼、鼻子和嘴巴是否被遮挡。优选的，所述步骤S01中通过基于边缘的预选区域推荐器对输入图像进行分块，通过计算滑窗窗口内边缘个数，打分并排序，过滤低分的候选框；所述基于边缘的预选区域推荐器的参数α为0.65，β为0.75，其中，α为区域推荐器扫框的密度，β为非最大值抑制的阈值。优选的，所述步骤S02中训练第一深度卷积神经网络得到所需参数包括，第一深度卷积神经网络通过通用的数据库训练至收敛；然后载入人脸遮挡数据，继续训练至收敛；通过前传方法得到训练误差，通过反向传播方法更新各层的权重参数值。优选的，所述第一深度卷积神经网络包括依次连接的卷积层、激活层、池化层、全连层、输出层和代价函数层；所述全连层为多层感知器中的一层；所述卷积层表达式：式中x和y分别为输入和输出，wi为深度卷积网络的i位置的权重参数，b为卷积神经网络权重的偏置参数；所述激活层表达式：y＝fReLU(x)＝max(x,0)(2)式中x和y分别为输入和输出；所述池化层表达式：式中，是第i个输出图像上，第m行第n列上的神经元，其由第i个输入图像上大小为s×s的区域池化而成；所述全连层表达式：式中，xi是输入向量中的第i个神经元，yj是一个输出向量中的第j个神经元，w是一个全连层中的权重参数，b是偏置参数；所述输出层表达式：式中，xi是输入的第i个神经元，K是总类数，pi是第i类的输出得分；所述代价函数层表达式：式中，Yloss是代价值，Yj和分别是实际输出和真实标签第j个神经元的值，k是输出神经元的总数。优选的，根据链式法则逐步反向传播误差，更新各层的权重参数值；反向传播表达式如下：式中为要加在原来权重上的权重变化值，α为学习速率，E为误差，意味着计算误差对权重wij的偏导数。优选的，所述步骤S03包括，将人头的位置转换成一个连续值；训练一个包含四个输出的第二多层感知器直至收敛，分别预测人头最小外接框中心点坐标(x,y)和宽高(w,h)，变换表达式如下：式中是回归器的目标值，其中*是x、y、w、h之一。优选的，所述步骤S04中非极大值抑制的面积重叠比例阈值为0.3。优选的，所述步骤S05包括：构建第二深度卷积神经网络；运用知识迁移策略，载入步骤S02中最终收敛的第一深度卷积神经网络的参数至第二深度卷积神经网络的相应层中；将分割得到的人头块加载入此第二深度卷积神经网络中，训练至收敛；一个多层感知器完成一个任务，每个任务间分享自身的同异，多任务学习方法表达式：式中Ljoint表示所有任务的代价总和值，αi和Li表示任务i的权重和代价值，N为任务的总数，为4。与现有技术相比，本专利技术的优点是：该方法能实现基于自动取款机视频场景下的人脸遮挡检测，能准确检测遮挡的人脸，并且判断其具体的遮挡部位，主要用于自动取款机前摄像机视频的犯罪预警。该方法载入通用的预训练模型减少了训练数据，使用基于边缘的预选区域推荐器降低了分类器在复杂场景下的计算复杂度，通过深度卷积神经网络提取了更具类别差异的特征，借用多任务学习策略共享多任务间的差异信息提高了每个任务的性能。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为本专利技术基于深度卷积神经网络的人脸遮挡检测方法的流程图；图2为人脸遮挡检测数据库；图3为深度卷积神经网络模型(网络1)的结构图；图4为基于多任务学习和深度卷积神经网络(网络2)的结构图；图5为基于边缘的目标区域推荐器在人脸遮挡检测数据库中三组α和β值的测试性能；图6为基于边缘的目标区域推荐器在人脸遮挡检测数据库中K的测试召回率；图7为人头检测结果示例图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。如图1所示，本专利技术基于深度卷积神经网络的人脸遮挡检测方法，包括以下步骤：步骤1基于边缘的预选区域推荐方法(EdgeBoxes)分块输入图像对图2所示的输入图像采用基于边缘的预选区域推荐方法进行分块。其分块出来的区域几乎一定包含后续分类器需要的目标区域。本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的人脸遮挡检测方法，其特点在于，包括以下步骤：S01：对输入图像进行分块，得到目标预选区域；S02：构建第一深度卷积神经网络，通过训练第一深度卷积神经网络得到所需参数，提取目标预选区域的特征并进行分类，所述第一深度卷积神经网络包括第一深度卷积网络和与其连接的第一多层感知器；S03：根据步骤S02提取的特征，构建第二多层感知器，通过第二多层感知器预测人头位置；S04：将分类类别是人头的可信度和预测得到的目标位置通过非极大值抑制过滤去除重叠的重复检测框；S05：联合原图分割得到人头块，构建基于多任务学习策略的第二深度卷积神经网络，所述第二深度卷积神经网络包括第二深度卷积网络和四个并联的第三多层感知器，所述四个第三多层感知器分别用于判断该人头块的左眼、右眼、鼻子和嘴巴是否被遮挡。

【技术特征摘要】
1.一种基于深度卷积神经网络的人脸遮挡检测方法，其特点在于，包括以下步骤：S01：对输入图像进行分块，得到目标预选区域；S02：构建第一深度卷积神经网络，通过训练第一深度卷积神经网络得到所需参数，提取目标预选区域的特征并进行分类，所述第一深度卷积神经网络包括第一深度卷积网络和与其连接的第一多层感知器；S03：根据步骤S02提取的特征，构建第二多层感知器，通过第二多层感知器预测人头位置；S04：将分类类别是人头的可信度和预测得到的目标位置通过非极大值抑制过滤去除重叠的重复检测框；S05：联合原图分割得到人头块，构建基于多任务学习策略的第二深度卷积神经网络，所述第二深度卷积神经网络包括第二深度卷积网络和四个并联的第三多层感知器，所述四个第三多层感知器分别用于判断该人头块的左眼、右眼、鼻子和嘴巴是否被遮挡。2.根据权利要求1所述的基于深度卷积神经网络的人脸遮挡检测方法，其特征在于，所述步骤S01中通过基于边缘的预选区域推荐器对输入图像进行分块，通过计算滑窗窗口内边缘个数，打分并排序，过滤低分的候选框；所述基于边缘的预选区域推荐器的参数α为0.65，β为0.75，其中，α为...

【专利技术属性】
技术研发人员：张百灵，夏翌彰，钱荣强，颜诗洋，
申请(专利权)人：西交利物浦大学，
类型：发明
国别省市：江苏;32