一种人脸检测方法及装置制造方法及图纸

本发明专利技术实施例提供一种人脸检测方法，包括：采用训练后的第一深度卷积神经网络提取输入图像中的各个候选窗口的第一图像特征向量；采用训练后的第二深度卷积神经网络提取输入图像中的各个候选窗口的第二图像特征向量；将相同维度的所述第一图像特征向量和所述第二图像特征向量融合得到第三图像特征向量；将所述第三图像特征向量降维得到第四图像特征向量；根据所述第四图像特征向量，采用训练后的分类器检测各个所述候选窗口是否为人脸区域。本发明专利技术实施例还提供一种人脸检测装置。本发明专利技术实施例通过两个深度卷积神经网络分别提取候选人脸图像中的图像特征向量并融合该图像特征向量，并通过降维处理，不仅可更加精确地检测人脸，还可提高检测的效率。

A method and device for face detection

Including the embodiment of the invention provides a method of face detection, feature extraction: the first image of each candidate window in the input image using the first deep convolutional neural network after training; second image feature vector is extracted from each candidate window in the input image using second convolutional neural network trained by the same dimension; the first image feature vector and the second image feature vector fusion third image feature vector; the third image dimensionality fourth image feature vectors; according to the fourth image feature vector, using the trained classifier to detect each of the candidate face region whether the window. An embodiment of the invention also provides a face detection device. The embodiment of the invention extracts the image feature vectors from candidate face images and integrates the image feature vectors through two deep convolutional neural networks, and by dimensionality reduction, it can not only detect human faces more accurately, but also improve the efficiency of detection.

【技术实现步骤摘要】
一种人脸检测方法及装置
本专利技术涉及人脸检测
，特别是涉及一种人脸检测方法及装置。
技术介绍
人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果存在则返回所有人脸的位置和大小等信息。常用的人脸检测方法有基于提升级联的方法、基于DPM的方法、基于卷积神经网络(CNN)以及深度卷积神经网络(DCNN)的方法。但是现有技术的方法一般采用单个网络提取图像特征向量，图像特征信息的表达不丰富，无法解决姿态变化的影响等检测问题，从而影响人脸检测结果。
技术实现思路
本专利技术实施例提供一种人脸检测方法，以解决现有技术中的检测方法的图像特征信息的表达不丰富以及姿态变化的影响等检测问题。本专利技术实施例提供一种人脸检测装置，以解决现有技术中的人脸检测装置检测的图像特征信息的表达不丰富以及姿态变化的影响等检测问题。第一方面，提供一种人脸检测方法，包括：采用训练后的第一深度卷积神经网络提取输入图像中的各个候选窗口的第一图像特征向量；采用训练后的第二深度卷积神经网络提取输入图像中的各个候选窗口的第二图像特征向量；将相同维度的所述第一图像特征向量和所述第二图像特征向量融合得到第三图像特征向量；将所述第三图像特征向量降维得到第四图像特征向量；根据所述第四图像特征向量，采用训练后的分类器检测各个所述候选窗口是否为人脸区域。第二方面，提供一种人脸检测装置，包括：第一提取模块，用于采用训练后的第一深度卷积神经网络提取输入图像中的各个候选窗口的第一图像特征向量；第二提取模块，用于采用训练后的第二深度卷积神经网络提取输入图像中的各个候选窗口的第二图像特征向量；融合模块，用于将相同维度的所述第一图像特征向量和所述第二图像特征向量融合得到第三图像特征向量；降维模块，用于将所述第三图像特征向量降维得到第四图像特征向量；检测模块，用于根据所述第四图像特征向量，采用训练后的分类器检测各个所述候选窗口是否为人脸区域。这样，本专利技术实施例中，通过两个深度卷积神经网络分别提取候选人脸图像中的图像特征向量并将分别提取的图像特征向量融合得到融合后的图像特征向量，该融合后的图像特征向量表达的图像信息丰富，可减少姿态变化对检测的影响，同时通过对融合后的图像特征向量降维，可解决图像特征向量的稀疏性等问题，并降低了计算的复杂度，不仅可更加精确地检测人脸，还可提高检测的效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的人脸检测方法的流程图；图2是本专利技术实施例的图像金字塔的示意图；图3是本专利技术实施例的offsetmax-pooling方法的示意图；图4是本专利技术实施例的全卷积网络特征映射示意图；图5是本专利技术另一个实施例的人脸检测方法的流程图；图6是本专利技术另一个实施例的人脸检测方法的采用NMS方法得到检测框的结果示意图；其中，(a)是采用NMS方法处理之前的输入图像中的人脸检测框分布图，(b)是采用NMS-Max方法处理之后的输入图像中的人脸检测框分布图，(c)是采用NMS-Average方法处理之后的输入图像中的人脸检测框分布图；图7是本专利技术实施例的本专利技术实施例的人脸检测方法检测得到的召回率-误检数曲线图；图8是采用本专利技术实施例的人脸检测方法的部分测试结果；图9是本专利技术实施例的人脸检测装置的一种结构示意图；图10是本专利技术实施例的人脸检测装置的另一种结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种人脸检测方法。如图1所示，为本专利技术实施例的人脸检测方法的流程图。该实施例的人脸检测方法具体包括如下的步骤：步骤S101：采用训练后的第一深度卷积神经网络提取输入图像中各个候选窗口的第一图像特征向量。其中，深度卷积神经网络(DeepConvolutionalNeuralNetwork，DCNN)通过构建具有多个隐藏层的学习模型对输入信息进行分级表达。其强调模型结构的深度，明确突出特征学习的重要性，通过逐层特征变换将原始输入信息传输到不同层，每层通过一个数字滤波器获得输入数据的最显著特征，使得分类更加准确。因此，采用第一深度卷积神经网络提取的第一图像特征向量是候选窗口中最显著的图像特征向量。步骤S102：采用训练后的第二深度卷积神经网络提取输入图像中的各个候选窗口的第二图像特征向量。第二深度卷积神经网络也具有深度卷积神经网络的特性，因此，第二深度卷积神经网络提取的第二图像特征向量也是候选窗口中最显著的图像特征向量。第二深度卷积神经网络和第一深度卷积神经网络是两个不同的网络，因此，这两个网络提取的图像特征向量有区别，从而可丰富图像特征信息的表达。步骤S103：将相同维度的第一图像特征向量和第二图像特征向量融合得到第三图像特征向量。融合后的第三图像特征向量的维度是第一图像特征向量的维度和第二图像特征向量的维度之和。因此，相对于第一图像特征向量和第二图像特征向量，第三图像特征向量是一个高维的图像特征向量。该融合是在第一图像特征向量后连接第二图像特征向量。通过融合的步骤，使得融合后的图像特征向量能够弥补单个网络提取的图像特征信息表达不充分的缺陷，有利于充分学习图像特征，刻画数据丰富的内在信息。步骤S104：将第三图像特征向量降维得到第四图像特征向量。当图像特征向量的维数较高时，计算时间复杂度较高，此外，图像特征向量之间往往存在一定的相关性从而造成信息冗余。通过降维，既可得到能反映分类本质的图像特征向量，又能降低计算时间的复杂度因此，降维后的图像特征向量可对人脸各部分信息进行综合表达，使得在无约束环境下的人脸检测有了较大提升。步骤S105：根据第四图像特征向量，采用训练后的分类器检测各个候选窗口是否为人脸区域。分类器可通过对第四图像特征向量分类，得到每个候选窗口的置信度。将得到的每个候选窗口的置信度与预设的置信度比较。将高于该预设的置信度的候选窗口判断为人脸区域，低于该预设的置信度的候选窗口判断为非人脸区域，从而实现检测人脸的功能。综上，本专利技术实施例的人脸检测方法，通过两个深度卷积神经网络分别提取候选人脸图像中的图像特征向量并将分别提取的图像特征向量融合得到融合后的图像特征向量，该融合后的图像特征向量表达的图像信息丰富，可减少姿态变化对检测的影响，同时通过对融合后的图像特征向量降维，可解决图像特征向量的稀疏性等问题，并降低了计算的复杂度，不仅可更加精确地检测人脸，还可提高检测的效率。在本专利技术一优选的实施例中，在步骤S101之前，该实施例的方法还可以包括如下的步骤：构造图像金字塔获得多个尺度的输入图像。如图2所示，为本专利技术实施例的图像金字塔的示意图。通过构造图像金字塔可以获得不同尺度的输入图像，考虑到处理的效率，优选的，选取缩放尺度为8，缩放系数为0.9057构造图像金字塔。例如，本文档来自技高网...

【技术保护点】
一种人脸检测方法，其特征在于，包括：采用训练后的第一深度卷积神经网络提取输入图像中的各个候选窗口的第一图像特征向量；采用训练后的第二深度卷积神经网络提取输入图像中的各个候选窗口的第二图像特征向量；将相同维度的所述第一图像特征向量和所述第二图像特征向量融合得到第三图像特征向量；将所述第三图像特征向量降维得到第四图像特征向量；根据所述第四图像特征向量，采用训练后的分类器检测各个所述候选窗口是否为人脸区域。

【技术特征摘要】
1.一种人脸检测方法，其特征在于，包括：采用训练后的第一深度卷积神经网络提取输入图像中的各个候选窗口的第一图像特征向量；采用训练后的第二深度卷积神经网络提取输入图像中的各个候选窗口的第二图像特征向量；将相同维度的所述第一图像特征向量和所述第二图像特征向量融合得到第三图像特征向量；将所述第三图像特征向量降维得到第四图像特征向量；根据所述第四图像特征向量，采用训练后的分类器检测各个所述候选窗口是否为人脸区域。2.根据权利要求1所述的方法，其特征在于，所述第一深度卷积神经网络为Clarifai网络，所述第一深度卷积神经网络的训练方式包括：按照初始学习率设为10-4，动量为0.9，以第一样本训练库中的正样本和负样本的比例为1:3～1:10，对所述Clarifai网络进行微调训练。3.根据权利要求1所述的方法，其特征在于，所述第二深度卷积神经网络为VGGNet-D网络，所述第二深度卷积神经网络的训练方式包括：按照初始学习率设为10-3，动量为0.9，以第一样本训练库中的正样本和负样本的比例为1:3～1:10，对所述VGGNet-D网络进行微调训练。4.根据权利要求1所述的方法，其特征在于，所述采用训练后的第一深度卷积神经网络提取输入图像中的各个候选窗口的第一图像特征向量的步骤中，对所述第一深度卷积神经网络的最后一个卷积层处理后的特征图采用平移池化offsetmax-pooling方法提取图像特征向量；所述采用训练后的第二深度卷积神经网络提取输入图像中的各个候选窗口的第二图像特征向量的步骤中，对所述第二深度卷积神经网络的最后一个卷积层处理后的特征图采用平移池化offsetmax-pooling方法提取图像特征向量。5.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：段旭，张祥德，
申请(专利权)人：北京眼神科技有限公司，
类型：发明
国别省市：北京,11