人脸检测方法、装置、计算机可读存储介质及设备制造方法及图纸

本发明专利技术公开了一种人脸检测方法、装置、计算机可读存储介质及设备，属于人脸识别领域。该方法包括：获取待识别人脸图像并进行第一预处理操作，得到第一大小的输入图像；将输入图像输入到训练后的卷积神经网络，得到人脸框；其中：输入图像输入到训练后的卷积神经网络，在第二Inception模块、第四卷积层和第六卷积层各输出一个特征图；以设定的长宽比和多个尺寸在每张特征图的每个单元位置得到若干目标框；使用二分类损失函数确定目标框的类别是否是人脸，使用回归损失函数对类别是人脸的目标框进行位置回归，得到人脸框。对人脸框进行NMS操作，得到最终的人脸检测框。本发明专利技术提高了检测速度，实时性好，并且适应于不同尺度的人脸检测，提高了检测精度。

Face detection method, device, computer-readable storage medium and equipment

【技术实现步骤摘要】
人脸检测方法、装置、计算机可读存储介质及设备
本专利技术涉及人脸识别领域，特别是指一种人脸检测方法、装置、计算机可读存储介质及设备。
技术介绍
卷积神经网络(ConvolutionalNeuralNetworks，CNN)，也简称为网络，是一类模式识别方法。该方法旨在使用卷积的方法对图像等数据进行表征量化，进而完成分类或是回归任务。该方法目前在图像分类、语音识别等方向表现出了优异的性能。卷积神经网络在模式识别领域获得了较大的进步，尤其在图像人脸识别领域，识别效果可以远超人眼的辨别效果。由于CNN的可以自适应的获得图像的特征并且可以获得较好的分类效果，所以基于CNN的人脸检测也取得了较大的突破。根据人脸候选窗口获取方法的不同，基于CNN的人脸检测方法大体上可以分为二阶段人脸检测方法和一阶段人脸检测方法两种。一阶段人脸检测方法不需要提取人脸候选窗口(也称为proposal)，是一种将人脸图像输入到网络中，根据网络的特殊结构获得最终的人脸位置以及人脸置信度。基于CNN的一阶段人脸检测方法由于不需要获取proposal，所以相较二阶段人脸检测方法具有较快的检测速度。但是，一阶段人脸检测没有获取proposal，为了获得较高的正确检测率和较低的错误检测率，往往会使用复杂的、较深的网络结构，检测速度慢，无法达到实时检测的目的；并且人脸搜索空间更广，导致训练困难，对数据的要求也比较高。二阶段人脸检测方法首先需要获取人脸候选窗口，接着使用CNN对候选窗口提取特征并进行分类以及回归。获得proposal的方法有基于传统的方法，如SelectiveSearch等，也有使用CNN去获取proposal。该方法由于是对候选窗口进行进一步的分类，所以检测结果相对于一阶段方法来说比较准确。但是，二阶段人脸检测方法检测速度受限于proposal的数量及分类网络的大小，为了获得较好的检测效果，候选窗口的数量往往较多，分类网络较深，检测速度也就较慢；并且候选窗口之间会有重叠部分导致大量的重复计算，进而减慢检测的速度；无法达到实时检测的目的。
技术实现思路
为解决上述技术问题，本专利技术提供一种人脸检测方法、装置、计算机可读存储介质及设备，本专利技术提高了检测速度，实时性好，并且适应于不同尺度的人脸检测，提高了检测精度。本专利技术提供技术方案如下：第一方面，本专利技术提供一种人脸检测方法，所述方法包括：获取待识别人脸图像并进行第一预处理操作，得到第一大小的输入图像；将所述输入图像输入到训练后的卷积神经网络，得到人脸框；其中：所述训练后的卷积神经网络依次包括第一卷积模块、第二卷积模块、第一Inception模块、第二Inception模块、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述第一卷积模块包括第一卷积层、第一激活层和第一池化层，所述第二卷积模块包括第二卷积层、第二激活层和第二池化层；所述输入图像输入到训练后的卷积神经网络，在第二Inception模块、第四卷积层和第六卷积层各输出一个特征图；以设定的长宽比和多个尺寸在每张特征图的每个单元位置得到若干目标框；使用二分类损失函数确定目标框的类别是否是人脸，使用回归损失函数对类别是人脸的目标框进行位置回归，得到人脸框；对所述人脸框进行NMS操作，得到最终的人脸检测框。进一步的，训练前的卷积神经网络的第一卷积模块和第二卷积模块均包括BN操作，所述卷积神经网络通过如下方法训练得到：对数据集的图像进行第二预处理操作，得到由第二大小的训练样本组成的训练集，所述第二大小大于所述第一大小；将训练样本输入到训练前的卷积神经网络，在第二Inception模块、第四卷积层和第六卷积层各输出一个特征图；以设定的长宽比和多个尺寸在每张特征图的每个单元位置得到若干目标框；使用二分类损失函数确定目标框的类别是否是人脸，使用回归损失函数对类别是人脸的目标框进行位置回归，得到人脸框；使用误差反向传播算法更新卷积神经网络；去掉第一卷积模块和第二卷积模块中的BN操作，并使用训练集对卷积神经网络进行微调。进一步的，所述第一预处理操作包括：将待识别人脸图像进行灰度化处理；对灰度化后的图像进行设定倍数的下采样操作，得到第一大小的输入图像；所述第二预处理操作包括：将数据集的图像采用差值的方法归一化为第二大小；若数据集的图像上标注的人脸区域小于设定大小，则将该人脸区域用黑色覆盖，并将该图像的标签设置为非人脸；将归一化后的图像进行数据扩充，所述数据扩充包括随机图像对比度变化、随机亮度变化、随机裁剪和/或随机图像翻折；将数据扩充后的图像进行灰度化处理，得到第二大小的训练样本。进一步的，所述第一卷积层使用5*5的卷积核进行32通道的步长为4的卷积操作，所述第二卷积层使用3*3的卷积核进行64通道的步长为2的卷积操作，所述第一池化层和第二池化层均进行3*3的步长为2的池化操作，所述第三卷积层使用1*1的卷积核进行128通道的步长为1的卷积操作，所述第四卷积层使用3*3的卷积核进行256通道的步长为2的卷积操作，所述第五卷积层使用1*1的卷积核进行128通道的步长为1的卷积操作，所述第六卷积层使用3*3的卷积核进行256通道的步长为2的卷积操作。进一步的，所述待识别人脸图像的大小为640*480，所述设定倍数的下采样操作为2倍下采样，所述第一大小为320*240，所述第二大小为1024*1024；在第二Inception模块输出的特征图的每个单元位置以32、64、128的三个尺寸和1：1的长宽比得到三个目标框，在第四卷积层输出的特征图的每个单元位置以256的尺寸和和1：1的长宽比得到一个目标框，在第六卷积层输出的特征图的每个单元位置以512的尺寸和和1：1的长宽比得到一个目标框。第二方面，本专利技术提供一种人脸检测装置，所述装置包括：第一预处理模块，用于获取待识别人脸图像并进行第一预处理操作，得到第一大小的输入图像；检测模块，用于将所述输入图像输入到训练后的卷积神经网络，得到人脸框；其中：所述训练后的卷积神经网络依次包括第一卷积模块、第二卷积模块、第一Inception模块、第二Inception模块、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述第一卷积模块包括第一卷积层、第一激活层和第一池化层，所述第二卷积模块包括第二卷积层、第二激活层和第二池化层；所述输入图像输入到训练后的卷积神经网络，在第二Inception模块、第四卷积层和第六卷积层各输出一个特征图；以设定的长宽比和多个尺寸在每张特征图的每个单元位置得到若干目标框；使用二分类损失函数确定目标框的类别是否是人脸，使用回归损失函数对类别是人脸的目标框进行位置回归，得到人脸框；NMS操作模块，用于对所述人脸框进行NMS操作，得到最终的人脸检测框。进一步的，训练前的卷积神经网络的第一卷积模块和第二卷积模块均包括BN操作，所述卷积神经网络通过如下模块训练得到：<本文档来自技高网...

【技术保护点】
1.一种人脸检测方法，其特征在于，所述方法包括：/n获取待识别人脸图像并进行第一预处理操作，得到第一大小的输入图像；/n将所述输入图像输入到训练后的卷积神经网络，得到人脸框；其中：/n所述训练后的卷积神经网络依次包括第一卷积模块、第二卷积模块、第一Inception模块、第二Inception模块、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述第一卷积模块包括第一卷积层、第一激活层和第一池化层，所述第二卷积模块包括第二卷积层、第二激活层和第二池化层；/n所述输入图像输入到训练后的卷积神经网络，在第二Inception模块、第四卷积层和第六卷积层各输出一个特征图；以设定的长宽比和多个尺寸在每张特征图的每个单元位置得到若干目标框；使用二分类损失函数确定目标框的类别是否是人脸，使用回归损失函数对类别是人脸的目标框进行位置回归，得到人脸框；/n对所述人脸框进行NMS操作，得到最终的人脸检测框。/n

【技术特征摘要】
1.一种人脸检测方法，其特征在于，所述方法包括：
获取待识别人脸图像并进行第一预处理操作，得到第一大小的输入图像；
将所述输入图像输入到训练后的卷积神经网络，得到人脸框；其中：
所述训练后的卷积神经网络依次包括第一卷积模块、第二卷积模块、第一Inception模块、第二Inception模块、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述第一卷积模块包括第一卷积层、第一激活层和第一池化层，所述第二卷积模块包括第二卷积层、第二激活层和第二池化层；
所述输入图像输入到训练后的卷积神经网络，在第二Inception模块、第四卷积层和第六卷积层各输出一个特征图；以设定的长宽比和多个尺寸在每张特征图的每个单元位置得到若干目标框；使用二分类损失函数确定目标框的类别是否是人脸，使用回归损失函数对类别是人脸的目标框进行位置回归，得到人脸框；
对所述人脸框进行NMS操作，得到最终的人脸检测框。


2.根据权利要求1所述的人脸检测方法，其特征在于，训练前的卷积神经网络的第一卷积模块和第二卷积模块均包括BN操作，所述卷积神经网络通过如下方法训练得到：
对数据集的图像进行第二预处理操作，得到由第二大小的训练样本组成的训练集，所述第二大小大于所述第一大小；
将训练样本输入到训练前的卷积神经网络，在第二Inception模块、第四卷积层和第六卷积层各输出一个特征图；
以设定的长宽比和多个尺寸在每张特征图的每个单元位置得到若干目标框；
使用二分类损失函数确定目标框的类别是否是人脸，使用回归损失函数对类别是人脸的目标框进行位置回归，得到人脸框；
使用误差反向传播算法更新卷积神经网络；
去掉第一卷积模块和第二卷积模块中的BN操作，并使用训练集对卷积神经网络进行微调。


3.根据权利要求2所述的人脸检测方法，其特征在于，所述第一预处理操作包括：
将待识别人脸图像进行灰度化处理；
对灰度化后的图像进行设定倍数的下采样操作，得到第一大小的输入图像；
所述第二预处理操作包括：
将数据集的图像采用差值的方法归一化为第二大小；
若数据集的图像上标注的人脸区域小于设定大小，则将该人脸区域用黑色覆盖，并将该图像的标签设置为非人脸；
将归一化后的图像进行数据扩充，所述数据扩充包括随机图像对比度变化、随机亮度变化、随机裁剪和/或随机图像翻折；
将数据扩充后的图像进行灰度化处理，得到第二大小的训练样本。


4.根据权利要求3所述的人脸检测方法，其特征在于，所述第一卷积层使用5*5的卷积核进行32通道的步长为4的卷积操作，所述第二卷积层使用3*3的卷积核进行64通道的步长为2的卷积操作，所述第一池化层和第二池化层均进行3*3的步长为2的池化操作，所述第三卷积层使用1*1的卷积核进行128通道的步长为1的卷积操作，所述第四卷积层使用3*3的卷积核进行256通道的步长为2的卷积操作，所述第五卷积层使用1*1的卷积核进行128通道的步长为1的卷积操作，所述第六卷积层使用3*3的卷积核进行256通道的步长为2的卷积操作。


5.根据权利要求4所述的人脸检测方法，其特征在于，所述待识别人脸图像的大小为640*480，所述设定倍数的下采样操作为2倍下采样，所述第一大小为320*240，所述第二大小为1024*1024；在第二Inception模块输出的特征图的每个单元位置以32、64、128的三个尺寸和1：1的长宽比得到三...

【专利技术属性】
技术研发人员：周军，王洋，
申请(专利权)人：北京眼神智能科技有限公司，北京眼神科技有限公司，
类型：发明
国别省市：北京;11