一种多尺度的人脸检测方法及计算设备技术

本发明专利技术公开了一种多尺度的人脸检测方法以及用于执行该方法的计算设备。其中，方法包括步骤：将第一尺度的图像输入预设卷积网络，经卷积处理后生成第一尺度的人脸预测区域和第二尺度的待检测区域；从第二尺度的图像中裁剪出第二尺度的待检测区域的图像，并将该裁剪出的图像输入预设卷积网络，经卷积处理后生成第二尺度的人脸预测区域和第三尺度的待检测区域；从第三尺度的图像中裁剪出第三尺度的待检测区域的图像，并将该裁剪出的图像输入预设卷积网络，经卷积处理后生成第三尺度的人脸预测区域；结合第一尺度的人脸预测区域、第二尺度的人脸预测区域和第三尺度的人脸预测区域得到人脸检测结果。

A multi-scale face detection method and computing equipment

The invention discloses a multi-scale face detection method and a computing device for executing the method. The method includes the following steps: input the image of the first scale into the preset convolution network, generate the face prediction region of the first scale and the detection region of the second scale after convolution processing; clip the image of the second scale from the image of the second scale, and input the clipped image into the preset convolution. The network, after convolution processing, generates the second-scale face prediction region and the third-scale face detection region; clips the image of the third-scale face prediction region from the third-scale image, and inputs the clipped image into the preset convolution network, and generates the third-scale face prediction region knot after convolution processing. Face detection results are obtained from the first scale face prediction region, the second scale face prediction region and the third scale face prediction region.

【技术实现步骤摘要】
一种多尺度的人脸检测方法及计算设备
本专利技术涉及图像处理
，尤其是一种多尺度的人脸检测方法及计算设备。
技术介绍
人脸检测是指对于任意一帧给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，若含有人脸则返回人脸的位置、大小和姿态，一般地，以一个矩形框来框住人脸以表征检测到的人脸。然而，在实际应用中，常常要面临不同的场景变化、遮挡、光照变化以及人脸尺度变化等诸多复杂条件，使得人脸检测的速度相对较慢。尤其是当需要在移动终端上实现实时检测时，人脸检测的难度很大。为检测不同尺度下的人脸，通常采用将图像进行多个尺度的缩放，在每个尺度下单独检测人脸得到该尺度下的检测结果，最终融合不同尺度下的检测结果。这种多个尺度的计算量是很大的，尤其是针对图像中人脸很小的情况(简称“小人脸”)，需要将输入图像的尺寸设置得大一些，但这会增加计算耗时。随着神经网络技术的发展，越来越多的算法利用卷积神经网络来进行人脸检测，在这种情况下，将上述人脸检测方案应用到卷积神经网络时，随着输入图像的增加，检测时间会呈指数增长，计算相当耗时。同时，在很多应用场景中，实际上图像包含的小人脸较少，为了检测可能不存在的小人脸，对全图进行检测，为此消耗计算量是非常不可取的。鉴于此，需要一种快速的人脸检测方案。
技术实现思路
为此，本专利技术提供了一种多尺度的人脸检测方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供了一种多尺度的人脸检测方法，该方法适于在计算设备中执行，包括步骤：将第一尺度的图像输入预设卷积网络，经卷积处理后生成第一尺度的人脸预测区域和第二尺度的待检测区域；从第二尺度的图像中裁剪出所述第二尺度的待检测区域的图像，并将该裁剪出的图像输入预设卷积网络，经卷积处理后生成第二尺度的人脸预测区域和第三尺度的待检测区域；从第三尺度的图像中裁剪出第三尺度的待检测区域的图像，并将该裁剪出的图像输入预设卷积网络，经卷积处理后生成第三尺度的人脸预测区域；以及结合第一尺度的人脸预测区域、第二尺度的人脸预测区域和第三尺度的人脸预测区域得到人脸检测结果。可选地，在根据本专利技术的方法中，在将第一图像输入预设卷积网络的步骤之前，还包括步骤：对待检测人脸的图像进行不同比例的缩放处理，以分别生成第一尺度的图像、第二尺度的图像和第三尺度的图像，其中，第一尺度的图像的分辨率小于第二尺度的图像的分辨率，且第二尺度的图像的分辨率小于第三尺度的图像的分辨率。可选地，在根据本专利技术的方法中，预设卷积网络包括：至少一个第一卷积层、第二卷积层和第三卷积层，其中第二卷积层适于通过多个不同尺度的卷积核进行卷积处理，并将多个卷积核的卷积结果相连接，作为该第二卷积层的输出结果。可选地，在根据本专利技术的方法中，预设卷积网络适于对当前尺度的图像做卷积处理，输出三个预测响应图，预测响应图中每个像素点的响应值指示该像素点属于人脸的概率。可选地，在根据本专利技术的方法中，预设卷积网络还适于根据第一个预测响应图上的响应值输出当前尺度的人脸预测区域的坐标，得到当前尺度的人脸预测区域，以及根据第二个预测响应图和第三个预测响应图上的响应值输出当前尺度的下一尺度的待检测区域的坐标，得到下一尺度的待检测区域。可选地，在根据本专利技术的方法中，根据第一个预测响应图上的响应值输出当前尺度的人脸预测区域的坐标、得到当前尺度的人脸预测区域的步骤包括：当第一个预测响应图上的响应值大于0.5时，计算该响应值对应像素点的人脸预测框的坐标，得到至少一个当前尺度的人脸预测区域。可选地，在根据本专利技术的方法中，根据第二个预测响应图和第三个预测响应图上的响应值输出当前尺度的下一尺度的待检测区域的坐标、得到下一尺度的待检测区域的步骤包括：当第二个预测响应图上的响应值大于0.3时，计算该响应值对应像素点的人脸预测框的坐标，作为有效输出区域；当第三个预测响应图上的响应值大于0.1时，计算该响应值对应像素点的人脸预测框的坐标，作为有效输出区域；以及对所有的有效输出区域进行非极大值抑制，得到下一尺度的待检测区域。可选地，在根据本专利技术的方法中，预设卷积网络还适于在第二个预测响应图或第三个预测响应图上的响应值大于0.9时，计算该响应值对应像素点的人脸预测框的坐标，得到当前尺度的人脸预测区域。可选地，在根据本专利技术的方法中，预设卷积网络包括一个第一卷积层、四个第二卷积层和一个第三卷积层。可选地，在根据本专利技术的方法中，还包括通过训练图像训练得到预设卷积网络的步骤。可选地，在根据本专利技术的方法中，通过训练图像训练得到预设卷积网络的步骤还包括生成训练图像的步骤：将采集的图像分别缩放成对应第一尺度、第二尺度和第三尺度的图像分辨率的图像，作为训练样本；标注出训练样本中的人脸区域；根据人脸区域的大小将人脸区域分为大人脸、中人脸和小人脸；以及按照大人脸、中人脸和小人脸的样本数量比例对训练样本进行切割、增益处理，生成训练图像。可选地，在根据本专利技术的方法中，大人脸、中人脸和小人脸的样本数量比例为2:2:1。根据本专利技术的又一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。根据本专利技术的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当计算设备执行时，使得计算设备执行如上所述的方法中的任一方法。根据本专利技术的方案，分三个尺度对待检测人脸的图像进行人脸检测，三个尺度对应不同的图像分辨率大小，分别用来检测图像中不同大小的人脸。具体地，在第一尺度下检测出大人脸区域和可能存在的中人脸区域；再将可能存在的中人脸区域放大，以在第二尺度下检测出中人脸区域、以及可能存在的小人脸区域；再将可能存在的小人脸区域放大，以在第三尺度下检测出小人脸区域。通过多层的重复操作，可以得到由粗到精的检测结果。另外，由于中人脸和小人脸对应的图像尺度比较大，检测比较耗时，因此在第二尺度和第三尺度的图像的检测中，只检测图像中可能存在人脸的区域，即只对通过上一尺度的检测得到的待检测区域进行检测，这就极大地提升了检测效率。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术一个实施例的计算设备100的构造示意图；图2示出了根据本专利技术一个实施例的多尺度的人脸检测方法200的流程图；图3示出了根据本专利技术一个实施例的预设卷积网络300的结构示意图；图4示出了根据本专利技术一个实施例的第二卷积层320的结构示意图；图5示出了根据本专利技术一个实施例的有效输出区域的示意图；以及图6示出了根据本专利技术一个实施例的多尺度的人脸检测方法200的流程示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实本文档来自技高网...

【技术保护点】
1.一种多尺度的人脸检测方法，所述方法适于在计算设备中执行，所述方法包括步骤：将第一尺度的图像输入预设卷积网络，经卷积处理后生成第一尺度的人脸预测区域和第二尺度的待检测区域；从第二尺度的图像中裁剪出所述第二尺度的待检测区域的图像，并将该裁剪出的图像输入所述预设卷积网络，经卷积处理后生成第二尺度的人脸预测区域和第三尺度的待检测区域；从第三尺度的图像中裁剪出所述第三尺度的待检测区域的图像，并将该裁剪出的图像输入所述预设卷积网络，经卷积处理后生成第三尺度的人脸预测区域；以及结合所述第一尺度的人脸预测区域、所述第二尺度的人脸预测区域和所述第三尺度的人脸预测区域得到人脸检测结果。

【技术特征摘要】
1.一种多尺度的人脸检测方法，所述方法适于在计算设备中执行，所述方法包括步骤：将第一尺度的图像输入预设卷积网络，经卷积处理后生成第一尺度的人脸预测区域和第二尺度的待检测区域；从第二尺度的图像中裁剪出所述第二尺度的待检测区域的图像，并将该裁剪出的图像输入所述预设卷积网络，经卷积处理后生成第二尺度的人脸预测区域和第三尺度的待检测区域；从第三尺度的图像中裁剪出所述第三尺度的待检测区域的图像，并将该裁剪出的图像输入所述预设卷积网络，经卷积处理后生成第三尺度的人脸预测区域；以及结合所述第一尺度的人脸预测区域、所述第二尺度的人脸预测区域和所述第三尺度的人脸预测区域得到人脸检测结果。2.如权利要求1所述的方法，其中，在将第一图像输入预设卷积网络的步骤之前，还包括步骤：对待检测人脸的图像进行不同比例的缩放处理，以分别生成第一尺度的图像、第二尺度的图像和第三尺度的图像，其中，所述第一尺度的图像的分辨率小于所述第二尺度的图像的分辨率，且所述第二尺度的图像的分辨率小于所述第三尺度的图像的分辨率。3.如权利要求1或2所述的方法，其中，所述预设卷积网络包括：至少一个第一卷积层、第二卷积层和第三卷积层，其中，所述第二卷积层适于通过多个不同尺度的卷积核进行卷积处理，并将多个卷积核的卷积结果相连接，作为该第二卷积层的输出结果。4.如权利要求3所述的方法，其中，所述预设卷积网络适于对当前尺度的图像做卷积处理，输出三个预测响应图，所述预测响应图中每个像素点的响应值指示该像素点是人脸点的概率。5.如权利要求4所述的方法，其中，所述预设卷积网络还适于根据第一个预测响应图上的响应值输出当前尺度的人脸预测区域的坐标，得到当前尺度的...

【专利技术属性】
技术研发人员：刘志辉，许清泉，洪炜冬，王喆，关明鑫，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35