人脸识别方法及装置制造方法及图纸

本发明专利技术公开了一种人脸检测方法及装置，本发明专利技术通过轻量级的浅层网络提取待检测图像的浅层特征以降低模型大小，加快模型的推理速度，同时在融合网络中增加浅层特征和深层特征的融合，以提高模型对小目标的学习能力，避免小目标容易漏检、错检的问题。

Face recognition method and device

【技术实现步骤摘要】
人脸识别方法及装置
本专利技术涉及计算机视觉
，具体涉及一种人脸识别方法及装置。
技术介绍
人脸检测作为一种特定类型目标的检测任务，一方面具有其自己鲜明的特点，需要考虑人脸这一目标的特殊性，另一方面其他类型目标检测任务具有一定的共性，能够直接借鉴在通用目标检测方法上的研究经验。对于现有的人脸检测算法，如果提升检测精度则检测速度无法满足，如果提升检测速度，则检测精度无法满足，因此，现有技术存在检测精度和检测速度无法兼顾的问题。
技术实现思路
本专利技术的目的是针对上述现有技术的不足提出的一种人脸检测方法及装置，该目的是通过以下技术方案实现的。本专利技术的第一方面提出了一种人脸检测方法，所述方法包括：将待检测图像输入已训练的网络模型，以由所述网络模型中的浅层网络提取所述待检测图像的浅层特征并输出到所述网络模型中的融合网络；所述融合网络基于所述浅层特征提取深层特征，并对所述浅层特征与所述深层特征进行融合，将融合后的特征输出到所述网络模型中的检测网络；所述检测网络对融合后的特征进行分类检测，得到分类结果；获取所述网络模型输出的分类结果；若所述分类结果中类别为人脸的置信度大于预设值，则确定所述待检测图像中有人脸目标。本专利技术的第二方面提出了一种人脸检测装置，所述装置包括：检测模块，用于将待检测图像输入已训练的网络模型，以由所述网络模型中的浅层网络提取所述待检测图像的浅层特征并输出到所述网络模型中的融合网络；所述融合网络基于所述浅层特征提取深层特征，并对所述浅层特征与所述深层特征进行融合，将融合后的特征输出到所述网络模型中的检测网络；所述检测网络对融合后的特征进行分类检测，得到分类结果；获取模块，用于获取所述网络模型输出的分类结果；确定模块，用于在所述分类结果中类别为人脸的置信度大于预设值时，确定所述待检测图像中有人脸目标。在本专利技术实施例中，通过轻量级的浅层网络提取待检测图像的浅层特征以降低模型大小，加快模型的推理速度，同时在融合网络中增加浅层特征和深层特征的融合，以提高模型对小目标的学习能力，避免小目标容易漏检、错检的问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术根据一示例性实施例示出的一种人脸检测方法的实施例流程图；图2为本专利技术根据图1实施例示出的一种用于检测人脸的网络模型结构示意图；图3为本专利技术根据一示例性实施例示出的一种电子设备的硬件结构图；图4为本专利技术根据一示例性实施例示出的一种人脸检测装置的实施例流程图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。图1为本专利技术根据一示例性实施例示出的一种人脸检测方法的实施例流程图，所述人脸检测方法可以应用在电子设备(如摄像机、PC机、终端等设备)上。下面结合图2所示的网络模型结构，对本专利技术提出的人脸检测方案进行详细阐述，如图1所示，所述人脸检测方法包括如下步骤：步骤101：将待检测图像输入已训练的网络模型，以由所述网络模型中的浅层网络提取所述待检测图像的浅层特征并输出到所述网络模型中的融合网络，所述融合网络基于所述浅层特征提取深层特征，并对所述浅层特征与所述深层特征进行融合，将融合后的特征输出到所述网络模型中的检测网络，所述检测网络对融合后的特征进行分类检测，得到分类结果。在执行步骤101之前，可以对待检测图像进行预处理，如去均值、归一化操作、扩大或缩小操作。在一实施例中，由于人脸这种场景目标都比较小，且目标尺寸具有多样性，因此如图2所示的网络模型中的浅层网络作为网络模型的基网络，可以采用轻量级网络来提取待检测图像的浅层特征，以由浅层网络学到图像的细粒度特征，提升对小目标的学习能力，以避免出现漏检或误检小目标的问题，同时也降低了模型的大小，加快了模型的推理速度。示例性的，该浅层网络包括卷积层、池化层、BN(BatchNormalization，批量归一化)层等。在一实施例中，如图2所示，针对所述融合网络基于所述浅层特征提取深层特征，并对所述浅层特征与所述深层特征进行融合的过程，所述融合网络中的深层网络基于所述浅层特征提取多个不同尺寸的深层特征并输出到所述融合网络中的上采样网络，所述上采样网络对每一尺寸的深层特征分别进行上采样处理，以使每一深层特征的尺寸与所述浅层特征的尺寸一致，并将上采样处理后的深层特征输出到所述融合网络中的融合层，所述融合层按照通道维度对所述浅层特征和上采样处理后的深层特征进行融合，以将浅层特征与深层特征融合在一起，提高模型鲁棒性。其中，深层网络可以学习到更多的语义信息，提升对小目标的学习能力。该深层网络可以包括多个采用统一大小卷积核的卷积层，浅层特征在深层网络中经过不同数量的卷积层处理即可得到不同尺寸的深层特征。浅层特征经过卷积层数量越多，得到的深层特征的尺寸越小，进而学到的语义信息越多。在一个例子中，为了实现融合层按照通道维度进行融合，需要通过上采样网络将每一尺寸的深层特征转变成与浅层特征尺寸一致。该上采样处理算法可以采用非线性插值算法实现，对于不同尺寸的深层特征采用不同的插值程度进行转变。在一实施例中，针对所述检测网络对融合后的特征进行分类检测过程，所述检测网络中的下采样网络对融合后的特征分别进行不同程度的下采样处理，并将处理得到的不同尺寸的特征输出到所述检测网络中的检测层，所述检测层对每一尺寸的特征分别进行分类检测，并将分类结果输出到所述检测网络中的选取层，所述选取层从所述分类结果中选取符合预设条件的分类结果。其中，通过对融合后的特征进行不同程度的下采样处理，以由检测层对不同尺寸的特征进行分类检测，提升检测精度。该下采样网络可以包括卷积层、池化层等。考虑到实际场景中人脸、人后脑这两类目标通常都是方形比例，因此在进本文档来自技高网...

【技术保护点】
1.一种人脸检测方法，其特征在于，所述方法包括：/n将待检测图像输入已训练的网络模型，以由所述网络模型中的浅层网络提取所述待检测图像的浅层特征并输出到所述网络模型中的融合网络；所述融合网络基于所述浅层特征提取深层特征，并对所述浅层特征与所述深层特征进行融合，将融合后的特征输出到所述网络模型中的检测网络；所述检测网络对融合后的特征进行分类检测，得到分类结果；/n获取所述网络模型输出的分类结果；/n若所述分类结果中类别为人脸的置信度大于预设值，则确定所述待检测图像中有人脸目标。/n

【技术特征摘要】
1.一种人脸检测方法，其特征在于，所述方法包括：
将待检测图像输入已训练的网络模型，以由所述网络模型中的浅层网络提取所述待检测图像的浅层特征并输出到所述网络模型中的融合网络；所述融合网络基于所述浅层特征提取深层特征，并对所述浅层特征与所述深层特征进行融合，将融合后的特征输出到所述网络模型中的检测网络；所述检测网络对融合后的特征进行分类检测，得到分类结果；
获取所述网络模型输出的分类结果；
若所述分类结果中类别为人脸的置信度大于预设值，则确定所述待检测图像中有人脸目标。


2.根据权利要求1所述的方法，其特征在于，所述融合网络基于所述浅层特征提取深层特征，并对所述浅层特征与所述深层特征进行融合，包括：
所述融合网络中的深层网络基于所述浅层特征提取多个不同尺寸的深层特征并输出到所述融合网络中的上采样网络；
所述上采样网络对每一尺寸的深层特征分别进行上采样处理，以使每一深层特征的尺寸与所述浅层特征的尺寸一致，并将上采样处理后的深层特征输出到所述融合网络中的融合层；
所述融合层按照通道维度对所述浅层特征和上采样处理后的深层特征进行融合。


3.根据权利要求1所述的方法，其特征在于，所述检测网络对融合后的特征进行分类检测，包括：
所述检测网络中的下采样网络对融合后的特征分别进行不同程度的下采样处理，并将处理得到的不同尺寸的特征输出到所述检测网络中的检测层；
所述检测层对每一尺寸的特征分别进行分类检测，并将分类结果输出到所述检测网络中的选取层；
所述选取层从所述分类结果中选取符合预设条件的分类结果。


4.根据权利要求1所述的方法，其特征在于，所述网络模型的训练过程包括：
获取训练样本集，所述训练样本集包括人后脑样本和人脸样本；
利用所述训练样本集中的人后脑样本和人脸样本对待训练的网络模型进行训练，直至所述网络模型的损失值低于预设值；
其中，所述损失值由分类损失值和回归损失值得到。


5.一种...

【专利技术属性】
技术研发人员：张伟伟，黄晓峰，殷海兵，贾惠柱，
申请(专利权)人：浙江省北大信息技术高等研究院，杭州未名信科科技有限公司，
类型：发明
国别省市：浙江;33