一种人脸检测模型训练方法、人脸检测方法及其相关装置制造方法及图纸

本申请公开了一种人脸检测模型训练方法、人脸检测方法及其相关装置，对MTCNN网络中的P‑Net的第一个卷积层后增加人脸属性网络分支，并在P‑Net的第二、第三个卷积层之间增加属性融合层，构建得到新P‑Net；通过人脸检测数据集分阶段训练新P‑Net、MTCNN网络中的R‑Net和O‑Net，得到训练好的新P‑Net、R‑Net和O‑Net，人脸检测数据集的标签信息包括人脸信息和人脸属性信息；结合训练好的新P‑Net、R‑Net和O‑Net构建得到人脸检测模型。本申请改善了现有技术采用MTCNN网络进行人脸检测，由于P‑Net的结构简单，导致人脸检测的准确率较低，并影响人脸检测速度的技术问题。

【技术实现步骤摘要】
一种人脸检测模型训练方法、人脸检测方法及其相关装置
本申请涉及人脸检测
，尤其涉及一种人脸检测模型训练方法、人脸检测方法及其相关装置。
技术介绍
随着智能社会的发展，人脸识别技术已经运用于许多场景中，如小区的门禁系统、火车站的闸机入口、展会的安防系统等。通过人脸识别技术，不仅使人们享受其所带来的便利，同时也对人们的安全提供了保障。如在火车站这种公共场合，相较于传统的人工方式，利用人脸识别通过闸机，可以极大的提高通行效率。人脸检测是判断给定的图像中是否存在人脸，若存在，则输出图像中人脸所在的位置信息。人脸检测是人脸识别这一技术的基础，由于摄像头捕获的场景图像中，可能存在多个人脸，以及人脸尺度不一的问题。在实际的人脸识别过程中，需要预先截取人脸图像，接着对截取的人脸图像进行活体检测，防止人为作弊。同时，需要对人脸图像进行质量评估，如模糊检测、遮挡检测等。只有符合要求的人脸图像，才会被进一步的提取人脸特征，进行人脸识别。因此，人脸检测模型的好坏，直接的影响到后续任务的进行。在实际应用场景中，不仅要考虑人脸检测模型的准确率，还要考虑检测速度是否满足当前应用场景。众所周知，深度学习模型越深，越复杂，权重数量越多，其模型的检测能力越强。然而，大模型虽具有很好的人脸检测能力，但难以部署在资源受限的移动端设备。因此，在提高模型的检测准确率的同时，还要考虑模型的运行速度，及其计算资源的耗用。现有技术中通常采用MTCNN(Multi-taskconvolutionalneuralnetwork，多任务卷积神经网络)这种轻量级网络进行人脸检测，MTCNN由P-Net、R-Net和O-Net三个网络级联组成，由于P-Net的结构简单，使得人脸检测的准确率较低，导致生成的人脸候选窗口数量较多，而由P-Net生成的人脸候选窗口会送入结构更为复杂的R-Net以及O-Net进行进一步的检测与识别，会增加人脸检测模型的计算量，影响人脸检测速度。
技术实现思路
本申请提供了一种人脸检测模型训练方法、人脸检测方法及其相关装置，用于改善现有技术采用MTCNN网络进行人脸检测，由于P-Net的结构简单，导致人脸检测的准确率较低，并影响人脸检测速度的技术问题。有鉴于此，本申请第一方面提供了一种人脸检测模型训练方法，包括：在MTCNN网络中的P-Net的第一个卷积层后增加一个人脸属性网络分支，并在所述P-Net的第二个卷积层和第三个卷积层之间增加一个属性融合层，构建得到新P-Net，其中，所述人脸属性网络分支包括依次连接的第四个卷积层、全局平均池化层和属性预测层，所述第四个卷积层与所述属性信息融合层连接，所述第三卷积层的输出端与人脸预测层的输入端连接；通过人脸检测数据集分阶段训练所述新P-Net、所述MTCNN网络中的R-Net和O-Net，得到训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net，所述人脸检测数据集中的训练样本的标签信息包括人脸信息和人脸属性信息；结合训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net构建得到人脸检测模型。可选的，所述新P-Net的训练过程为：将所述人脸检测数据集中的训练样本输入到所述所述新P-Net，通过所述新P-Net中的所述第一个卷积层对所述训练样本进行第一卷积处理，得到第一人脸特征图；通过所述新P-Net中的所述第二个卷积层对所述第一人脸特征图进行第二卷积处理，得到第二人脸特征图；通过所述新P-Net中的所述第四个卷积层对所述第一人脸特征图进行第三卷积处理，得到人脸属性特征图；通过所述属性信息融合层对所述第二人脸特征图和所述人脸属性特征图进行特征融合，得到融合特征，并通过所述第三个卷积层和所述人脸预测层对所述融合特征依次进行第四卷积处理和人脸预测，得到所述训练样本对应的人脸预测结果；通过所述全局平均池化层和所述属性预测层对所述人脸属性特征图依次进行池化处理和人脸属性预测，得到所述训练样本对应的人脸属性预测结果；根据所述训练样本的人脸预测结果和所述标签信息中的人脸信息计算人脸损失值，根据所述训练样本的人脸属性预测结果和所述标签信息中的人脸属性信息计算属性损失值，并通过所述人脸损失值和所述属性损失值更新所述新P-Net的网络参数，直至所述新P-Net收敛。可选的，所述新P-Net还包括最大值池化层，所述最大值池化层的输入端与所述第四个卷积层的输出端连接，输出端与所述属性信息融合层的输入端连接；相应的，所述通过所述属性信息融合层对所述第二人脸特征图和所述人脸属性特征图进行特征融合，得到融合特征，之前还包括：通过所述最大值池化层对所述所述人脸属性特征图进行最大值池化操作，得到人脸属性权重图；所述通过所述属性信息融合层对所述第二人脸特征图和所述人脸属性特征图进行特征融合，得到融合特征，包括：通过所述属性信息融合层对所述第二人脸特征图和人脸属性权重图进行逐点相乘运算，得到融合特征。本申请第二方面提供了一种人脸检测方法，包括：获取待检测人脸图像；将所述待检测图像输入到人脸检测模型进行人脸检测，得到所述待检测图像的人脸检测结果，其中，所述人脸检测模型通过第一方面任一种所述的人脸检测模型训练方法得到。本申请第三方面提供了一种人脸检测模型训练装置，包括：第一构建单元，用于在MTCNN网络中的P-Net的第一个卷积层后增加一个人脸属性网络分支，并在所述P-Net的第二个卷积层和第三个卷积层之间增加一个属性融合层，构建得到新P-Net，其中，所述人脸属性网络分支包括依次连接的第四个卷积层、全局平均池化层和属性预测层，所述第四个卷积层与所述属性信息融合层连接，所述第三卷积层的输出端与人脸预测层的输入端连接；训练单元，用于通过人脸检测数据集分阶段训练所述新P-Net、所述MTCNN网络中的R-Net和O-Net，得到训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net，所述人脸检测数据集中的训练样本的标签信息包括人脸信息和人脸属性信息；第二构建单元，用于结合训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net构建得到人脸检测模型。可选的，所述新P-Net的训练过程为：将所述人脸检测数据集中的训练样本输入到所述所述新P-Net，通过所述新P-Net中的所述第一个卷积层对所述训练样本进行第一卷积处理，得到第一人脸特征图；通过所述新P-Net中的所述第二个卷积层对所述第一人脸特征图进行第二卷积处理，得到第二人脸特征图；通过所述新P-Net中的所述第四个卷积层对所述第一人脸特征图进行第三卷积处理，得到人脸属性特征图；通过所述属性信息融合层对所述第二人脸特征图和所述人脸属性特征图进行特征融合，得到融合特征，并通过所述第三个卷积层和所述人脸预测层对所述融合特征依次进行第四卷积处理和人脸预测，得到所述训练样本对应的人脸预测结果；通过所述本文档来自技高网...

【技术保护点】
1.一种人脸检测模型训练方法，其特征在于，包括：/n在MTCNN网络中的P-Net的第一个卷积层后增加一个人脸属性网络分支，并在所述P-Net的第二个卷积层和第三个卷积层之间增加一个属性融合层，构建得到新P-Net，其中，所述人脸属性网络分支包括依次连接的第四个卷积层、全局平均池化层和属性预测层，所述第四个卷积层与所述属性信息融合层连接，所述第三卷积层的输出端与人脸预测层的输入端连接；/n通过人脸检测数据集分阶段训练所述新P-Net、所述MTCNN网络中的R-Net和O-Net，得到训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net，所述人脸检测数据集中的训练样本的标签信息包括人脸信息和人脸属性信息；/n结合训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net构建得到人脸检测模型。/n

【技术特征摘要】
1.一种人脸检测模型训练方法，其特征在于，包括：
在MTCNN网络中的P-Net的第一个卷积层后增加一个人脸属性网络分支，并在所述P-Net的第二个卷积层和第三个卷积层之间增加一个属性融合层，构建得到新P-Net，其中，所述人脸属性网络分支包括依次连接的第四个卷积层、全局平均池化层和属性预测层，所述第四个卷积层与所述属性信息融合层连接，所述第三卷积层的输出端与人脸预测层的输入端连接；
通过人脸检测数据集分阶段训练所述新P-Net、所述MTCNN网络中的R-Net和O-Net，得到训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net，所述人脸检测数据集中的训练样本的标签信息包括人脸信息和人脸属性信息；
结合训练好的所述新P-Net、训练好的所述R-Net和训练好的所述O-Net构建得到人脸检测模型。


2.根据权利要求1所述的人脸检测模型训练方法，其特征在于，所述新P-Net的训练过程为：
将所述人脸检测数据集中的训练样本输入到所述所述新P-Net，通过所述新P-Net中的所述第一个卷积层对所述训练样本进行第一卷积处理，得到第一人脸特征图；
通过所述新P-Net中的所述第二个卷积层对所述第一人脸特征图进行第二卷积处理，得到第二人脸特征图；
通过所述新P-Net中的所述第四个卷积层对所述第一人脸特征图进行第三卷积处理，得到人脸属性特征图；
通过所述属性信息融合层对所述第二人脸特征图和所述人脸属性特征图进行特征融合，得到融合特征，并通过所述第三个卷积层和所述人脸预测层对所述融合特征依次进行第四卷积处理和人脸预测，得到所述训练样本对应的人脸预测结果；
通过所述全局平均池化层和所述属性预测层对所述人脸属性特征图依次进行池化处理和人脸属性预测，得到所述训练样本对应的人脸属性预测结果；
根据所述训练样本的人脸预测结果和所述标签信息中的人脸信息计算人脸损失值，根据所述训练样本的人脸属性预测结果和所述标签信息中的人脸属性信息计算属性损失值，并通过所述人脸损失值和所述属性损失值更新所述新P-Net的网络参数，直至所述新P-Net收敛。


3.根据权利要求2所述的人脸检测模型训练方法，其特征在于，所述新P-Net还包括最大值池化层，所述最大值池化层的输入端与所述第四个卷积层的输出端连接，输出端与所述属性信息融合层的输入端连接；
相应的，所述通过所述属性信息融合层对所述第二人脸特征图和所述人脸属性特征图进行特征融合，得到融合特征，之前还包括：
通过所述最大值池化层对所述所述人脸属性特征图进行最大值池化操作，得到人脸属性权重图；
所述通过所述属性信息融合层对所述第二人脸特征图和所述人脸属性特征图进行特征融合，得到融合特征，包括：
通过所述属性信息融合层对所述第二人脸特征图和人脸属性权重图进行逐点相乘运算，得到融合特征。


4.一种人脸检测方法，其特征在于，包括：
获取待检测人脸图像；
将所述待检测图像输入到人脸检测模型进行人脸检测，得到所述待检测图像的人脸检测结果，其中，所述人脸检测模型通过权利要求1-3任一项所述的人脸...

【专利技术属性】
技术研发人员：刘畅，
申请(专利权)人：广州织点智能科技有限公司，
类型：发明
国别省市：广东;44