人脸关键点检测模型的训练方法和人脸关键点检测方法技术

本申请公开了一种人脸关键点检测模型的训练方法和人脸关键点检测方法，其中训练方法包括：获取携带有预置人脸标注信息的人脸样本图像；将所述人脸样本图像输入至MTCNN网络的Pnet网络中，得到所述人脸样本图像对应的人脸候选框；将所述人脸候选框、所述人脸样本图像输入至所述MTCNN网络的Rnet网络中，得到所述人脸样本图像对应的人脸目标框；将所述人脸目标框、所述预置人脸标注信息和所述人脸样本图像输入至所述MTCNN网络的Onet网络中，得到训练好的MTCNN网络模型，其中，所述Onet网络中的关键点回归函数为：预置WingLoss函数，解决了现有的人脸关键点检测方法在进行人脸检测时，容易出现关键点漂移，导致人脸关键点检测准确度较低的技术问题。

【技术实现步骤摘要】
人脸关键点检测模型的训练方法和人脸关键点检测方法
本申请涉及计算机视觉领域，尤其涉及一种人脸关键点检测模型的训练方法和人脸关键点检测方法。
技术介绍
人脸关键点检测对众多应用具有关键作用，例如人脸姿态矫正、姿态识别、表情识别、疲劳监测、嘴型识别等。因此，如何获取高精度的人脸关键点一直是计算机视觉领域的研究热点。人脸关键点检测是指给定人脸图像，定位出人脸面部的关键点位置，如眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。现有的人脸关键点检测方法在进行人脸检测时，容易出现关键点漂移，导致人脸关键点检测准确度较低。
技术实现思路
本申请提供了一种人脸关键点检测模型的训练方法和人脸关键点检测方法，解决了现有的人脸关键点检测方法在进行人脸检测时，容易出现关键点漂移，导致人脸关键点检测准确度较低的技术问题。有鉴于此，本申请第一方面提供了一种人脸关键点检测模型的训练方法，包括：获取携带有预置人脸标注信息的人脸样本图像；将所述人脸样本图像输入至MTCNN网络的Pnet网络中，得到所述人脸样本图像对应的人脸候选框；将所述人脸候选框、所述人脸样本图像输入至所述MTCNN网络的Rnet网络中，得到所述人脸样本图像对应的人脸目标框；将所述人脸目标框、所述预置人脸标注信息和所述人脸样本图像输入至所述MTCNN网络的Onet网络中，得到训练好的MTCNN网络模型，其中，所述Onet网络中的关键点回归函数为：预置WingLoss函数。可选地，所述预置WingLoss函数为：<br>其中，loss(x)为预置WingLoss函数，w为非线性部分之间的间隔，ε为曲率，用于限制曲线的弯曲程度，c为常量，x为预测值与真实值之间的差值。可选地，所述人脸标注信息包括：人脸标注框和人脸关键点；所述获取携带有预置人脸标注信息的人脸样本图像，具体包括：获取未经标注的原始人脸样本图像；通过预置标注工具，对所述原始人脸样本图像进行人脸框标注，得到标注有人脸标注框的人脸样本图像；通过预置检测接口，对所述原始人脸样本图像进行关键点检测，得到关键点坐标；根据所述关键点坐标，对所述原始人脸样本图像进行关键点标注，得到标注有人脸关键点的人脸样本图像。可选地，所述人脸候选框包括：正人脸候选框、中人脸候选框和负人脸候选框；将所述人脸样本图像输入至MTCNN网络的Pnet网络中，得到所述人脸样本图像对应的人脸候选框，具体包括：将所述人脸样本图像输入至MTCNN网络的Pnet网络，使得所述Pnet网络对所述人脸样本图像进行人脸框选取，并基于各人脸选取框对应的交叠率，将所述选取框分类为正人脸候选框、中人脸候选框和负人脸候选框。可选地，所述对所述人脸样本图像进行人脸框选取，并基于各人脸选取框对应的交叠率，将所述选取框分类为正人脸候选框、中人脸候选框和负人脸候选框，具体包括：对所述人脸样本图像进行人脸框选取，得到若干人脸选取框；计算每一所述人脸选取框和所述人脸标注框之间的交叠率；根据各所述人脸选取框对应的所述交叠率，对所述人脸选取框进行分类，得到正人脸候选框、中人脸候选框和负人脸候选框。可选地，所述根据各所述人脸选取框对应的所述交叠率，对所述人脸选取框进行分类，得到正人脸候选框、中人脸候选框和负人脸候选框，具体包括：将所述交叠率大于等于第一阈值的所述人脸选取框作为正人脸候选框；将所述交叠率大于第二阈值小于所述第一阈值的所述人脸选取框作为所述中人脸候选框；将所述交叠率小于等于所述第二阈值的所述人脸选取框作为负人脸候选框，其中，所述第二阈值小于所述第一阈值。本申请第二方面提供了一种人脸关键点检测方法，包括：获取待检测人脸图像；将所述待检测人脸图像输入至预置MTCNN网络模型中，得到所述预置MTCNN网络模型输出的所述待检测人脸图像的关键点信息，其中，所述预置MTCNN网络模型为根据第一方面任一种所述的训练方法训练得到。本申请第三方面提供了一种人脸关键点检测模型的训练装置，包括：获取单元，用于获取携带有预置人脸标注信息的人脸样本图像；第一处理单元，用于将所述人脸样本图像输入至MTCNN网络的Pnet网络中，得到所述人脸样本图像对应的人脸候选框；第二处理单元，用于将所述人脸候选框、所述人脸样本图像输入至所述MTCNN网络的Rnet网络中，得到所述人脸样本图像对应的人脸目标框；第三处理单元，用于将所述人脸目标框、所述预置人脸标注信息和所述人脸样本图像输入至所述MTCNN网络的Onet网络中，得到训练好的MTCNN网络模型，其中，所述Onet网络中的关键点回归函数为：预置WingLoss函数。可选地，所述预置WingLoss函数为：其中，loss(x)为预置WingLoss函数，w为非线性部分之间的间隔，ε为曲率，用于限制曲线的弯曲程度，c为常量，x为预测值与真实值之间的差值。本申请第四方面提供了一种人脸关键点检测装置，包括：获取单元，用于获取待检测人脸图像；检测单元，用于将所述待检测人脸图像输入至预置MTCNN网络模型中，得到所述预置MTCNN网络模型输出的所述待检测人脸图像的关键点信息，其中，所述预置MTCNN网络模型为根据第一方面任一种所述的训练方法训练得到。从以上技术方法可以看出，本申请具有以下优点：专利技术人在研究现有技术后发现，现有人脸关键点检测时出现关键掉漂移是由于使用的关键点回归函数导致的。现有技术中的关键点回归函数为MSELoss，在人脸关键点标注过程中不可避免的存在一定的异常值，而MSELoss容易受到异常值的影响，当数据中出现异常值时，使用MSE的模型会赋予异常点更大的权重，导致模型收敛较差，而本申请中在进行关键点回归时使用预置WingLoss函数，由于WingLoss可缓解对异常值的敏感程度，故通过该关键点回归函数训练得到的模型在进行人脸关键点检测时也不容易出现关键点漂移，从而解决了现有的人脸关键点检测方法在进行人脸检测时，容易出现关键点漂移，导致人脸关键点检测准确度较低的技术问题。附图说明为了更清楚地说明本申请实施例中的技术方法，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例中一种人脸关键点检测模型的训练方法的实施例一的流程示意图；图2为本申请实施例中一种人脸关键点检测模型的训练方法的实施例二的流程示意图；图3为本申请实施例中MTCNN网络的Pnet网络的结构示意图；图4为本申请实施例中MTCNN网络的Rnet网络的结构示意图；图5为本申请实施例中MTCNN网络的Onet网络的结构示意图；图6a为本申请实施例中使用预置WingLoss的人脸关键点检本文档来自技高网...

【技术保护点】
1.一种人脸关键点检测模型的训练方法，其特征在于，包括：/n获取携带有预置人脸标注信息的人脸样本图像；/n将所述人脸样本图像输入至MTCNN网络的Pnet网络中，得到所述人脸样本图像对应的人脸候选框；/n将所述人脸候选框、所述人脸样本图像输入至所述MTCNN网络的Rnet网络中，得到所述人脸样本图像对应的人脸目标框；/n将所述人脸目标框、所述预置人脸标注信息和所述人脸样本图像输入至所述MTCNN网络的Onet网络中，得到训练好的MTCNN网络模型，其中，所述Onet网络中的关键点回归函数为：预置WingLoss函数。/n

【技术特征摘要】
1.一种人脸关键点检测模型的训练方法，其特征在于，包括：
获取携带有预置人脸标注信息的人脸样本图像；
将所述人脸样本图像输入至MTCNN网络的Pnet网络中，得到所述人脸样本图像对应的人脸候选框；
将所述人脸候选框、所述人脸样本图像输入至所述MTCNN网络的Rnet网络中，得到所述人脸样本图像对应的人脸目标框；
将所述人脸目标框、所述预置人脸标注信息和所述人脸样本图像输入至所述MTCNN网络的Onet网络中，得到训练好的MTCNN网络模型，其中，所述Onet网络中的关键点回归函数为：预置WingLoss函数。


2.根据权利要求1所述的训练方法，其特征在于，所述预置WingLoss函数为：



其中，loss(x)为预置WingLoss函数，w为非线性部分之间的间隔，ε为曲率，用于限制曲线的弯曲程度，c为常量，x为预测值与真实值之间的差值。


3.根据权利要求1所述的训练方法，其特征在于，所述人脸标注信息包括：人脸标注框和人脸关键点；
所述获取携带有预置人脸标注信息的人脸样本图像，具体包括：
获取未经标注的原始人脸样本图像；
通过预置标注工具，对所述原始人脸样本图像进行人脸框标注，得到标注有人脸标注框的人脸样本图像；
通过预置检测接口，对所述原始人脸样本图像进行关键点检测，得到关键点坐标；
根据所述关键点坐标，对所述原始人脸样本图像进行关键点标注，得到标注有人脸关键点的人脸样本图像。


4.根据权利要求3所述的训练方法，其特征在于，所述人脸候选框包括：正人脸候选框、中人脸候选框和负人脸候选框；
所述将所述人脸样本图像输入至MTCNN网络的Pnet网络中，得到所述人脸样本图像对应的人脸候选框，具体包括：
将所述人脸样本图像输入至MTCNN网络的Pnet网络，使得所述Pnet网络对所述人脸样本图像进行人脸框选取，并基于各人脸选取框对应的交叠率，将所述选取框分类为正人脸候选框、中人脸候选框和负人脸候选框。


5.根据权利要求4所述的训练方法，其特征在于，所述对所述人脸样本图像进行人脸框选取，并基于各人脸选取框对应的交叠率，将所述选取框分类为正人脸候选框、中人脸候选框和负人脸候选框，具体包括：
对所述人脸样本图像进行人脸框选取，得到若干人脸选取框；
计算每一所述人脸选取框和所述人脸标注框之间的交叠率；
根据各...

【专利技术属性】
技术研发人员：刘思伟，
申请(专利权)人：广州织点智能科技有限公司，
类型：发明
国别省市：广东;44