一种基于级联深度网络的人脸关键点检测方法技术

本发明专利技术公开了一种基于级联深度网络的人脸关键点检测方法，包括以下步骤：样本采集：预先分别采集人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息；第一模型训练：将采集到的人脸信息、眼睛信息、鼻子信息和嘴巴信分别训练第一部分网络。本发明专利技术：通过采用第一部分网络和第二部分网络配合第一模型训练以及第二模型训练，不仅能更好的进行人脸关键点定位，而且精度高，能适应不同环境下的应用需求，提高了抗干扰能力以及解决了人脸关键点定位时出现偏差，和人脸存在遮挡、光照以及化妆采样难的问题。

【技术实现步骤摘要】
一种基于级联深度网络的人脸关键点检测方法
本专利技术涉及计算机视觉
，具体来说，涉及一种基于级联深度网络的人脸关键点检测方法。
技术介绍
人脸关键点定位在计算机视觉领域有很多应用，例如人脸识别，表情识别，动画制作等。近年来，人脸关键点识别已经取得了很大的进步，但是在遮挡、光照、化妆等影响下，依然存在很大的问题。目前，人脸关键点定位主要有基于模型的方法、基于回归的方法，与基于深度学习的方法。基于模型的方法主要是在训练的时候利用关键点周围的局部特征构造人脸模型。这种方法不需要大量的数据即可训练模型，且得到的参数化模型通用性较强，在检测，跟踪等不同应用场景下均可使用。目前，主要有ASM，AAM等方法。但是，这种基于模型的方法对于噪声比较敏感，且不能充分的描述在光照，表情变化等不同场合下人脸特征的非线性变化，因此，常常在人脸关键点定位时出现偏差。另外，在拟合模型时，常常涉及到求解优化的问题，因此预测速度也较慢。基于回归的方法主要将关键点定位问题转变为一个回归的问题。在训练阶段，让回归模型去学习如何从图像输出关键点坐标的函数。在预测时，直接应用该函数求得关键点坐标。因此，较之基于模型的关键点预测方法，基于回归的方法速度很快，具有代表性的有SDM（监督下降法）。作为一种迭代方法，实际应用中训练集上的平均形状常常作为级联回归方法的初始值，当待预测图像的形状偏离训练集均值形状很大时，比如存在大的姿态变化时，回归方法常常收敛至较差的局部最优值。基于深度学习的方法往往借助前两类方法的思想和框架设计算法。深度学习模型既可以作为回归器，也可以作为分类器或者特征提取器，应用较为灵活。Sun提出了一个三级级联框架，组合23个DCNN用于人脸基准点定位，后续层网络在前几层网络的基础上微调，所有网络都是从图像到关键点的回归器。Zhou等提出将基准点分组，然后每组基准点采用一个深度网络的方式，使其能检测多个基准点。由于，基于深度学习的方法能直接以原图像输入，它不需要初始形状火灾提取局部特征作为输入。并且，当同时定位多个基准点时，深度网络的结构能自然的组合形状约束和局部特征。因此，采用深度学习解决人脸基准点定位问题是非常有意义的。随着深度学习和人脸关键点定位的快速发展，目前该领域仍有许多值得探索的问题，比如如何应用最新的卷积神经网络结构和训练方式更好的进行人脸关键点定位。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的问题，本专利技术提出一种基于级联深度网络的人脸关键点检测方法，以克服现有相关技术所存在的上述技术问题。本专利技术的技术方案是这样实现的：一种基于级联深度网络的人脸关键点检测方法，包括以下步骤：样本采集：预先分别采集人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息；第一模型训练：将采集到的人脸信息、眼睛信息、鼻子信息和嘴巴信分别训练第一部分网络，训练分别得到模型Af、Ae、An和Am；检测识别：分别用训练所得模型Af、Ae、An和Am作为人脸检测器，其中，Af检测输入信息的人脸特征信息位置及人脸信息、眼睛信息、鼻子信息和嘴巴信息，用Ae检测输入信息的特征信息位置及眼睛关键点信息，用An检测输入信息的特征信息位置及鼻尖关键点信息，用Am检测输入信息的特征信息位置及嘴角关键点信息；关键点确定：用检测出的人脸bounding对眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息进行约束；采集样本集：分别采集两份人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定数据集，每个数据集标定特征点位置以及以特征点为中心的小的boundingbox的groundtruth；第二模型训练，将采集到的人脸信息、眼睛信息、鼻子信息、嘴巴信息和人脸特征信息位置分别进行训练第二部分网络，训练分别得到模型QUOTE、QUOTE、QUOTE、QUOTE、QUOTE；计算检测：将关键点确定所约束的眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息为中心，确定boundingbox；检测校正：将计算检测所得boundingbox分别输入至第二模型训练模型QUOTE、QUOTE、QUOTE、QUOTE、QUOTE内，确定眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息。进一步的，所述第一部分网络为全卷积网络和CNN网络级联组成，所述全卷积网络和CNN网络分别包括目标识别、关键点检测和boundingbox回归。进一步的，所述第二部分网络为CNN网络。进一步的，所述关键点确定包括对检测出的人脸bounding约束信息的同一特征信息取平均值。本专利技术的有益效果：通过采用第一部分网络和第二部分网络配合第一模型训练以及第二模型训练，不仅能更好的进行人脸关键点定位，而且精度高，能适应不同环境下的应用需求，提高了抗干扰能力以及解决了人脸关键点定位时出现偏差，和人脸存在遮挡、光照以及化妆采样难的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的一种基于级联深度网络的人脸关键点检测方法的流程示意图；图2是根据本专利技术实施例的一种基于级联深度网络的人脸关键点检测方法的第一部分网络全卷积神经网络结构图；图3是根据本专利技术实施例的一种基于级联深度网络的人脸关键点检测方法的第一部分网络CNN网络结构图；图4是根据本专利技术实施例的一种基于级联深度网络的人脸关键点检测方法的第二部分网络的CNN网络结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的实施例，提供了一种基于级联深度网络的人脸关键点检测方法。如图1-4所示，根据本专利技术实施例的基于级联深度网络的人脸关键点检测方法，包括以下步骤：步骤S101，样本采集：预先分别采集人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息；步骤S103，第一模型训练：将采集到的人脸信息、眼睛信息、鼻子信息和嘴巴信分别训练第一部分网络，训练分别得到模型Af、Ae、An和Am；步骤S105，检测识别：分别用训练所得模型Af、Ae、An和Am作为人脸检测器，其中，Af检测输入信息的人脸特征信息位置及人脸信息、眼睛信息、鼻子信息和嘴巴信息，用Ae检测输入信息的特征信息位置及眼睛关键点信息，用An检测输入信息的特征信息位置及鼻尖关键点信息，用Am检测输入信息的特征信息位置及嘴角关键点信息；步骤S107，关键点确定：用检测出的人脸bounding对眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息进行约束；步骤S109，采集样本集：分别采集两份人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定数据集，每个数据集标定特征点位置以及以特征点为中心的小的boun本文档来自技高网...

【技术保护点】
1.一种基于级联深度网络的人脸关键点检测方法，其特征在于，包括以下步骤：样本采集：预先分别采集人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息；第一模型训练：将采集到的人脸信息、眼睛信息、鼻子信息和嘴巴信分别训练第一部分网络，训练分别得到模型Af、Ae、An和Am；检测识别：分别用训练所得模型Af、Ae、An和Am作为人脸检测器，其中，Af检测输入信息的人脸特征信息位置及人脸信息、眼睛信息、鼻子信息和嘴巴信息，用Ae检测输入信息的特征信息位置及眼睛关键点信息，用An检测输入信息的特征信息位置及鼻尖关键点信息，用Am检测输入信息的特征信息位置及嘴角关键点信息；关键点确定：用检测出的人脸bounding对眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息进行约束；采集样本集：分别采集两份人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定数据集，每个数据集标定特征点位置以及以特征点为中心的小的boundingbox的groundtruth；第二模型训练，将采集到的人脸信息、眼睛信息、鼻子信息、嘴巴信息和人脸特征信息位置分别进行训练第二部分网络，训练分别得到模型 QUOTE...

【技术特征摘要】
1.一种基于级联深度网络的人脸关键点检测方法，其特征在于，包括以下步骤：样本采集：预先分别采集人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息；第一模型训练：将采集到的人脸信息、眼睛信息、鼻子信息和嘴巴信分别训练第一部分网络，训练分别得到模型Af、Ae、An和Am；检测识别：分别用训练所得模型Af、Ae、An和Am作为人脸检测器，其中，Af检测输入信息的人脸特征信息位置及人脸信息、眼睛信息、鼻子信息和嘴巴信息，用Ae检测输入信息的特征信息位置及眼睛关键点信息，用An检测输入信息的特征信息位置及鼻尖关键点信息，用Am检测输入信息的特征信息位置及嘴角关键点信息；关键点确定：用检测出的人脸bounding对眼睛关键点信息、鼻尖关键点信息和嘴角关键点信息进行约束；采集样本集：分别采集两份人脸信息、眼睛信息、鼻子信息和嘴巴信息，且标记人脸特征信息位置，确定数据集，每个数据集标定特征点位置以及以特征点为中心的小的boundingbox的groundtruth；第二模型训...

【专利技术属性】
技术研发人员：武传营，李凡平，石柱国，
申请(专利权)人：北京以萨技术股份有限公司，青岛以萨数据技术有限公司，
类型：发明
国别省市：北京,11