一种基于卷积神经网络的人脸关键点检测方法技术

本发明专利技术提出了一种基于卷积神经网络的人脸关键点检测方法，建立第一数据集和第二数据集，并对第一数据集和第二数据集进行预处理；之后将第一数据集输入至第一阶段卷积神经网络模型以实现第一阶段卷积神经网络模型收敛；将第二数据集输入至第一阶段卷积神经网络模型以获取多个第一关键点的位置及第一阶段关键点拟合曲线；最后扩充第一关键点所在的区域，并将扩充后得到的区域集输入至第二阶段卷积神经网络模型，获取多个第二关键点的位置和第二阶段关键点拟合曲线。本发明专利技术以人工神经网络为基础使用了级联卷积神经网络，不需要人为制作特征，鲁棒性高、适合多种不同场合、训练时间短、检测精度高。

A Face Key Point Detection Method Based on Convolutional Neural Network

【技术实现步骤摘要】
一种基于卷积神经网络的人脸关键点检测方法
本专利技术属于人脸关键点检测
，尤其涉及一种基于卷积神经网络的人脸关键点检测方法。
技术介绍
随着神经网络在图像领域运用地越来越广泛，涌现了许多与以往图像处理方式完全不一样的算法，而人脸关键点检测就是方向之一。目前已经提出了很多传统人脸检测算法中，在传统的人脸关键点检测算法中，有通过关键点位置与特征的联合模型与当前的参数估计生成模型函数的ConstrainedLocalModel算法，也有基于点分布模型的ASM特征点提取算法并且经过许多人完善之后，ASM算法已经发展的足够成熟。然而以上这些算法对初始化的模型要求都比较高,且存在以下缺陷：1)训练时间过长检测、精度不够高及出现过拟合的状况；2)大多只能适应特定场合。因此研究一种快速、高效、鲁棒性好的检测方法具有重要意义。
技术实现思路
本专利技术的目的在于提供一种基于卷积神经网络的人脸关键点检测方法，以解决现有技术中人脸关键点检测算法存在的问题，其以人工神经网络为基础使用了级联卷积神经网络，不需要人为制作特征，训练时间短、检测精度高。为实现上述目的，本专利技术所采用的技术方案为:一种基于卷积神经网络的人脸关键点检测方法，包括以下步骤：步骤S1:建立第一数据集和第二数据集，并对所述第一数据集和第二数据集进行预处理；步骤S2:将所述第一数据集输入至第一阶段卷积神经网络模型以实现第一阶段卷积神经网络模型收敛；步骤S3:将所述第二数据集输入至第一阶段卷积神经网络模型以获取多个第一关键点的位置及第一阶段关键点拟合曲线；步骤S4:扩充所述第一关键点所在的区域，并将扩充后得到的区域集输入至所述第二阶段卷积神经网络模型，获取多个第二关键点的位置和第二阶段关键点拟合曲线。优选地，在步骤S1中，所述预处理具体灰度化处理、数据集扩充处理和归一化处理；其中，所述灰度化处理为运用加权平均法对将所述第一数据集和第二数据集的彩色图像进行处理；所述数据集扩充处理包括对所述第一数据集和第二数据集中的图像进行水平翻转和角度旋转；所述归一化处理为将所述第一数据集和第二数据集中的图像进行数据标准化处理。优选地，在步骤S2中，所述第一阶段卷积神经网络模型包括八层；所述第一阶段卷积神经网络模型的第二层和第三层均为特征提取层。优选地，在步骤S2中，所述第一阶段卷积神经网络模型的超参数包括样本测试数量、测试间隔、基础学习率和迭代次数；所述基础学习率设置为0.01。优选地，在步骤S2中，所述第一阶段卷积神经网络模型通过第一阶段收敛函数对第一卷积神经网络模型的超参数进行调整以实现第一卷积神经网络模型的收敛。优选地，在步骤S2中，进一步包括对第一阶段关键点拟合曲线的Dropout优化处理。优选地，在步骤S3中，所述第二阶段卷积神经网络模型包括五层；所述第二阶段卷积神经网络模型的第二层和第三层均为特征提取层；所述第一层的卷积核的大小为4*4；所述第二层的卷积核的大小为3*3。优选地，在步骤S3中，所述第二阶段卷积神经网络模型的超参数中的基础学习率包括多个分别与所述关键点匹配的基础学习率；所述第二阶段卷积神经网络模型的基础学习率小于所述第一阶段卷积神经网络模型的基础学习率。优选地，在步骤S3中，进一步包括对第二阶段关键点拟合曲线的Dropout优化处理。优选地，在步骤S2之后，将所述第一数据集输入至第二阶段卷积神经网络模型以实现第二阶段卷积神经网络模型收敛。与现有技术相比，本专利技术的优点为：本专利技术使用了级联卷积神经网络，首先对人脸进行整体检测，得到大致的关键点坐标后，再对细节进行不断的调整从而得到关键点的精准坐标。因此，本专利技术不需要人为制作特征，且训练时间短、检测精度高，对初始模型的要求低、并且鲁棒性高，适合多种不同场合的优点。附图说明图1(a)为本专利技术一实施例的基于卷积神经网络的人脸关键点检测方法的流程图；图1(b)为图1(a)中结合检测点的具体操作流程；图2(a)为图1中所使用的第一数据集；图2(b)为1中所使用的第二数据集；图3为1中第一阶段的第一阶段卷积神经网络模型；图4为本专利技术中所涉及的第一网络收敛函数；图5为本专利技术中所涉及的第二网络收敛函数；图6为图1中第一阶段预测结果图；图7(a)、图7(b)为中第一阶段预测结果效果图；图8为图1中第二阶段的第二阶段卷积神经网络模型；图9为图1中第二阶段的鼻尖预测结果图；图10为本专利技术第二阶段的左眼预测结果；图11为本专利技术第二阶段的右眼预测结果；图12为本专利技术第二阶段的左嘴角预测结果；图13为本专利技术第二阶段的右嘴角预测结果。具体实施方式下面将结合示意图对本专利技术的基于卷积神经网络的人脸关键点检测方法进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。如图1(b)所示，本专利技术选取人的左眼、右眼、鼻尖、左嘴角和右嘴角5个人脸关键点作为检测点，首先构建好卷积神经网络的网络模型，通过第一数据集和损失函数不断地训练调整网络参数，从而得到能够精确检测处5个关键点的方法。主要分为2个部分，是两个级联的卷积神经网络。首先，第一阶段网络将整个人脸图像输入到网络中从而在网络最后得到5个第一关键点在图片中的位置坐标。再在第二阶段的CNN网络中分别对5个第一关键点坐标在一定的范围内进行细微调整，从而保证预测点能够尽量接近图片中标注的真实位置，即得到5个新的第二关键点的位置。部分检测图如图1所示。如图1(a)所示，一种基于卷积神经网络的人脸关键点检测方法，包括以下步骤S1～S3。步骤S1:建立第一数据集和第二数据集，并对第一数据集和第二数据集进行预处理；第二数据集为人脸关键点数据集。本专利技术使用两个不同的数据集，分别为第一数据集Dataset1和第二数据集Dataset2。Dataset1是由数据集300-W、BioID、LFPW等多个组合而成，该数据集内图片的尺寸和人脸位移都存在较大的变化；Dataset2是LFW人脸关键点数据集。两个数据集如图2(a)、图2(b)所示。预处理具体灰度化处理、数据集扩充处理和归一化处理；其中，1)灰度化处理为运用加权平均法对将第一数据集和第二数据集的彩色图像进行处理；原数据由于是彩色图像，直接对彩色图像处理运算量会非常大，处理时间过长，因此可以对原始图像进行灰度化处理。灰度化方式采用加权平均法，公式如下：f(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j)(2)其中，i，j为图像的行列坐标；R(),G(),B()分别代表红、绿、蓝三个分量的函数。2)数据集扩充处理包括对第一数据集和第二数据集中的图像进行水平翻转和角度旋转；为了保证训练数据集包含尽量多的可能性，需要对样本集进行扩充。并且考虑到实际生活中人脸情况，避免无用数据占用，保证产生合理有用的高效数据集，所以仅对原本数据集中的人脸图片进行水平翻转和角度旋转。水平翻转的函数为：角度旋转的函数为：其中，w为图片的宽，h为图片的高，x0,y0是原图的横纵坐标，x1,y1是变换之后的横纵坐标，3)归一化处理为将第一数据集和第二数据集中的图像进行数据标准化处理。为了消除指标之间的量纲影响，需要进行本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人脸关键点检测方法，其特征在于，包括以下步骤：步骤S1:建立第一数据集和第二数据集，并对所述第一数据集和第二数据集进行预处理；步骤S2:将所述第一数据集输入至第一阶段卷积神经网络模型以实现第一阶段卷积神经网络模型收敛；步骤S3:将所述第二数据集输入至第一阶段卷积神经网络模型以获取多个第一关键点的位置及第一阶段关键点拟合曲线；步骤S4:扩充所述第一关键点所在的区域，并将扩充后得到的区域集输入至所述第二阶段卷积神经网络模型，获取多个第二关键点的位置和第二阶段关键点拟合曲线。

【技术特征摘要】
1.一种基于卷积神经网络的人脸关键点检测方法，其特征在于，包括以下步骤：步骤S1:建立第一数据集和第二数据集，并对所述第一数据集和第二数据集进行预处理；步骤S2:将所述第一数据集输入至第一阶段卷积神经网络模型以实现第一阶段卷积神经网络模型收敛；步骤S3:将所述第二数据集输入至第一阶段卷积神经网络模型以获取多个第一关键点的位置及第一阶段关键点拟合曲线；步骤S4:扩充所述第一关键点所在的区域，并将扩充后得到的区域集输入至所述第二阶段卷积神经网络模型，获取多个第二关键点的位置和第二阶段关键点拟合曲线。2.根据权利要求1所述的基于卷积神经网络的人脸关键点检测方法，其特征在于，在步骤S1中，所述预处理具体灰度化处理、数据集扩充处理和归一化处理；其中，所述灰度化处理为运用加权平均法对将所述第一数据集和第二数据集的彩色图像进行处理；所述数据集扩充处理包括对所述第一数据集和第二数据集中的图像进行水平翻转和角度旋转；所述归一化处理为将所述第一数据集和第二数据集中的图像进行数据标准化处理。3.根据权利要求1所述的基于卷积神经网络的人脸关键点检测方法，其特征在于，在步骤S2中，所述第一阶段卷积神经网络模型包括八层；所述第一阶段卷积神经网络模型的第二层和第三层均为特征提取层。4.根据权利要求3所述的基于卷积神经网络的人脸关键点检测方法，其特征在于，在步骤S2中，所述第一阶段卷积神经网络模型的超参数包括样本测试数量、测试间隔、基础学习率和迭...

【专利技术属性】
技术研发人员：石高辉，陈晓荣，刘亚茹，张彩霞，李镇锋，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海,31