一种基于卷积神经网络的人脸关键点检测方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于卷积神经网络的人脸关键点检测方法及装置，所述方法包括：建立训练集，所述训练集中包括多张人脸图像，对训练集中的人脸图像标注出关键点；构建卷积神经网络模型；使用训练集训练所述卷积神经网络模型，采用改进的L1loss作为损失函数对所述卷积神经网络模型进行训练，通过对损失函数加权重的方式，采用多种权重变化学习策略，剔除无效特征点对网络的影响，使网络能够趋向于关注难学习的部分，减少容易学习的部分对网络损失的平均影响，使得整个网络对于人脸姿态变化、人脸细节处关键点、光照背景等情况更加鲁棒，检测效果更加准确，实现人脸关键点的精准定位。

A Face Key Point Detection Method and Device Based on Convolutional Neural Network

The embodiment of the present invention discloses a method and device for detecting key points of face based on convolution neural network. The method includes: establishing a training set, the training set includes multiple face images, marking key points for face images in the training set, constructing a convolution neural network model, using the training set to train the convolution neural network model, and using the improved L1loss as the training set. The loss function trains the convolutional neural network model. By using various weight change learning strategies, the network can tend to focus on the hard-to-learn part, reduce the average impact of the easy-to-learn part on the network loss, and make the whole network change the face posture and face fineness. The key points of nodes and illumination background are more robust, the detection effect is more accurate, and the precise location of key points of face is realized.

【技术实现步骤摘要】
一种基于卷积神经网络的人脸关键点检测方法及装置
本专利技术实施例涉及计算机视觉处理
，具体涉及一种基于卷积神经网络的人脸关键点检测方法及装置。
技术介绍
传统的人脸关键点检测方法主要是基于图像设计特征的回归方法，首先采用人工设计特征(hand-craftedfeature)的方式统计图像的特征信息，提取人脸图像中的特征，用于更好的描述图像，再通过高质量的回归器，直接对人脸的关键点位置进行回归计算。物体的图像特征信息包括图像的灰度、纹理、外形等，通过对图像的特征信息进行统计运算，从而对物体进行更好地描述，主要有HIG、SIFT、HAAR等图像特征描述算子。SIFT对于图像中的杂波或者部分遮挡都有很强的鲁棒性，因为SIFT特征描述算子在均匀缩放、方向、光照变化和部分畸变的情况下具有不变性，SIFT检测器是通过关键点(感兴趣点)来使用的，利用不同尺度的高斯滤波器对图像进行卷积，然后对连续高斯模糊图像进行差分处理，关键点被识别为跨尺度图像的局部最小/最大值，这是通过将图像中的每个像素与其相同尺度的八个邻居进行比较，并且在相邻的每个尺度中比较九个对应的相邻像素来完成的，如果像素值是所有比较像素之间的最大值或最小值，则将其选择为候选关键点；HOG是另一种常用的图像特征描述算子，与SIFT特征类似，HOG对图像的局部部分中的梯度取向的出现进行计数，HOG描述符比其他描述符具有几个关键的优点，由于它在局部格子上工作，它对于几何和光度变换都具有很强的鲁棒性。在深度学习兴起之前，这种传统的人工设计特征方法是解决计算机视觉处理任务的主流，但是传统的图像设计特征方法适用范围比较局限，检测效果也比较粗糙，难以对人脸眼睛嘴角处细节的关键点进行精确的检测，此外，这种人工设计特征对于侧脸、抬头等姿态变化比较大的人脸也不具备较好的鲁棒性，光照背景、人脸位置对于整体检测效果都有较大的影响。
技术实现思路
为此，本专利技术实施例提供一种基于卷积神经网络的人脸关键点检测方法，以解决传统的人脸关键点检测方法对人脸细节处的关键点难以实现精准检测，对于侧脸、抬头、低头等姿态变化较大的人脸检测效果不佳，光照背景、人脸位置对于整体检测效果都有较大的影响。为了实现上述目的，本专利技术实施例提供如下技术方案：根据本专利技术实施例的第一方面，提出了一种基于卷积神经网络的人脸关键点检测方法，所述方法包括：建立训练集，所述训练集中包括多张人脸图像，对训练集中的人脸图像标注出关键点；构建卷积神经网络模型；使用训练集训练所述卷积神经网络模型，采用改进的L1loss作为损失函数对所述卷积神经网络模型进行训练，损失函数的形式如下：其中，M为每张人脸图像中标注的关键点数量，wi为权重，yt表示监督的真实标签，yp表示卷积神经网络输出的预测值，通过关键点特征向量形式表示，N表示特征向量的维数。进一步地，所述使用训练集训练所述卷积神经网络模型包括：所述训练集包括第一训练集和第二训练集，所述第二训练集中包括多张包含抬头、低头、眨眼、张嘴、左摇头和右摇头六种人脸动作的人脸图像；使用第一训练集对所述卷积神经网络模型进行预训练；使用第二训练集对预训练后的卷积神经网络模型进行优化训练。进一步地，所述方法还包括：分别计算第一训练集或第二训练集中所有人脸图像所标注的关键点的平均点；使用第一训练集或第二训练集训练所述卷积神经网络模型学习人脸关键点到平均点之间的偏移量。进一步地，所述卷积神经网络模型采用改进后的ResNet18网络进行人脸图像的特征提取，改进后的ResNet18网络的每层卷积层的输出通道数减少为ResNet18网络卷积层通道数量的1/10。进一步地，所述卷积神经网络模型通过一个全连接层输出多维的关键点特征向量，所述特征向量的奇数项对应多个关键点的横坐标偏移量，偶数项对应多个关键点的纵坐标偏移量。进一步地，所述方法还包括：对于人脸图像中丢失的无效关键点，权重wi置为0。进一步地，所述方法还包括：对于人脸图像中的眼部关键点设置相比于其他关键点更高的权重。进一步地，所述方法还包括：采用批量梯度下降法和反向传播算法对所述卷积神经网络模型进行训练。进一步地，所述方法还包括：对于超过预设阈值的损失进行梯度回传；对于未超过预设阈值的损失将权重wi置为0，不进行梯度回传。根据本专利技术实施例的第二方面，提出了一种基于卷积神经网络的人脸关键点检测装置，所述装置包括：训练集建立模块，用于建立训练集，并对训练集中的所有人脸图像标注出关键点；网络建立模块，用于构建卷积神经网络模型；训练模块，用于使用训练集训练所述卷积神经网络模型。本专利技术实施例具有如下优点：本专利技术实施例提出的一种基于卷积神经网络的人脸关键点检测方法及装置，通过搭建多层卷积神经网络学习人脸的深度信息，利用卷积神经网络的深度表达能力，得到人脸的深度特征，通过回归器从学习到的人脸特征中回归人脸关键点的位置，损失函数采用加权重的方式，可以通过多种权重变化学习策略，剔除无效特征点对网络的影响，使网络能够趋向于关注难学习的部分，减少容易学习的部分对网络损失的平均影响，使得整个网络对于人脸姿态变化、人脸细节处关键点、光照背景等情况更加鲁棒，检测效果更加准确，实现人脸关键点的精准定位。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。图1为本专利技术实施例1提供的一种基于卷积神经网络的人脸关键点检测方法的流程示意图；图2为本专利技术实施例1提供的一种基于卷积神经网络的人脸关键点检测方法的人脸图像关键点标注示意图；图3为ResNet网络中的shortcut连接示意图；图4为本专利技术实施例1提供的一种基于卷积神经网络的人脸关键点检测方法的网络处理流程示意图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1如图1所示，本实施例提出了一种基于卷积神经网络的人脸关键点检测方法，该方法包括：S100、建立训练集，训练集中包括多张人脸图像，对训练集中的人脸图像标注出关键点。训练集包括第一训练集和第二训练集，所述第二训练集中包括多张包含抬头、低头、眨眼、张嘴、左摇头和右摇头六种人脸动作的人脸图像。第一训练集和第二训练集中，如图2所示，每张人脸图像均根据脸部轮廓、眉毛、眼睛、鼻子、嘴巴等关键区域的位置标注出最能体现人脸特征的70个关键点。为了让网络尽可能学习到细节处的关键点，网络需要尽可能多的训练集样本，本实施例中搜集了60万人脸图像作为第一训练集。进一步地，为了增强网络对于人脸不同姿态动作的鲁棒性，本实施例先使用60w张标注出关键点的第一训练集对网络进行训练，训练完成后，将得到的模型作为预训练模型，然后采用1万张包含各种动作的第二训练集进行微调，增强网络对于各种动作的鲁棒性。进一步地，该方法还包括：分别本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人脸关键点检测方法，其特征在于，所述方法包括：建立训练集，所述训练集中包括多张人脸图像，对训练集中的人脸图像标注出关键点；构建卷积神经网络模型；使用训练集训练所述卷积神经网络模型，采用改进的L1 loss作为损失函数对所述卷积神经网络模型进行训练，损失函数的形式如下：

【技术特征摘要】
1.一种基于卷积神经网络的人脸关键点检测方法，其特征在于，所述方法包括：建立训练集，所述训练集中包括多张人脸图像，对训练集中的人脸图像标注出关键点；构建卷积神经网络模型；使用训练集训练所述卷积神经网络模型，采用改进的L1loss作为损失函数对所述卷积神经网络模型进行训练，损失函数的形式如下：其中，M为每张人脸图像中标注的关键点数量，wi为权重，yt表示监督的真实标签，yp表示卷积神经网络输出的预测值，通过关键点特征向量形式表示，N表示特征向量的维数。2.根据权利要求1所述的一种基于卷积神经网络的人脸关键点检测方法，其特征在于，所述使用训练集训练所述卷积神经网络模型包括：所述训练集包括第一训练集和第二训练集，所述第二训练集中包括多张包含抬头、低头、眨眼、张嘴、左摇头和右摇头六种人脸动作的人脸图像；使用第一训练集对所述卷积神经网络模型进行预训练；使用第二训练集对预训练后的卷积神经网络模型进行优化训练。3.根据权利要求2所述的一种基于卷积神经网络的人脸关键点检测方法，其特征在于，所述方法还包括：分别计算第一训练集或第二训练集中所有人脸图像所标注的关键点的平均点；使用第一训练集或第二训练集训练所述卷积神经网络模型学习人脸关键点到平均点之间的偏移量。4.根据权利要求1所述的一种基于卷积神经网络的人脸关键点检测方法，其特征在于，所述卷积神经网络模型采用改进后的ResNet18网络进行人脸图像的特征提取...

【专利技术属性】
技术研发人员：安玉山，
申请(专利权)人：北京视甄智能科技有限公司，
类型：发明
国别省市：北京,11