一种遮挡鲁棒的人脸关键点定位方法技术

本发明专利技术公开了一种遮挡鲁棒的人脸关键点定位方法，属于人脸关键点定位领域。该方法步骤如下：S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，获得转正后的人脸样本，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；S3：通过卷积网络对S2中的训练样本进行学习；S4：卷积网络完成S3的训练后，将S2中的测试样本输入该卷积网络中，获得图像中人脸关键点的位置。本发明专利技术对遮挡情况下的人脸关键点定位具有鲁棒性，测试结果和对应图片的定性定位结果也证明了本发明专利技术方法的有效性。

A Face Key Point Location Method with Robust Occlusion

The invention discloses a robust occlusion method for locating key points of a face, which belongs to the field of locating key points of a face. The steps of this method are as follows: S1: collecting face images marked by key points as training data sets and test data sets; S2: For training data sets and test data sets in S1, face detection and five key points location are carried out by face detection algorithm MTCNN, and then T-transformation face is transformed by Prussian analysis to obtain face samples after correction, forming training samples and test samples. In this paper, the corrected face samples are used as the input of the S3 stage; S3: learning the training samples in S2 through convolution network; S4: After the convolution network completes the training of S3, the test samples in S2 are input into the convolution network to obtain the location of the key points of the face in the image. The method has robustness to face key point location under occlusion, and the test results and the qualitative positioning results of corresponding pictures also prove the effectiveness of the method.

【技术实现步骤摘要】
一种遮挡鲁棒的人脸关键点定位方法
本专利技术属于人脸关键点定位领域，具体涉及一种遮挡鲁棒的人脸关键点定位方法。
技术介绍
人脸关键点定位技术是基于人脸图像，首先对输入的人脸图像或者视频流，检测是否存在人脸，如果存在人脸，则进一步给出每个脸的位置和关键点的位置，比如鼻子，眼睛，嘴巴等面部主要器官的位置。这项技术可用于人脸姿态矫正、姿态识别、疲劳监测，人脸三维重建，人脸动画，人脸识别、表情分析等等。错误的关键点定位会导致人脸失真变形，因此能够准确提取人脸关键点的算法非常重要。整个过程包括人脸检测，人脸预处理，人脸关键点定位等模块。目前人脸关键点定位算法主要分为三种，分别是基于生成模型的ASM、AAM及其延伸和扩展、基于级联形状回归的方法和基于深度学习的方法。其中研究最广的是基于深度学习的方法，因此本专利技术主要针对深度学习在人脸关键点定位上的应用。目前的人脸关键点定位算法存在的问题包括：1.训练数据的获取与提纯。在深度学习模型的训练过程中，依赖大量有效的人脸样本来提升人脸关键点定位的精度。理论上训练数据越丰富，训练好的模型泛化能力越强。2.深度学习网络模型的设计。网络模型是影响关键点定位精度的关键因素之一。网络设计越合理，能提取的特征越丰富，往往最后的定位精度也越高。因此我们需要对网络结构进行合理设计和优化。3.训练损失函数的选择。损失函数对网络的训练至关重要，好的损失函数能够引导网络进行合理的优化，而针对具体的任务设计对应的损失函数也是解决问题的关键。尽管中等姿态下人脸关键点定位已经有很多相对成熟的算法，但是遮挡下的人脸关键点定位仍然还有比较大的提升空间。针对上面三个存在的问题，本专利技术公开一种遮挡鲁棒的人脸关键点定位的方法，通过设计一种级联神经网络框架，通过利用关键点之间的形状约束和邻近区域的语义信息来定位被遮挡的关键点。
技术实现思路
本专利技术的目的在于解决现有技术中存在的问题，并提供一种遮挡鲁棒的人脸关键点定位方法。本专利技术所采用的具体技术方案如下：一种遮挡鲁棒的人脸关键点定位方法，其包括以下步骤：S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；S3：通过卷积网络对S2中的训练样本进行学习，具体步骤为：S31：读取训练样本中人脸图像和对应的关键点位置，每幅输入的人脸图归一化为3通道，高度为224像素，宽度为224像素；S32：读取的人脸图像采用卷积神经网络提取特征，经过卷积、BN和relu激活，并结合最大池化层进行下采样，提取28×28×A的多通道特征图，A为特征图中通道数量；S33：提取的多通道特征图进行粗定位，粗定位时用不同大小的卷积核与多通道特征图进行卷积，并采用逐像素交叉熵损失函数对可见的人脸关键点进行监督，获得C张28×28的关键点热图，其中C表示可见的人脸关键点个数；所述逐像素交叉熵损失函数的表达式如下：其中N是可见的人脸关键点个数，代表的是第i个可见人脸关键点热图上像素点(x,y)处的像素真值；是对网络输出的第i个关键点热图上(x,y)处像素值先进行sigmoid激活之后的值；S34：将S33中粗定位获得的关键点热图和S32中提取的多通道特征图和按通道方向融合在一起，得到第一融合特征图，进行精定位；精定位时用不同大小的卷积核与第一融合特征图进行卷积，并采用关键点热度图上对应位置像素值的L2损失函数，对人脸关键点进行监督，获得K+1张28×28的关键点热图，其中K为所有可见与不可见的人脸关键点个数；所述L2损失函数的表达式如下：其中，是网络预测输出的第i张人脸关键点热度图，是第i张根据人脸关键点真值生成的热度图，i∈[1,2,…,K]；是网络预测输出的背景区域热度图，是根据背景区域真值生成的热度图；(x,y)代表热度图上像素点的位置；S35：将S32中提取的多通道特征图和S34中精定位获得的关键点热图按通道方向融合在一起，得到第二融合特征图；首先通过一个point-wise卷积对第二融合特征图的通道信息进行融合，然后经过两个卷积和池化层，获得7×7的特征图，然后经过两个全连接层获得K个关键点2×K维的特征向量ΔS；将ΔS与S34中精定位获得的人脸关键点位置相加，与人脸关键点真值进行残差计算，采用的损失函数为二元坐标L2损失并引入新的损失项，损失函数形式如下：其中Sgt是人脸关键点真值位置二元坐标向量，是S34中精定位获得的人脸关键点位置，Dbox是人脸框的对角线长度，用作损失函数的归一化因子；θ是预测的临近关键点构成的线段和对应的临近关键点真值构成的线段之间的夹角；夹角θ定义如下：其中和代表S35中预测的中两个相邻人脸关键点的位置，和代表两个对应相邻人脸关键点的groundtruth位置，由这四个点构成的两条线段的夹角θ；S36：将S35中获得的转正人脸上的关键点位置，按照S2中转正人脸变换的反变换，获得原图像上的人脸关键点位置Sfinal，反变换过程如下：Sfinal＝T-1(S3)其中S3是S35中获得的转正人脸上的关键点位置，T-1是普氏分析变换T对应的反变换矩阵；S4：卷积网络完成S3的训练后，将S2中的测试样本输入该卷积网络中，获得图像中人脸关键点的位置。作为优选，所述的步骤S1中，关键点标记的做法为：利用3DDFA算法先自动标定样本的关键点位置，然后进行人工调整。作为优选，所述的步骤S33中，所述不同大小的卷积核共4种，大小分别为3×3×256、3×3×512、1×1×512和1×1×68。作为优选，所述的步骤S34中，所述不同大小的卷积核共4种，大小分别为3×3×128、3×3×256、1×1×128和1×1×68。作为优选，所述的步骤S33中，关键点热度图上的像素真值的生成方法为：将可见的人脸关键点周围4个像素半径范围内的每个像素点的值设为1，4个像素半径范围外的其余区域像素点的值设为0，并且为每个可见的人脸关键点都生成对应的一张热度图。作为优选，所述的步骤S34中，关键点热度图上的人脸关键点真值的生成方法为：在人脸关键点周围3个像素半径区域内放置高斯响应，对应的高斯响应函数如下：其中(j,k)表示28×28×K的热度图上的像素索引，(xg,yg)表示其中一张热度图上真实的人脸关键点坐标，σx,σy分别代表高斯响应在x方向和y方向上的标准差。本专利技术的创新点在于对CNNs的各个模块进行了重新的设计与组合，提出了一种全新的遮挡鲁棒的人脸关键点定位的框架，同时引入了新的损失函数，从而提高遮挡情况下人脸关键点定位的精度。本专利技术对遮挡情况下的人脸关键点定位具有鲁棒性，测试结果和对应图片的定性定位结果也证明了本专利技术方法的有效性。附图说明图1是本专利技术实施例的流程图；图2是粗定位采用的回归目标groundtruth；图3是精定位采用的回归目标groundtruth；图4是二元坐标回归引入的新的角度约束；图5是二元坐标回归网络采用和不采用新的角度约束在人脸图像上关键点定位的结果；图6是本专利技术的算法在一些遮挡图片上的关键点定位结果。具体实施方式下面结合附图和具体实施方式对本专利技术做进一步阐述和本文档来自技高网...

【技术保护点】
1.一种遮挡鲁棒的人脸关键点定位方法，其特征在于，包括以下步骤：S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；S3：通过卷积网络对S2中的训练样本进行学习，具体步骤为：S31：读取训练样本中人脸图像和对应的关键点位置，每幅输入的人脸图归一化为3通道，高度为224像素，宽度为224像素；S32：读取的人脸图像采用卷积神经网络提取特征，经过卷积、BN和relu激活，并结合最大池化层进行下采样，提取28×28×A的多通道特征图，A为特征图中通道数量；S33：提取的多通道特征图进行粗定位，粗定位时用不同大小的卷积核与多通道特征图进行卷积，并采用逐像素交叉熵损失函数对可见的人脸关键点进行监督，获得C张28×28的关键点热图，其中C表示可见的人脸关键点个数；所述逐像素交叉熵损失函数的表达式如下：

【技术特征摘要】
1.一种遮挡鲁棒的人脸关键点定位方法，其特征在于，包括以下步骤：S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；S3：通过卷积网络对S2中的训练样本进行学习，具体步骤为：S31：读取训练样本中人脸图像和对应的关键点位置，每幅输入的人脸图归一化为3通道，高度为224像素，宽度为224像素；S32：读取的人脸图像采用卷积神经网络提取特征，经过卷积、BN和relu激活，并结合最大池化层进行下采样，提取28×28×A的多通道特征图，A为特征图中通道数量；S33：提取的多通道特征图进行粗定位，粗定位时用不同大小的卷积核与多通道特征图进行卷积，并采用逐像素交叉熵损失函数对可见的人脸关键点进行监督，获得C张28×28的关键点热图，其中C表示可见的人脸关键点个数；所述逐像素交叉熵损失函数的表达式如下：其中N是可见的人脸关键点个数，代表的是第i个可见人脸关键点热图上像素点(x,y)处的像素真值；是对网络输出的第i个关键点热图上(x,y)处像素值先进行sigmoid激活之后的值；S34：将S33中粗定位获得的关键点热图和S32中提取的多通道特征图和按通道方向融合在一起，得到第一融合特征图，进行精定位；精定位时用不同大小的卷积核与第一融合特征图进行卷积，并采用关键点热度图上对应位置像素值的L2损失函数，对人脸关键点进行监督，获得K+1张28×28的关键点热图，其中K为所有可见与不可见的人脸关键点个数；所述L2损失函数的表达式如下：其中，是网络预测输出的第i张人脸关键点热度图，是第i张根据人脸关键点真值生成的热度图，i∈[1,2,…,K]；是网络预测输出的背景区域热度图，是根据背景区域真值生成的热度图；(x,y)代表热度图上像素点的位置；S35：将S32中提取的多通道特征图和S34中精定位获得的关键点热图按通道方向融合在一起，得到第二融合特征图；首先通过一个point-wise卷积对第二融合特征图的通道信息进行融合，然后经过两个卷积和池化层，获得7×7的特征图，然后经过两个全连接层获得K个关键点2×K维的特征向量ΔS；将ΔS与S34中精定位获得的人脸关键点位置相加，与人脸关键...

【专利技术属性】
技术研发人员：吴思，王梁昊，李东晓，张明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33