一种基于深度学习的人脸关键点定位方法技术

基于深度学习的人脸关键点定位方法包括：采用普通卷积层外加堆叠数个Mobilenet V2 block构建骨干网络模型以实现模型轻量化；在‑30°至+30°内每隔3度对采集到的原始人脸图像训练数据进行一次旋转，再进行一次水平翻转，得到扩充后的人脸图像训练数据；对扩充后人脸图像训练数据灰度转换以获得人脸灰度图像训练数据；将人脸灰度图像训练数据、每个人脸关键点对应损失权重及标注人脸关键点代入模型中进行训练，在训练过程中，基于模型训练出的各个人脸关键点与对应标注的人脸关键点计算误差值，基于误差值设定阈值，将人脸灰度图像训练数据对应的值与阈值进行比较，若低于则丢弃该人脸灰度图像训练数据，否则保留。

【技术实现步骤摘要】
一种基于深度学习的人脸关键点定位方法
本专利技术涉及人脸识别
，特别是涉及一种基于深度学习的人脸关键点定位方法。
技术介绍
人脸关键点定位是人脸识别领域的一个重要研究方向，用于人脸姿态估计，配合式活体检测。目前人脸关键点定位算法为了实现较高的定位精度，通常采用复杂的网络结构，或在训练数据中引入额外的人工标注辅助训练，或采用辅助算法进行训练数据增强。这就导致了相关算法实施过程投入较大，同时所得到的算法模型亦较为臃肿，无法在移动端等对轻量化要求较为苛刻的场景中使用。另一方面，训练数据中的标注误差也导致了模型精度的提升空间。
技术实现思路
本专利技术针对现有技术存在的问题和不足，提供一种基于深度学习的人脸关键点定位方法。本专利技术是通过下述技术方案来解决上述技术问题的：本专利技术提供一种基于深度学习的人脸关键点定位方法，其特点在于，其包括以下步骤：构建骨干网络模型：采用普通卷积层外加堆叠数个MobilenetV2block构建骨干网络模型以实现模型轻量化，并在骨干网络模型中采用高阶特征结合低阶特征的方式进行人脸关键点位置训练和预测；增强离线数据：在-30°至+30°内每隔3度对采集到的原始人脸图像训练数据进行一次旋转，再进行一次水平翻转，从而得到扩充后的人脸图像训练数据；增强灰度：对扩充后的人脸图像训练数据进行灰度转换以获得人脸灰度图像训练数据；模型训练过程中考虑标注误差的训练损失和丢弃部分简单样本：对每个人脸关键点产生的损失设置不同的损失权重，将人脸灰度图像训练数据、每个人脸关键点对应的损失权重以及人脸灰度图像对应的标注人脸关键点代入骨干网络模型中进行训练，在训练过程中，基于骨干网络模型训练出的各个人脸关键点与对应标注的人脸关键点计算出误差值，基于误差值设定阈值，将人脸灰度图像训练数据对应的值与阈值进行比较，若低于则丢弃该人脸灰度图像训练数据，否则保留该人脸灰度图像训练数据进行模型训练。较佳地，构建骨干网络模型：骨干网络模型依次包括普通卷积层和4个MobilenetV2Block，在骨干网络模型的尾部，通过长宽为7的卷积核将特征图处理成1×1的高阶特征值，将最后一层MobilenetV2Block和卷积核特征图进行全局平均池化，分别得到相应低阶且维度为1×1的特征值，并与高阶特征值进行拼接，然后由一层全连接层进行人脸68个关键点的位置训练和预测。较佳地，增强离线数据：在-30°至+30°内每隔3度对原始人脸图像训练数据进行一次旋转，每次旋转得到旋转之后的landmark、以及该次旋转所对应的旋转矩阵M，由landmark计算面部区域face_gt，使用旋转矩阵M对原始人脸图像进行仿射变换，得到变换后的图像ImgT，使用人脸检测算法，从图像ImgT中检测人脸图像face_detect，使用人脸图像face_detect与面部区域face_gt的IOU值来判定所检测的人脸图像face_detect是否是所需要的人脸图像，在满足IOU值条件之后，使用人脸图像face_detect的图像边界对landmark进行归一化，以便算法更快收敛。较佳地，对所得到的人脸图像face_detect以及归一化的landmark做水平翻转进行数据增强，并将翻转前后的人脸图像和landmark分别存储，以备模型训练调用。较佳地，增强灰度：步骤S21、将扩充后的人脸图像训练数据转换至灰度空间，以获取训练图像的灰度图；步骤S22、对步骤S21所得到的灰度图进行亮度增强，对灰度图的每个像素值乘以大于1的增强系数，之后在0～255范围内对灰度图各像素值进行截断；步骤S23、使用步骤S22所获得的经过亮度增强的灰度图进行训练，得到图像算法模型，该图像算法模型在生产环境上线后，进行人脸关键点预测时，先将图像转换至灰度空间，并进行亮度增强，但是此时使用的增强系数应小于训练时所使用的增强系数。较佳地，步骤S1、计算人脸面部各关键点所产生的推理损失：式(1)中，N为人脸面部关键点数量，lm为人脸灰度图像训练数据中一个分组batch中第m个样本的损失，pn为神经网络推断出的第n个关键点的坐标，为经过数据增强处理的标注点坐标，二者的L2距离即为推理误差，wn为加权系数，不同位置面部关键点设置不同的加权系数，按照公式(1)计算出一个分组batch中各样本所产生的损失；步骤S2、计算简单样本和困难样本划分阈值；式(2)中，M为分组batch大小，α为调节系数，公式首先计算整个batch所产生的损失均值，将该均值乘以α得到划分阈值thod，低于该阈值为简单样本，高于该阈值为困难样本，α越小，则简单样本数量越少；步骤S3、使用threshVal筛选剔除简单样本；式(3)中，maskm为样本难易程度标识，0：简单样本，1：困难样本，若该样本为简单样本，则忽略该样本，使用所有困难样本，组成新分组batch2；步骤S4、计算新分组batch2的样本数量；式(4)中，BS即为batch2的样本数量；步骤S5、计算batch2的平均损失，以进行反向传播；式(5)中，L即为该次训练batch反向传播所使用的平均损失。在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本专利技术各较佳实例。本专利技术的积极进步效果在于：本专利技术轻量化的设计，进一步降低了模型的大小与计算量，更适用于移动端的应用场景。模型对人脸关键点定位的准确度也大幅提升，完全满足移动端进行人脸姿态估计，以及配合式活体检测的需求。在实际应用的过程中，对光线强度引起的干扰具有较高的鲁棒性。附图说明图1为本专利技术实施例的骨干网络结构图。图2为本专利技术实施例的离线数据增强流程图。图3为本专利技术实施例的灰度增强处理流程图。图4为本专利技术实施例的样本损失处理流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本实施例提供一种基于深度学习的人脸关键点定位方法，其包括：1、构建骨干网络模型：采用普通卷积层外加堆叠数个MobilenetV2block构建骨干网络模型以实现模型轻量化，并在骨干网络模型中采用高阶特征结合低阶特征的方式进行人脸关键点位置训练和预测。具体地，如图1所示，骨干网络模型依次包括普通卷积层(Conv3*3)和4个MobilenetV2Block，在骨干网络模型的尾部，通过长宽为7的卷积核(Conv3*3)将特征图处理成1×1的高阶特征值(Conv7*7)，便于与低阶特征进行融合。将最后一层MobilenetV2Block(Block14*14)和卷积核(C本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸关键点定位方法，其特征在于，其包括以下步骤：/n构建骨干网络模型：采用普通卷积层外加堆叠数个Mobilenet V2 block构建骨干网络模型以实现模型轻量化，并在骨干网络模型中采用高阶特征结合低阶特征的方式进行人脸关键点位置训练和预测；/n增强离线数据：在-30°至+30°内每隔3度对采集到的原始人脸图像训练数据进行一次旋转，再进行一次水平翻转，从而得到扩充后的人脸图像训练数据；/n增强灰度：对扩充后的人脸图像训练数据进行灰度转换以获得人脸灰度图像训练数据；/n模型训练过程中考虑标注误差的训练损失和丢弃部分简单样本：对每个人脸关键点产生的损失设置不同的损失权重，将人脸灰度图像训练数据、每个人脸关键点对应的损失权重以及人脸灰度图像对应的标注人脸关键点代入骨干网络模型中进行训练，在训练过程中，基于骨干网络模型训练出的各个人脸关键点与对应标注的人脸关键点计算出误差值，基于误差值设定阈值，将人脸灰度图像训练数据对应的值与阈值进行比较，若低于则丢弃该人脸灰度图像训练数据，否则保留该人脸灰度图像训练数据进行模型训练。/n

【技术特征摘要】
1.一种基于深度学习的人脸关键点定位方法，其特征在于，其包括以下步骤：
构建骨干网络模型：采用普通卷积层外加堆叠数个MobilenetV2block构建骨干网络模型以实现模型轻量化，并在骨干网络模型中采用高阶特征结合低阶特征的方式进行人脸关键点位置训练和预测；
增强离线数据：在-30°至+30°内每隔3度对采集到的原始人脸图像训练数据进行一次旋转，再进行一次水平翻转，从而得到扩充后的人脸图像训练数据；
增强灰度：对扩充后的人脸图像训练数据进行灰度转换以获得人脸灰度图像训练数据；
模型训练过程中考虑标注误差的训练损失和丢弃部分简单样本：对每个人脸关键点产生的损失设置不同的损失权重，将人脸灰度图像训练数据、每个人脸关键点对应的损失权重以及人脸灰度图像对应的标注人脸关键点代入骨干网络模型中进行训练，在训练过程中，基于骨干网络模型训练出的各个人脸关键点与对应标注的人脸关键点计算出误差值，基于误差值设定阈值，将人脸灰度图像训练数据对应的值与阈值进行比较，若低于则丢弃该人脸灰度图像训练数据，否则保留该人脸灰度图像训练数据进行模型训练。


2.如权利要求1所述的基于深度学习的人脸关键点定位方法，其特征在于，构建骨干网络模型：骨干网络模型依次包括普通卷积层和4个MobilenetV2Block，在骨干网络模型的尾部，通过长宽为7的卷积核将特征图处理成1×1的高阶特征值，将最后一层MobilenetV2Block和卷积核特征图进行全局平均池化，分别得到相应低阶且维度为1×1的特征值，并与高阶特征值进行拼接，然后由一层全连接层进行人脸68个关键点的位置训练和预测。


3.如权利要求1所述的基于深度学习的人脸关键点定位方法，其特征在于，增强离线数据：在-30°至+30°内每隔3度对原始人脸图像训练数据进行一次旋转，每次旋转得到旋转之后的landmark、以及该次旋转所对应的旋转矩阵M，由landmark计算面部区域face_gt，使用旋转矩阵M对原始人脸图像进行仿射变换，得到变换后的图像ImgT，使用人脸检测算法，从图像ImgT中检测人脸图像face_detect，使用人脸图像face_detect与面部区域face_gt的IOU值来判定所检测的人脸图像face_detect是否是所需要的人脸图像，在满足IOU值条件之后，使用人脸图像face_detect的图像边界对landmark进行归一化，以便算法更快收敛。
<...

【专利技术属性】
技术研发人员：林三吉，刘清平，陈丰生，
申请(专利权)人：海纳致远数字科技上海有限公司，
类型：发明
国别省市：上海;31