针对边缘设备的多任务神经网络人脸关键点检测方法技术

本发明专利技术涉及深度学习、人脸识别和人脸关键点检测领域，为提出一种针对边缘设备的多任务神经网络人脸关键点检测方法，用以实现移动设备上人脸关键点标定及人脸准确识别。为此，本发明专利技术采取的技术方案是，针对边缘设备的多任务神经网络人脸关键点检测方法，需要检测的人脸图像输入卷积神经网络，由卷积神经网络输出检测到的人脸关键点坐标；定义所述卷积神经网络损失函数。本发明专利技术主要应用于人脸识别和人脸关键点检测场合。

【技术实现步骤摘要】
针对边缘设备的多任务神经网络人脸关键点检测方法
本专利技术涉及深度学习、人脸识别和人脸关键点检测领域，具体涉及针对边缘设备的多任务神经网络人脸关键点检测方法。
技术介绍
人脸关键点检测，也称为人脸标定或者人脸对齐，旨在自动定位人脸上一组预定义的基准点(例如，眼角、鼻尖、嘴角等)。作为人脸识别[1，2]、人脸验证[3]、人脸变形[4]和人脸编辑[5]等各种人脸应用的基本组成部分，这个问题一直受到计算机视觉相关领域的关注，并在过去几年里取得了很大的进展。然而受限于检测精度、处理速度和模型尺寸等因素，开发一个实用的人脸关键点检测技术仍然具有挑战性。技术的难点在于在现实场景中很难获取到质量非常高的人脸，也就是说，自然环境中的人脸状态是不受控制和不受约束的。在不同的光照条件下，它的姿态、表情和形状都有很大的变化，有时会出现局部遮挡，如图一所示。因此人脸标定检测中面临的挑战主要包括以下四种：1.局部变化：人脸图像会受到面部表情、局部极端光照(如高光和阴影)和遮挡等带来局部干扰，从而导致一些关键点可能无法显示或者位置异常。2.全局变化：姿态和图像质量是两个关键的因素，会对图像中的人脸外观带来全局的影响，当人脸的全局结构被错误估计时，将导致大部分关键点的定位不准确。3.数据不平衡：目前可以用于训练的数据集在人脸类别以及属性间的分布不均等现象是十分常见的。不平衡很可能使算法或者模型无法正确表示数据的特征，从而降低检测的准确性。4.模型效率：模型大小和计算性能也同样限制了算法的实用性。由于手机或其他嵌入式设备计算性能和内存资源的限制，必须要求检测算法的复杂度低、处理速度快。近年来，人脸关键点定位研究受到了广泛关注，并诞生了许多经典的算法。一类是基于参数化模型的方法，此类方法的核心是首先建立人脸形状模型，以较低维度的参数描述人脸特征点，然后建立人脸外观模型，依据重建的人脸外观与模型的匹配程度来更新特征点的位置。其中以Cootes等[6]提出的主动外观模型(AAMs)和约束局部模型(CLMs)为代表，通过最大化人脸位置信息以充分利用人脸的特性。主动外观模型及其后续研究[7,8,9]试图联合建模整体外观和形状，而CLMs和相关算法[10,11]则通过施加各种形状约束来学习局部信息。此外，树形结构部件模型(TSPM)[12]利用基于可变形部件的模型同时进行检测、姿势估计和关键点定位。另外一类方法是扩展形状回归法(ESR)[13]和监督下降法(SDM)[14]等，试图用一种回归的方式来解决这个问题。这些方法的主要局限性是对复杂场景检测的鲁棒性差、计算量大或模型复杂度高。深度学习(DeepLearning)是机器学习领域中一个新的研究方向，使用多层神经网络进行研究。其中卷积神经网络(CNN)就是一种深度学习模型，广泛应用于图像和音频信号处理，在近几年的人脸关键点检测中已经取得了较好的效果。Zhang等人[15]建立了一个多任务学习网络(TCDCN)，用于联合学习关键点位置和姿势属性。但由于TCDCN的多任务特性，在实际应用中很难进行训练。Trigeorgis等人[16]提出了一个从粗到细的端到端的递归卷积模型(MDM)。Lv等人[17]提出了一种基于两阶段重初始化的深度回归结构(TSR)，它将一个人脸分割成若干部分，以提高检测精度。方法[18]使用姿态角，包括偏航角、俯仰角和滚转角作为属性，构建了一个网络，直接估计这三个角度，以帮助关键点检测，但是其复杂的特性使得它在关键点检测中不太理想。Jourabloo等人提出的姿态不变人脸对齐算法(PIFA)[19]，通过深层级联回归量来估计三维到二维的投影矩阵。算法[20]首先在Z缓冲区中建立脸部深度的模型，然后拟合二维图像的三维模型。最近，Kumar和Chellapa设计了一种单一的树形CNN，命名为姿势条件树状卷积神经网络(PCD-CNN)[21]，它在分类网络的基础上结合了模块化分类网络，以提高检测精度。Honari等人[22]设计了序列多任务(SeqMT)网络，使用等变标定变换(ELT)作为其损失项。方法[23]提出了一种基于从粗到细的回归树集合(ERT)的人脸标定的回归方法。为了使人脸关键点检测方法对图像风格的内在变化具有鲁棒性，Dong等人[24]开发了一种风格聚合网络(SAN)，它将原始人脸图像与风格聚合图像相结合，以训练关键点检测器。Wu等人[25]提出了一种基于边界的人脸对齐算法(LAB)，该算法将边界信息看作人脸的几何结构从而提高检测精度，LAB从边界线提取面部关键点，在很大程度上可以避免人脸关键点定义的模糊性。虽然目前深度学习算法已经取得了长足的进步，但是仍然存在很多不足，特别是在实际应用中，针对检测算法的准确性、效率和简洁性还有很大的改进空间[28]。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种针对边缘设备的多任务神经网络人脸关键点检测方法，用以实现移动设备上人脸关键点标定及人脸准确识别。为此，本专利技术采取的技术方案是，针对边缘设备的多任务神经网络人脸关键点检测方法，需要检测的人脸图像输入卷积神经网络，由卷积神经网络输出检测到的人脸关键点坐标；所述卷积神经网络损失函数如下：其中表示的是第m个输入对应的第n个关键点的距离；N表示每张人脸预设的需要检测的关键点数目；M表示训练图片集的样本总数；θ1、θ2和θ3分别表示偏航角、俯仰角和滚转角的真实值与预测值之间的偏差值，K＝1，2，3；C表示不同的类别的人脸，包括正脸、侧脸、抬头、低头、表情以及遮挡情况；权重根据样本类别分数进行调整，采用分类的倒数作为权重。所述卷积神经网络基于MobileNet卷积神经网络。对训练数据进行数据增强处理，具体步骤是：1)对每张人脸图片进行翻转，在-30°～30°之前每隔5°进行一次旋转；2)在每张图片上随机遮挡人脸区域的20％。训练所述卷积神经网络的过程中引入一个子网络，用以监督模型的训练，所述子网络仅用于训练阶段，输入为所述卷积神经网络第四层的输出，输出为偏航、俯仰和翻滚三个欧拉角度，用于计算损失函数。本专利技术的特点及有益效果是：1.本专利技术中的网络的设计非常轻量级，可以支持多任务，在输入人脸图像后能够同时得到关键点跟人脸角度。2.本专利技术中的模型尺寸非常小，节省了内存空间，非常适合在手机等移动平台运行，运行速度快，移动平台中的帧率可以达到140fps。3.本专利技术针对几何约束和数据不平衡问题，设计了一种新的损失函数，从而解决了几何约束和数据不平衡问题。4.本专利技术为了扩大感受野并更好地捕捉人脸的全局结构，设计了一种多尺度全连接层用于精确定位人脸图像中的关键点。5.本专利技术项相较于其他人脸关键点检测算法，在三维姿态估计和二维距离测量之间使用了耦合的方式；网络结构简单直观，易于进行前向计算和反向传播；以单阶段网络结构而不是用级联的形式，这提高了方法的计算效率和性能。6.本专利技术中的算法在无约束姿态、表情、光照以及遮挡等各种复杂情况下准确度都很高。我们在30本文档来自技高网...

【技术保护点】
1.一种针对边缘设备的多任务神经网络人脸关键点检测方法，其特征是，需要检测的人脸图像输入卷积神经网络，由卷积神经网络输出检测到的人脸关键点坐标；所述卷积神经网络损失函数如下：/n

【技术特征摘要】
1.一种针对边缘设备的多任务神经网络人脸关键点检测方法，其特征是，需要检测的人脸图像输入卷积神经网络，由卷积神经网络输出检测到的人脸关键点坐标；所述卷积神经网络损失函数如下：



其中表示的是第m个输入对应的第n个关键点的距离；N表示每张人脸预设的需要检测的关键点数目；M表示训练图片集的样本总数；θ1、θ2和θ3分别表示偏航角、俯仰角和滚转角的真实值与预测值之间的偏差值，K＝1，2，3；C表示不同的类别的人脸，包括正脸、侧脸、抬头、低头、表情以及遮挡情况；权重根据样本类别分数进行调整，采用分类的倒数作为权重。


2.如权利要求...

【专利技术属性】
技术研发人员：李思远，王丰，
申请(专利权)人：北京智云视图科技有限公司，
类型：发明
国别省市：北京;11