人脸关键点定位方法及装置制造方法及图纸

本发明专利技术公开了一种人脸关键点定位方法及装置。该方法包括：通过多任务卷积神经网络进行粗定位，确定人脸关键点大体位置；然后在关键点周围提取局部区域，通过全局级联卷积神经网络把关键点周围提取局部区域融合到一起，进行级联定位；最后在针对每个关键点单独训练卷积神经网络进行精细定位。本发明专利技术所用神经网络总体数目较少，定位效果相对较好。

Method and device for positioning key points of human face

The invention discloses a method and a device for positioning a key point of a human face. The method comprises the following steps: coarse positioning by multi task convolutional neural network, determine the face key point location; then extract the key point in the local area around the global concatenated convolutional neural network to extract key points around the local area together, a cascade of positioning; finally aiming at the key points of each convolution neural network to train alone fine mapping. The total number of neural networks used in the invention is less, and the positioning effect is relatively good.

【技术实现步骤摘要】

本专利技术涉及数字图像处理，计算机视觉等
，具体涉及一种基于全局卷积神经网络人脸关键点定位方法及装置。
技术介绍
关键点定位(检测)在计算机视觉中是一个重要的问题，指的是定位人脸中有语义结构信息的一些关键部位，如眼睛，鼻子和嘴巴等，是有监督人脸对齐中的一个重要的步骤。关键点定位也有很多实际的应用，比如说人脸识别、人脸表情分析、人机交互应用等。由于头部姿态、人脸表情以及光照的变化，关键点定位依然是一个十分有挑战性的问题。传统的基于卷积神经网络的关键点检测算法先用一个整体神经网络定位关键点，之后把每个关键点单独隔离出来定位。虽然传统的方法定位精度较高，但是忽略了人脸形状的全局信息，对光照变化、遮挡等不够鲁棒，时间复杂度偏高，很难应用在大规模场景下的精准关键点定位。
技术实现思路
为了解决现有技术不足，本专利技术的目的是提供一种基于全局卷积神经网络的关键点定位方法，该方法利用了人脸整体形状信息，把关键点之间位置顺序关系作为约束，加入到卷积神经网络之中，提高了关键点定位的鲁棒性。另外，为了克服大姿态对于人脸定位影响，本专利技术在第一阶段用多任务卷积神经网络定位关键点，同时考虑姿态估计和关键点定位，提升了在大姿态场景下的关键点定位精度。最后在每个关键点周围提取局部区域，训练精细关键点定位模型。综上所述，相比其他方法，本专利技术用三阶段卷积神经网络进行关键点定位，对于姿态、遮挡和光照等比较鲁棒，可以更加精准的定位人脸关键点。根据本专利技术一方面，提供了一种人脸关键点定位方法，包括如下步骤：将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值；将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像；将所述第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。其中，所述第一阶段多任务关键点定位模型通过如下方式训练得到：获取包括人脸图像样本的训练样本集，在人脸图像样本中标定人脸关键点位置和头部姿态信息；通过人脸检测器获取人脸图像样本中的人脸目标区域，把人脸目标区域缩放到第一指定分辨率，并更新标定的人脸关键点位置；构建第一阶段多任务深度卷积神经网络；将人脸图像样本的人脸目标区域作为输入图像输入至第一阶段多任务深度卷积神经网络进行训练，得到第一阶段关键点定位模型。其中，训练所述第一阶段多任务深度卷积神经网络的目标函数如下表示：J＝Jr(Sg，f(I；Wr))+Jl(Pg，f(I；Wl))其中，Jr表示人脸关键点定位的损失函数，Jl表示头部姿态信息估计的损失函数，Sg，Pg分别表示输入图像中标定的人脸关键点位置和头部姿态信息，I为输入图像，f(·)是第一阶段多任务深度卷积神经网络的非线性映射函数，Wr、Wl分别表示基于回归和基于分类的映射矩阵；其中，Jr用回归形式的平方误差损失函数表示如下：其中，N表示输入图像的个数，是第i个输入图像中标定的人脸关键点位置，表示第一阶段多任务深度卷积神经网络中第T层的输入，为所述第一阶段多任务深度卷积神经网络中第T层的映射函数，为第一阶段多任务深度卷积神经网络中第T层的回归映射矩阵；其中，Jl用分类形式的交叉熵损失函数表示如下：其中，K为头部姿态信息的类别数目，表示第i个输入图像中标定的头部姿态信息；表示第i个输入图像被分为第k类头部姿态信息的概率，为预测的第i个输入图像的头部姿态信息。其中，所述如下表示：其中，是第k类头部姿态信息的映射矩阵，是第j类头部姿态信息的映射矩阵，其中，所述第二阶段关键点校准模型如下训练得到：获取包括人脸图像样本的训练样本集，以及利用第一阶段多任务关键点定位模型定位得到的所述人脸图像样本的初始人脸关键点位置；将所述人脸图像样本中的人脸目标区域缩放到第二指定分辨率，并更新所述初始人脸关键点位置；以更新后的所述初始人脸关键点位置为中心，提取周边预定范围内的局部区域图像；构建第二阶段全局卷积神经网络；所述第二阶段全局卷积神经网络包括多个子神经网络和一个全连接层，所述多个子神经网络中的每一个对应不同的人脸关键点，所述全连接层用于连接所述多个子神经网络；将所提取每个人脸关键点的局部区域图像作为输入图像分别输入至第二阶段全局卷积神经网络中对应的子神经网络进行训练，得到第二阶段全局关键点定位模型。其中，所述第二阶段全局卷积神经网络的目标函数如下表示：J＝Jr2(ΔSg，f2(Ip；Wr))其中，Jr2表示关键点定位的损失函数，ΔS＝Sg-S0表示标定的人脸关键点位置和更新后的所述初始人脸关键点位置的差值，S0是更新后的所述初始人脸关键点位置，Ip表示输入图像，f2(·)是第二阶段全局卷积神经网络的非线性映射函数。其中，所述第三阶段关键点检测模型如下训练得到：获取包括人脸图像样本的训练样本集，以及利用第二阶段关键点校准模型定位得到的所述人脸图像样本的校准人脸关键点位置；将所述人脸图像样本中的人脸目标区域缩放到第三指定分辨率，并更新所述校准人脸关键点位置；以更新后的所述校准人脸关键点位置为中心，提取周边预定范围内的局部区域图像；根据所述提取的局部区域图像训练得到关键点检测模型，其中，根据不同人脸关键点对应的局部区域训练得到不同的关键点检测模型。根据本专利技术第二方面，提供了一种人脸关键点定位装置，包括：第一缩放模块，用于将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；初始定位模块，用于将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值；第二缩放模块，用于将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；第一局部区域提取模块，用于以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像；校准模块，用于将所述第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；第三缩放模块，用于将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；第二局部区域提取模块，用于以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；最终定位模块，用于将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。其中，还包括训练模块，用于训练所述第二阶段关键点校准模型，包括：第一获取子模块，用于获取包括人脸图像样本的训练样本集，以及利本文档来自技高网...

【技术保护点】
一种人脸关键点定位方法，其特征在于，包括如下步骤：将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值；将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像；将所述第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。

【技术特征摘要】
1.一种人脸关键点定位方法，其特征在于，包括如下步骤：将待检测人脸图像缩放到第一指定分辨率，形成第一缩放待检测人脸图像；将所述第一缩放待检测人脸图像输入至第一阶段多任务关键点定位模型中，得到第一关键点定位坐标和第一头部姿态估计值；将所述待检测人脸图像缩放到第二指定分辨率，得到第二缩放待检测人脸图像，所述第二指定分辨率大于第一指定分辨率；以缩放后的第二缩放待检测人脸图像中的第一关键点定位坐标为中心，提取周围第一预定大小的第一局部区域图像；将所述第一局部区域图像输入至第二阶段关键点校准模型中，得到第二关键点定位坐标；将所述待检测人脸图像缩放至第三指定分辨率，得到第三缩放待检测人脸图像，第三指定分辨率大于第二指定分辨率；以缩放后的第三缩放待检测人脸图像中的第二关键点定位坐标为中心，提取周围第二预定大小的第二局部区域图像；将所述第二局部区域图像输入至第三阶段关键点检测模型中，得到最终的关键点定位坐标；其中，不同关键点对应不同的所述第三阶段关键点检测模型。2.如权利要求1所述的方法，其特征在于，所述第一阶段多任务关键点定位模型通过如下方式训练得到：获取包括人脸图像样本的训练样本集，在人脸图像样本中标定人脸关键点位置和头部姿态信息；通过人脸检测器获取人脸图像样本中的人脸目标区域，把人脸目标区域缩放到第一指定分辨率，并更新标定的人脸关键点位置；构建第一阶段多任务深度卷积神经网络；将人脸图像样本的人脸目标区域作为输入图像输入至第一阶段多任务深度卷积神经网络进行训练，得到第一阶段关键点定位模型。3.如权利要求2所述的方法，其特征在于，训练所述第一阶段多任务深度卷积神经网络的目标函数如下表示：J＝Jr(Sg，f(I；Wr))+Jl(Pg，f(I；Wl))其中，Jr表示人脸关键点定位的损失函数，Jl表示头部姿态信息估计的损失函数，Sg，Pg分别表示输入图像中标定的人脸关键点位置和头部姿态信息，I为输入图像，f(·)是第一阶段多任务深度卷积神经网络的非线性映射函数，Wr、Wl分别表示基于回归和基于分类的映射矩阵；其中，Jr用回归形式的平方误差损失函数表示如下：Jr=Σi=1N||Sig-f(xiT-1;WrT)||22]]>其中，N表示输入图像的个数，是第i个输入图像中标定的人脸关键点位置，表示第一阶段多任务深度卷积神经网络中第T层的输入，为所述第一阶段多任务深度卷积神经网络中第T层的映射函数，为第一阶段多任务深度卷积神经网络中第T层的回归映射矩阵；其中，Jl用分类形式的交叉熵损失函数表示如下：Jl=-Σi=1NΣk=1KPiglog(p(yip|xiT-1;WlT))]]>其中，K为头部姿态信息的类别数目，Pig表示第i个输入图像中标定的头部姿态信息；表示第i个输入图像被分为第k类头部姿态信息的概率，为预测的第i个输入图像的头部姿态信息。4.如权利要求3所述的方法，其特征在于，所述如下表示：p(yip=k|xiT-1;WlT)=exp(WlTkxiT-1)Σj=1Kexp(WlTjxiT-1),(k=1,...,K)]]>其中，是第k类头部姿态信息的映射矩阵，是第j类头部姿态信息的映射矩阵，5.如权利要求1所述的方法，其特征在于，所述第二阶段关键点校准模型如下训练得到：获取包括人脸图像样本的训练样本集，以及利用第一阶段多任务关键点定位模型定位得到的所述人脸图像样本的初始人脸关键点位置；将所述人脸图像样本中的人脸目标区域缩放到第二指定分辨率，并更新所述初始人脸关键点位置；以更新后的所述初始人脸关键点位置为中心，提取周边预定范围内的局部区域图像；构建第二阶段全局卷积神经网络；所述第二阶段全局卷积神经网络包括多个子神经网络和一个全连接层，所述多个子神经网络中的每一个对应不同的人脸关键点，所述全连接层用于连接所述多个子神经网络；将所提取每个人脸关键点的局部区域图像作为输入图像分别输入至第二阶段全局卷积神经网络中对应的子神经网络进行训练，得到第二阶段全局关键点定位模型。6.如权利要求5所述的方法，其特征在于，所述第二阶段全局卷积神经网络的目标函数如下表示：J＝J...

【专利技术属性】
技术研发人员：孙哲南，赫然，谭铁牛，李琦，曹冬，宋凌霄，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11