基于面部区域规范化和可变形沙漏网络的面部关键点检测方法技术

本发明专利技术公开一种基于面部区域规范化和可变形沙漏网络的面部关键点检测方法，首先通过使用从卷积神经网络输出的变换参数，将具有不同姿势的人脸转换为规范状态；然后引入可变形残差块以增强自适应建模相关性的能力。

Facial key point detection method based on facial region normalization and deformable hourglass network

The invention discloses a face key point detection method based on the face area normalization and the deformable hourglass network. Firstly, by using the transformation parameters output from the convolution neural network, the face with different postures is converted to the normal state; then, the deformable residual block is introduced to enhance the ability of adaptive modeling correlation.

【技术实现步骤摘要】
基于面部区域规范化和可变形沙漏网络的面部关键点检测方法
本专利技术涉及人脸检测技术，具体涉及一种基于面部区域规范化和可变形沙漏网络的面部关键点检测方法。
技术介绍
面部关键点检测，也称为人脸对齐，旨在定位一组预定义的面部关键点。这是许多面向人脸的视觉任务的关键步骤，如人脸识别[1]，人脸动画模拟[2]，表情识别[3]和三维人脸重建[4]。虽然近十年来已经取得了重大进展，但由于面部外观变化复杂，例如大角度姿态，极端光照，夸张表情和部分遮挡，实现鲁棒的面部对齐依然具有挑战性。凭借着对局部特征的强大表示，堆叠沙漏网络[5]极大地提升了关键点检测任务的性能，如人脸对齐，人体姿态估计和手部姿态估计等。虽然现有方法取得了较好的效果，但由于基于热图回归的网络将每个关键点的预测视为一项独立任务，且传统卷积核的感受野有限，因此沙漏模型及其变体难以学习脸部外观的整体结构。通常这些方法易于在遮挡场景中预测不合理的面部形状。作为面部关键点检测的先前步骤，面部检测目的在于获得适当的面部区域。然而，在一些不受控的情况下，例如严重遮挡或低图像质量，面部检测器性能有限通常不能提供最适合的面部区域。不准确的面部区域会降低关键点检测的性能。相反，具有规范的姿态和尺度的人脸图像对关键点检测是有利的。因此，面部区域规范化步骤，旨在消除尺度、旋转和平移差异，在面部关键点检测任务中起重要作用。规范化步骤可以显著减少回归坐标的难度。常规方法通常基于仿射变换实现面部区域规范化。首先检测几个基准关键点，然后基于检测到的关键点和平均形状的关键点，通过普氏分析计算仿射变换的参数。由于仍然需要检测关键点，这些方法具有和许多面部对齐算法类似缺点，即遮挡敏感，并且不能基于预测错误的关键点执行准确的仿射变换。
技术实现思路
专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于面部区域规范化和可变形沙漏网络的面部关键点检测方法。技术方案：本专利技术一种基于面部区域规范化和可变形沙漏网络的面部关键点检测方法，包括以下步骤(1)面部区域规范化网络，即通过卷积神经网络一次性直接输出仿射变换参数，然后增加由关键点指导的损失函数；通过仿射变换参数对输入的人脸图像执行仿射变换得到摆正姿态的人脸图像；网络结构依次包括第一卷积层、四个残差块、第二卷积层和全连接层；通过该网络学习从面部图像到仿射变换参数的映射；其中所得仿射映射包含一个代表旋转、平移和缩放的6个参数；(2)在沙漏网络中增加可变形残差块得到可变形沙漏网络，然后通过可变形沙漏网络对步骤(1)预处理后的人脸图像进行关键点检测；沙漏网络具有多层次结构，逐层地从输入图像提取更抽象的高级语义特征，最终在网络末端输出n个热图，且n对应关键点的数量，每个热图中响应值最高的像素位置即代表所预测的对应关键点的位置。进一步的，步骤(1)中网络结构具体如下：第一卷积层为步长为2且填充为1的3×3卷积层，第二卷积层为步长为1且填充为0的3×3卷积层，全连接层中包括有256个隐藏单元；如表1所示。表1本专利技术中简化的面部区域规范化网络的体系结构层输入形状大小输出形状大小Conv196*96*348*48*16RB148*48*1624*24*32RB224*24*3212*12*64RB312*12*646*6*128RB46*6*1283*3*256Conv23*3*2561*1*256FC1*1*2561*1*6其中，“Conv”表示卷积层，“RB”表示残差块，“FC”表示全连接层。进一步的，步骤(1)中的仿射变换过程可以表示为：其中，是网络学习到的一个2×3矩阵对应的二维仿射变换参数形式；α是尺度因子，θ是旋转角度，(tx,ty)是平移向量；(xo,yo)和(xt,yt)分别是图像的原始坐标和变换坐标，并采用损失函数如下：其中Θ是预测参数，Xsrc和Xdst分别是输入图像和变换图像中关键点的真值坐标；T(Θ,Xsrc)表示使用预测参数的输入图像的仿射变换。进一步的，步骤(2)中可变形残差块为：xn+1＝H(xn)+F(xn,Wn).其中xn+1和xn是第n个残差块的输出和输入特征图，H(xn)是等值映射，Wn是卷积核的权重；F由批量归一化，整流线性单元，两个1×1卷积层和3×3卷积层组成。可变形沙漏网络的具体架构为：依次包括两个卷积层、可变形残差块、两个卷积层、沙漏模块、两个卷积层。有益效果：本专利技术首先通过使用从卷积神经网络输出的变换参数，将具有不同姿势的人脸转换为规范状态；然后引入可变形残差块以增强自适应建模相关性的能力。与现有技术相比，本专利技术具有以下优点：(1)通过使用卷积神经网络直接输出变换参数，简化了通过使用预测关键点和平均形状进行普氏分析来规范化面部区域的传统过程；由此具有不同姿态的人脸可以被转换为规范状态，这对于之后的面部关键点检测有利。(2)通过可变形残差块替换沙漏模型中的传统残差块，得到可变形沙漏网络；与原始沙漏模型相比，可变形沙漏网络得到了较大的性能提升，仅增加较小的计算成本，具有几乎相同的参数量。附图说明图1为现有面部规范方法和本专利技术简化面部规范方法的流程对比图；图2为现有面部规范方法和本专利技术简化面部规范方法的输出图像对比图；图3为本专利技术中可变形残差块与原始残差块的比较示意图；图4为实施例中在300W数据集上的输出结果；图5为实施例中在WFLW数据集上的输出结果；图6为实施例中标准卷积和可变形卷积示意图；图7为实施例中一个3×3可变形卷积的处理过程示意图。具体实施方式下面对本专利技术技术方案进行详细说明，但是本专利技术的保护范围不局限于所述实施例。本专利技术一种基于面部区域规范化和可变形沙漏网络的面部关键点检测方法，包括以下步骤：(1)面部区域规范化网络，即通过卷积神经网络一次性直接输出仿射变换参数；网络结构依次包括第一卷积层、四个残差块、第二卷积层和全连接层；通过该网络学习从面部图像到仿射变换参数的映射；网络结构具体如下：第一卷积为层步长为2且填充为1的3×3卷积层，第二卷积层为步长为1且填充为0的为3×3卷积层；全连接层中包括有256个隐藏单元。数学上，仿射变换参数为：其中α是尺度因子，θ是旋转角度，(tx,ty)是平移向量。仿射变换过程表示为：并采用关键点指导的损失函数如下：其中Θ是预测的仿射变换参数，Xsrc和Xdst分别是输入图像和变换图像中关键点的真值坐标；T(Θ,Xsrc)表本文档来自技高网...

【技术保护点】
1.一种基于面部区域规范化和可变形沙漏网络的面部关键点检测方法，其特征在于：包括以下步骤/n(1)面部区域规范化网络，即通过卷积神经网络一次性直接输出仿射变换参数，然后增加由关键点指导的损失函数；通过仿射变换参数对输入的人脸图像执行仿射变换得到摆正姿态的人脸图像；/n卷积神经网络结构依次包括第一卷积层、四个残差块、第二卷积层和全连接层；通过该网络学习从面部图像到仿射变换参数的映射；/n(2)在沙漏网络中增加可变形残差块得到可变形沙漏网络，然后通过可变形沙漏网络对步骤(1)预处理后的人脸图像进行关键点检测；沙漏网络具有多层次结构，逐层地从输入图像提取更抽象的高级语义特征，最终在网络末端输出n个热图，且n对应关键点的数量，每个热图响应值最高的像素位置即代表所预测的对应关键点的位置。/n

【技术特征摘要】
1.一种基于面部区域规范化和可变形沙漏网络的面部关键点检测方法，其特征在于：包括以下步骤
(1)面部区域规范化网络，即通过卷积神经网络一次性直接输出仿射变换参数，然后增加由关键点指导的损失函数；通过仿射变换参数对输入的人脸图像执行仿射变换得到摆正姿态的人脸图像；
卷积神经网络结构依次包括第一卷积层、四个残差块、第二卷积层和全连接层；通过该网络学习从面部图像到仿射变换参数的映射；
(2)在沙漏网络中增加可变形残差块得到可变形沙漏网络，然后通过可变形沙漏网络对步骤(1)预处理后的人脸图像进行关键点检测；沙漏网络具有多层次结构，逐层地从输入图像提取更抽象的高级语义特征，最终在网络末端输出n个热图，且n对应关键点的数量，每个热图响应值最高的像素位置即代表所预测的对应关键点的位置。


2.根据权利要求1所述的基于面部区域规范化和可变形沙漏网络的面部关键点检测方法，其特征在于：步骤(1)中的网络结构具体如下：
第一卷积层为步长为2且填充为1的3×3卷积层，第二卷积层为步长为1且填充为0的3×3卷积层，全连接层中包括有256个隐藏单元。


3.根据权利要求1所述的基于面部区域规范化和可变形沙...

【专利技术属性】
技术研发人员：王华彬，程睿，戴瑞，兰江浩，钱鹏方，李鑫，李诚，吴云志，陶亮，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34