一种基于多任务学习的轻量化鲁棒人脸对齐方法及系统技术方案

本发明专利技术涉及一种基于多任务学习的轻量化鲁棒人脸对齐方法及系统，其方法包括：S1：收集人脸图像，并对人脸图像进行平移、缩放和旋转的预处理，得到训练集；S2：获取训练集中人脸图像的人脸关键点L；使用姿态估计算法标注训练集中人脸图像的3D头部姿态欧拉角Θ，并将3D头部姿态欧拉角Θ转换为头部姿态旋转矩阵R

【技术实现步骤摘要】
一种基于多任务学习的轻量化鲁棒人脸对齐方法及系统


[0001]本专利技术涉及图像处理领域，具体涉及一种基于多任务学习的轻量化鲁棒人脸对齐方法及系统。

技术介绍

[0002]人脸对齐又称人脸关键点定位，其目的是从一张人脸图像中定位一组预定义的人脸关键标记点(分布于面部轮廓、左/右眼睛、左/右眉毛、鼻子和上/下嘴唇等区域)的精确位置。人脸对齐是人脸识别、表情分析、人脸特效和疲劳检测等任务的基础，旨在为后续任务提供更丰富的人脸信息，其检测准确度对后续任务起着至关重要的作用。但对大角度头部姿态、夸张表情和存在遮挡等极端情况的人脸实现对齐仍是极大的挑战。
[0003]目前人脸对齐方法主要分为机器学习方法和深度学习方法两大类。例如级联回归树等机器学习方法已具有较高的检测精度，且具有极高的计算效率，在嵌入式系统中被广泛应用。但这类方法过于依赖统计模型，对各种极端情况的人脸检测效果差，因而其应用局限于正视人脸识别等简单场景。
[0004]基于深度学习的方法主要使用卷积神经网络(CNN)模型，具体的检测方法可分为直接回归方法和热力图预测方法。直接回归方法在CNN后直接使用全连接层回归所有关键点在原图中的横纵坐标，计算效率高但对人脸的位置分布敏感；热力图预测方法使用特定的CNN结构输出高分辨率的特征图，再为每一个关键点单独预测其平面分布响应图，取响应最高的位置作为每个关键点的预测坐标，这种方法具有极高的检测精度，但高分辨率特征图的计算具有极高的内存和运算量的消耗，无法作为其他人脸任务的前置环节实现工程应用。
[0005]对于3D人脸特效和3D人脸重建等应用场景，使用人脸关键点检测或头部姿态估计作为前置环节能减少使用生成模型的计算开销。现有的方法常使用人脸关键点与一组预定义的3D关键点计算投影关系，以估计头部姿态，或使用独立的头部姿态检测算法单独获取人脸图像的头部姿态，人脸关键点检测和头部姿态估计作为两个步骤完成，忽略了两者具有的强关联性。因此，如何在单一模型实现人脸关键点对齐和头部姿态对齐成为一个亟待解决的问题。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提供一种基于多任务学习的轻量化鲁棒人脸对齐方法及系统。
[0007]本专利技术技术解决方案为：一种基于多任务学习的轻量化鲁棒人脸对齐方法，包括：
[0008]步骤S1：收集人脸图像，并对所述人脸图像进行平移、缩放和旋转的预处理，扩充样本，构建训练集；
[0009]步骤S2：标注所述训练集中人脸图像的人脸关键点L；使用姿态估计算法标注所述训练集中人脸图像的3D头部姿态欧拉角Θ，并将所述3D头部姿态欧拉角Θ转换为头部姿态
旋转矩阵R
Θ
；
[0010]步骤S3：将所述训练集输入人脸对齐网络，输出人脸关键点预测值P和头部姿态旋转矩阵的预测值R
Φ
，分别构建头部姿态损失函数、人脸关键点损失函数和总损失函数，用于训练所述人脸对齐网络。
[0011]本专利技术与现有技术相比，具有以下优点：
[0012]1、人脸关键点对齐和头部姿态对齐属于两个细分
，但实际应用中两者往往同时出现。头部姿态对齐方法通常独立于人脸关键点对齐方法，或依托于人脸关键点对齐方法的结果进行线性估计。本专利技术采用深度学习方法，以两者的线性关联作为基础，使用两个全连接层直接从同一模型的多尺度特征上对齐人脸关键点和头部姿态，增强了人脸对齐方法的实用性。
[0013]2、轻量化卷积网络模型的参数量远小于常规卷积网络，使其能够应用于嵌入式设备，但鲁棒性较差。本专利技术从多任务学习的角度出发，通过训练模型的头部姿态对齐，保证模型能够学习到潜在的面部整体特征，根据两个全连接层之间的非可逆线性约束辅助人脸关键点对齐的训练，由头部姿态引导面部关键点整体形变的一致性，保证模型在面部遮挡和大角度头部姿态情况下的人脸关键点对齐鲁棒性，提升了轻量级人脸对齐模型的可靠性。
附图说明
[0014]图1为本专利技术实施例中一种基于多任务学习的轻量化鲁棒人脸对齐方法的流程图；
[0015]图2为本专利技术实施例中人脸对齐网络结构示意图；
[0016]图3为本专利技术实施例中人脸关键点和头部姿态的检测结果示意图；
[0017]图4为本专利技术实施例中一种基于多任务学习的轻量化鲁棒人脸对齐系统的结构框图。
具体实施方式
[0018]本专利技术提供了一种基于多任务学习的轻量化鲁棒人脸对齐方法，使用轻量化模型同时对齐人脸关键点和头部姿态，并使用头部姿态对齐任务来辅助人脸关键点的定位，增强轻量化模型的对大姿态人脸的鲁棒性。
[0019]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0020]实施例一
[0021]如图1所示，本专利技术实施例提供的一种基于多任务学习的轻量化鲁棒人脸对齐方法，包括下述步骤：
[0022]步骤S1：收集人脸图像，并对人脸图像进行平移、缩放和旋转的预处理，扩充样本，构建训练集；
[0023]步骤S2：获取训练集中人脸图像的人脸关键点L；使用姿态估计算法标注训练集中人脸图像的3D头部姿态欧拉角Θ，并将3D头部姿态欧拉角Θ转换为头部姿态旋转矩阵R
Θ
；
[0024]步骤S3：将训练集输入人脸对齐网络，输出人脸关键点预测值P和头部姿态旋转矩
阵的预测值R
Φ
，分别构建头部姿态损失函数、人脸关键点损失函数和总损失函数，用于训练人脸对齐网络。
[0025]在一个实施例中，上述步骤S1：收集人脸图像，并对人脸图像进行平移、缩放和旋转的预处理，扩充样本，构建训练集；
[0026]本专利技术实施例使用两个公开数据集300W(300 Faces in the Wild)和300VW(300 Videos in the Wild)作为人脸图像样本，两个数据集中每个人脸图像样本都包含68个人脸关键点的标注。通过对人脸图像样本的数据扩充，包括：0.8至1.25倍以内的尺度缩放、
±
10像素以内的平移、
±
30
°
以内的旋转，以及随机亮度和饱和度的调整，将调整后的人脸图像构建训练集，用于训练人脸对齐网络。
[0027]本专利技术实施例所用训练集中每个人脸图像已经包含68个关键点的标注，所以可以直接获取这些关键点的坐标值L。但是，人工标注人脸图像的头部姿态角较为困难，本专利技术实施例采用已有的高精度姿态检测算法进行人脸图像的头部姿态估计，并将其作为标注标签。
[0028]在一个实施例中，上述步骤S2中使用姿态估计算法标注训练集中人脸图像的3D头部姿态欧拉角Θ，并将3D头部姿态欧拉角Θ转换为头部姿态旋转矩阵R
Θ
，具体包括：
[0029]将人脸图像输入姿态估计算法，得到3D头部姿态欧拉角Θ，Θ包括：俯仰角α、偏航角β和滚转角Y，根据下述公式(1)～(4)，计算得到头部姿态旋转矩阵R
Θ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的轻量化鲁棒人脸对齐方法，其特征在于，包括：步骤S1：收集人脸图像，并对所述人脸图像进行平移、缩放和旋转的预处理，扩充样本，构建训练集；步骤S2：获取所述训练集中人脸图像的人脸关键点L；使用姿态估计算法标注所述训练集中人脸图像的3D头部姿态欧拉角Θ，并将所述3D头部姿态欧拉角Θ转换为头部姿态旋转矩阵R
Θ
；步骤S3：将所述训练集输入人脸对齐网络，输出人脸关键点预测值P和头部姿态旋转矩阵的预测值R
Φ
，分别构建头部姿态损失函数、人脸关键点损失函数和总损失函数，用于训练所述人脸对齐网络。2.根据权利要求1所述的基于多任务学习的轻量化鲁棒人脸对齐方法，其特征在于，所述步骤S2中使用姿态估计算法标注所述训练集中人脸图像的3D头部姿态欧拉角Θ，并将所述3D头部姿态欧拉角Θ转换为头部姿态旋转矩阵R
Θ
，具体包括：将所述人脸图像输入所述姿态估计算法，得到3D头部姿态欧拉角Θ，Θ包括：俯仰角α、偏航角β和滚转角γ，根据下述公式(1)～(4)，计算得到头部姿态旋转矩阵R
Θ
：：：R
Θ
＝R
z
*R
y
*R
x
ꢀꢀꢀꢀ
(4)。3.根据权利要求2所述的基于多任务学习的轻量化鲁棒人脸对齐方法，其特征在于，所述步骤S3中分别构建头部姿态损失函数、人脸关键点损失函数和总损失函数，具体包括：步骤S31：基于头部姿态旋转矩阵R
Θ
，构建头部姿态损失函数loss
pose
，如公式(5)所示：loss
pose
＝||R
Φ

【专利技术属性】
技术研发人员：凌强，代淇源，陈瑞，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：