一种人脸关键点检测方法、终端设备及存储介质技术

本发明专利技术涉及一种人脸关键点检测方法、终端设备及存储介质，该方法中包括：通过人脸三维可形变模型生成虚拟人脸图像，进而得到三维形式的人脸关键点标注信息；采集带有二维形式的人脸关键点标注信息的真实人脸图像；将虚拟人脸头像和真实人脸头像按照预设的比例进行混合得到训练集；构建人脸关键点检测模型，模型包括特征提取模块、二维关键点检测模块和三维关键点检测模块，通过训练集对模型进行训练；通过训练后的人脸关键点检测模型对待检测图像中的人脸关键点进行检测。本发明专利技术通过真实样本与虚拟样本联合训练，使得神经网络能够在真实样本缺乏三维形式关键点标注的情况下，也能够预测三维形式的关键点。够预测三维形式的关键点。够预测三维形式的关键点。

【技术实现步骤摘要】
一种人脸关键点检测方法、终端设备及存储介质


[0001]本专利技术涉及图像处理领域，尤其涉及一种人脸关键点检测方法、终端设备及存储介质。

技术介绍

[0002]人脸关键点检测是指针对人脸的面部特征识别出人脸轮廓和五官部位的关键点。目前越来越多终端场景应用到人脸关键点检测，如驾驶员疲劳监测。
[0003]通常人脸关键点检测是采用大量预先标记关键点的人脸样本对检测模型进行训练。三维形式的人脸关键点与二维形式的人脸关键点的主要区别在于，三维形式的人脸关键点是三维人脸模型的顶点在图像平面投影的二维坐标点，两者的区别如图1所示。二维形式的关键点标记可通过人工标注的方式获得。但是，当人脸相对于摄像机的偏航角较大时，三维形式的人脸关键点可准确地表达头部姿态。然而，想要获取大量三维形式的关键点标记十分困难。三维形式的人脸关键点标注可通过三维可变模型获得，但虚拟生成的人脸图像域区别于真实相机拍摄的图像域，如果仅使用虚拟生成的样本进行训练，那么对于实际拍摄的图像将出现欠拟合现象。

技术实现思路

[0004]为了解决上述问题，本专利技术提出了一种人脸关键点检测方法、终端设备及存储介质。
[0005]具体方案如下：
[0006]一种人脸关键点检测方法，包括以下步骤：
[0007]S1：通过人脸三维可形变模型生成虚拟人脸图像，进而得到三维形式的人脸关键点标注信息；
[0008]S2：采集带有二维形式的人脸关键点标注信息的真实人脸图像；
[0009]S3：将虚拟人脸头像和真实人脸头像按照预设的比例进行混合得到训练集；
[0010]S4：构建人脸关键点检测模型，模型包括特征提取模块、二维关键点检测模块和三维关键点检测模块，通过训练集对模型进行训练；
[0011]S5：通过训练后的人脸关键点检测模型对待检测图像中的人脸关键点进行检测。
[0012]进一步的，步骤S1中人脸三维可形变模型采用3DMM。
[0013]进一步的，步骤S3中将虚拟人脸头像和真实人脸头像分成不同批次，用于不同迭代次数时的模型训练，不同批次的虚拟人脸头像和真实人脸头像均按照相同的比例混合。
[0014]进一步的，二维关键点检测模块和三维关键点检测模块在模型中的分布方式包括以下三种形式：
[0015]形式1、特征提取模块之后依次连接二维关键点检测模块和三维关键点检测模块；
[0016]形式2、特征提取模块之后依次连接三维关键点检测模块和二维关键点检测模块；
[0017]形式3、特征提取模块之后分别连接二维关键点检测模块和三维关键点检测模块。
[0018]进一步的，模型的损失函数Loss为：
[0019]Loss＝L
2d
+λL
3d
[0020]其中，L
2d
表示二维关键点检测损失，由训练集中的真实人脸图像经二维关键点检测模块的输出与二维形式的关键点标记计算得到；L
3d
表示三维关键点检测损失，由训练集中的虚拟人脸图像经三维关键点检测模块的输出与三维形式的关键点标记计算得到；λ表示权重系数。
[0021]一种人脸关键点检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例上述的方法的步骤。
[0022]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例上述的方法的步骤。
[0023]本专利技术采用如上技术方案，借助人脸三维可形变模型生成虚拟人脸图像样本，以获取准确的三维形式的人脸关键点标注信息，通过真实样本与虚拟样本联合训练，使得神经网络能够在真实样本缺乏三维形式关键点标注的情况下，也能够预测三维形式的关键点，有助于后续任务(如头部姿态计算的精度)的执行。
附图说明
[0024]图1所示为二维形式与三维形式的人脸关键点比对图。
[0025]图2所示为本专利技术实施例一的流程图。
[0026]图3所示为本专利技术实施例一中三种形式的模型网络结构示意图。
具体实施方式
[0027]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。
[0028]现结合附图和具体实施方式对本专利技术进一步说明。
[0029]实施例一：
[0030]本专利技术实施例提供了一种人脸关键点检测方法，如图2所示，所述方法包括以下步骤：
[0031]S1：通过人脸三维可形变模型生成虚拟人脸图像，进而得到三维形式的人脸关键点标注信息。
[0032]该实施例中人脸三维可形变模型采用3DMM(3D Morphable Model)，其包含两个向量，分别是形状向量和纹理向量，任意一个人脸都可由这些特征向量线性组合而成：
[0033][0034][0035]其中S＝(X1,Y1,Z1,X2,...,Y
n
,Z
n
)
T
∈R
3n
表示形状向量，T＝(R1,G1,B1,R2,...,G
n
,B
n
)
T
∈R
3n
表示纹理向量，表示平均形状向量，表示平均纹理向量，D是表情特征向量。随
机产生α、ω、β就可以得到一个三维人脸，随机选择一个头部旋转R，并使用一个合适的相机投影矩阵K，就能将三维人脸投影到图像上并进行渲染得到一个虚拟人脸图像样本。
[0036]p＝KRS，p＝(x1,y1,...,x
n
,y
n
)
T
∈R
2n
，并且根据人脸关键点在S中的索引，确定三维形式的人脸关键点Landmark
3d
坐标。
[0037]S2：采集带有二维形式的人脸关键点标注信息的真实人脸图像。
[0038]S3：将虚拟人脸头像和真实人脸头像按照预设的比例进行混合得到训练集。
[0039]该实施例中将虚拟人脸头像和真实人脸头像分成不同批次，用于不同迭代次数时的模型训练，不同批次的虚拟人脸头像和真实人脸头像均按照相同的比例混合，如该实施例中采用1:1的比例混合。
[0040]S4：构建人脸关键点检测模型，模型包括特征提取模块、二维关键点检测模块和三维关键点检测模块，通过训练集对模型进行训练。
[0041]模型的损失函数Loss为：
[0042]Loss＝L
2d
+λL
3d
[0043]其中，L
2d
表示二维关键点检测损失，L
3d
表示三维关键点检测损失，λ表示权重系数。
[0044]L
2d...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点检测方法，其特征在于，包括以下步骤：S1：通过人脸三维可形变模型生成虚拟人脸图像，进而得到三维形式的人脸关键点标注信息；S2：采集带有二维形式的人脸关键点标注信息的真实人脸图像；S3：将虚拟人脸头像和真实人脸头像按照预设的比例进行混合得到训练集；S4：构建人脸关键点检测模型，模型包括特征提取模块、二维关键点检测模块和三维关键点检测模块，通过训练集对模型进行训练；S5：通过训练后的人脸关键点检测模型对待检测图像中的人脸关键点进行检测。2.根据权利要求1所述的人脸关键点检测方法，其特征在于：步骤S1中人脸三维可形变模型采用3DMM。3.根据权利要求1所述的人脸关键点检测方法，其特征在于：步骤S3中将虚拟人脸头像和真实人脸头像分成不同批次，用于不同迭代次数时的模型训练，不同批次的虚拟人脸头像和真实人脸头像均按照相同的比例混合。4.根据权利要求1所述的人脸关键点检测方法，其特征在于：二维关键点检测模块和三维关键点检测模块在模型中的分布方式包括以下三种形式：形式1、特征提取模块之后依次连接二维关键点检测模块和三维关键点检测模块；形式2...

【专利技术属性】
技术研发人员：谢超，陈海沯，江永付，陈从华，
申请(专利权)人：明见厦门软件开发有限公司，
类型：发明
国别省市：