一种表情捕获模型训练方法、人脸表情检测方法及装置制造方法及图纸

本申请实施例提供了一种表情捕获模型训练方法、人脸表情检测方法及装置，先将样本人脸3D模型，转换得到样本人脸关键点热力图图像，然后将样本人脸关键点热力图图像输入到表情捕获模型中进行分析，得到预测形状参数、预测表情参数和预测姿态参数，根据真值形状参数、真值表情参数、真值姿态参数以及预测形状参数、预测表情参数、预测姿态参数计算表情捕获模型的损失，根据表情捕获模型的损失调整表情捕获模型的训练参数，选取新的样本人脸3D模型继续对表情捕获模型进行训练，直至满足预设训练结束条件，得到训练好的表情捕获模型，基于训练好的表情捕获模型可以自动检测出人脸的形状参数、表情参数和姿态参数，从而实现了人脸表情捕获。人脸表情捕获。人脸表情捕获。

【技术实现步骤摘要】
一种表情捕获模型训练方法、人脸表情检测方法及装置


[0001]本申请涉及图像处理
，特别是涉及一种表情捕获模型训练方法、人脸表情检测方法及装置。

技术介绍

[0002]随着人工智能技术和AR智能技术的飞速发展，针对动画人物，AR等内容的需求越加强烈，基于不同的人物角色构建特色的表情成为了这些领域里边的支点内容。因此，如何捕获人脸表情成为了亟需解决的问题。

技术实现思路

[0003]本申请实施例的目的在于提供一种表情捕获模型训练方法、人脸表情检测方法及装置，以实现人脸表情捕获。具体技术方案如下：
[0004]本申请实施例提供了一种表情捕获模型训练方法，所述方法包括：
[0005]获取样本人脸3D模型，其中，所述样本人脸3D模型包括真值形状参数、真值表情参数和真值姿态参数；
[0006]根据所述样本人脸3D模型，转换得到样本人脸关键点热力图图像；
[0007]将所述样本人脸关键点热力图图像输入到表情捕获模型中进行分析，得到预测形状参数、预测表情参数和预测姿态参数；
[0008]根据所述真值形状参数、所述真值表情参数、所述真值姿态参数以及所述预测形状参数、所述预测表情参数、所述预测姿态参数计算所述表情捕获模型的损失；
[0009]根据所述表情捕获模型的损失调整所述表情捕获模型的训练参数；
[0010]选取新的样本人脸3D模型继续对所述表情捕获模型进行训练，直至满足预设训练结束条件，得到训练好的表情捕获模型。
[0011]一种可能的实施例中，所述获取样本人脸3D模型，包括：
[0012]获取真值形状参数、真值表情参数及真值姿态参数；
[0013]根据所述真值形状参数、真值表情参数，真值姿态参数构建样本人脸3D模型。
[0014]一种可能的实施例中，所述根据所述样本人脸3D模型，转换得到样本人脸关键点热力图图像，包括：
[0015]根据所述真值形状参数、所述真值表情参数和所述真值姿态参数，确定人脸关键点3D基准坐标；
[0016]基于人脸3D关键点坐标和人脸2D关键点坐标变换关系，确定所述人脸关键点3D基准坐标对应的人脸关键点2D基准坐标；
[0017]将所述人脸关键点2D基准坐标转换为样本人脸关键点热力图图像。
[0018]一种可能的实施例中，所述样本人脸关键点热力图图像的通道数为人脸关键点的个数。
[0019]一种可能的实施例中，所述根据所述真值形状参数、所述真值表情参数和所述真
值姿态参数，确定人脸关键点3D基准坐标，包括：
[0020]根据以下公式确定人脸关键点3D基准坐标：
[0021][0022]S
trans
＝M(θ)*S+T
[0023]其中，为预先确定的人脸关键点3D坐标平均值、α
i
为第i个真值形状参数，γ
i
为第i个基准表情参数；s
i
为第i个真值形状参数的权重，m为所述真值形状参数的个数；e
o
为第i个基准表情参数的权重，l为所述基准表情参数的个数；θ为欧拉角，T为所述基准姿态参数对应的平移向量；S为人脸关键点3D基准坐标中间变量；S
trans
为人脸关键点3D基准坐标；
[0024]所述基于人脸3D关键点坐标和人脸2D关键点坐标变换关系，确定所述人脸关键点3D基准坐标对应的人脸关键点2D基准坐标，包括：
[0025]根据以下公式确定所述人脸关键点3D基准坐标对应的人脸关键点2D基准坐标；
[0026][0027]其中，S∈R
3*n
；M1∈R
3*3
，M1表示相机的内参；M2∈R
3*3
，M2表示相机外参的旋转矩阵；T
camera
∈R
3*1
，T
camera
表示相机外参的平移向量。
[0028]本申请实施例还提供了一种人脸表情检测方法，所述方法包括：
[0029]获取包括人脸的待检测图像；
[0030]对所述待检测图像进行检测，得到人脸关键点热力图图像；
[0031]将所述人脸关键点热力图图像输入预先训练的表情捕获模型进行检测，得到预测形状参数、预测表情参数和预测姿态参数，其中，所述预先训练的表情捕获模型是基于上述任一所述的表情捕获模型训练方法训练得到的。
[0032]一种可能的实施例中，所述对所述待检测图像进行检测，得到人脸关键点热力图图像，包括：
[0033]将所述待检测图像输入预先训练的人脸区域检测模型进行人脸检测，得到人脸区域；
[0034]将所述人脸区域输入预先训练的关键点检测模型中进行关键点检测，得到所述人脸区域中的各关键点；
[0035]基于所述人脸区域中的各所述关键点，生成人脸关键点热力图图像。
[0036]一种可能的实施例中，在所述得到预测形状参数、预测表情参数和预测姿态参数的步骤之后，所述方法还包括：
[0037]获取预设脸部3D模型；
[0038]基于所述预测形状参数、预测表情参数和预测姿态参数对所述预设脸部3D模型进行形状、表情及姿态的调整，得到变化表情的脸部3D模型。
[0039]本申请实施例还提供了一种表情捕获模型训练装置，所述装置包括：
[0040]获取模块，用于获取样本人脸3D模型，其中，所述样本人脸3D模型包括真值形状参数、真值表情参数和真值姿态参数；
[0041]转换模块，用于根据所述样本人脸3D模型，转换得到样本人脸关键点热力图图像；
[0042]分析模块，用于将所述样本人脸关键点热力图图像输入到表情捕获模型中进行分析，得到预测形状参数、预测表情参数和预测姿态参数；
[0043]计算模块，用于根据所述真值形状参数、所述真值表情参数、所述真值姿态参数以及所述预测形状参数、所述预测表情参数、所述预测姿态参数计算所述表情捕获模型的损失；
[0044]调整模块，用于根据所述表情捕获模型的损失调整所述表情捕获模型的训练参数；
[0045]训练模块，用于选取新的样本人脸3D模型继续对所述表情捕获模型进行训练，直至满足预设训练结束条件，得到训练好的表情捕获模型。
[0046]一种可能的实施例中，所述获取模块具体用于：
[0047]获取真值形状参数、真值表情参数及真值姿态参数；
[0048]根据所述真值形状参数、真值表情参数，真值姿态参数构建样本人脸3D模型。
[0049]一种可能的实施例中，所述转换模块具体用于：
[0050]根据所述真值形状参数、所述真值表情参数和所述真值姿态参数，确定人脸关键点3D基准坐标；
[0051]基于人脸3D关键点坐标和人脸2D关键点坐标变换关系，确定所述人脸关键点3D基准坐标对应的人脸关键点2D基准坐标；
[0052]将所述人脸关键点2D基准坐标转换为样本人脸关键点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情捕获模型训练方法，其特征在于，所述方法包括：获取样本人脸3D模型，其中，所述样本人脸3D模型包括真值形状参数、真值表情参数和真值姿态参数；根据所述样本人脸3D模型，转换得到样本人脸关键点热力图图像；将所述样本人脸关键点热力图图像输入到表情捕获模型中进行分析，得到预测形状参数、预测表情参数和预测姿态参数；根据所述真值形状参数、所述真值表情参数、所述真值姿态参数以及所述预测形状参数、所述预测表情参数、所述预测姿态参数计算所述表情捕获模型的损失；根据所述表情捕获模型的损失调整所述表情捕获模型的训练参数；选取新的样本人脸3D模型继续对所述表情捕获模型进行训练，直至满足预设训练结束条件，得到训练好的表情捕获模型。2.根据权利要求1所述的方法，其特征在于，所述获取样本人脸3D模型，包括：获取真值形状参数、真值表情参数及真值姿态参数；根据所述真值形状参数、真值表情参数，真值姿态参数构建样本人脸3D模型。3.根据权利要求1所述的方法，其特征在于，所述根据所述样本人脸3D模型，转换得到样本人脸关键点热力图图像，包括：根据所述真值形状参数、所述真值表情参数和所述真值姿态参数，确定人脸关键点3D基准坐标；基于人脸3D关键点坐标和人脸2D关键点坐标变换关系，确定所述人脸关键点3D基准坐标对应的人脸关键点2D基准坐标；将所述人脸关键点2D基准坐标转换为样本人脸关键点热力图图像。4.根据权利要求1至3任一所述的方法，其特征在于，所述样本人脸关键点热力图图像的通道数为人脸关键点的个数。5.根据权利要求3所述的方法，其特征在于，所述根据所述真值形状参数、所述真值表情参数和所述真值姿态参数，确定人脸关键点3D基准坐标，包括：根据以下公式确定人脸关键点3D基准坐标：S
trans
＝M(θ)*S+T其中，为预先确定的人脸关键点3D坐标平均值、α
i
为第i个真值形状参数，γ
i
为第i个基准表情参数；s
i
为第i个真值形状参数的权重，m为所述真值形状参数的个数；e
i
为第i个基准表情参数的权重，l为所述基准表情参数的个数；θ为欧拉角，T为所述基准姿态参数对应的平移向量；S为人脸关键点3D基准坐标中间变量；S
trans
为人脸关键点3D基准坐标；所述基于人脸3D关键点坐标和人脸2D关键点坐标变换关系，确定所述人脸关键点3D基准坐标对应的人脸关键点2D基准坐标，包括：根据以下公式确定所述人脸关键点3D基准坐标对应的人脸关键点2D基准坐标；
其中，S∈R
3*n
；M1∈R
3*3
，M1表示相机的内参；M2∈R
3*3
，M2表示相机外参的旋转矩阵；T
camera
∈R
3*1
，T

【专利技术属性】
技术研发人员：吕福成，
申请(专利权)人：杭州萤石软件有限公司，
类型：发明
国别省市：