基于多尺度特征融合的人脸表情捕捉方法、装置及介质制造方法及图纸

本发明专利技术公开了一种基于多尺度特征融合的人脸表情捕捉方法、装置及介质，其中方法包括：获取人脸图像；将获得的人脸图像输入训练后的表情捕捉模型中，输出人脸系数；所述表情捕捉模型包括系数预测网络，所述系数预测网络包括骨干网络、全连接层以及多尺度特征融合模块；所述多尺度特征融合模块用于融合骨干网络不同阶段的图像特征，并通过融合后特征预测身份系数、表情系数和纹理系数。本发明专利技术通过多尺度特征融合模块，在骨干网络基础上，不断融合骨干网络不同阶段的图像特征，利用融合特征进行人脸身份、表情、纹理的预测，能够获得更为精细的预测结果。本发明专利技术可广泛应用于人脸图像数据处理领域。处理领域。处理领域。

【技术实现步骤摘要】
基于多尺度特征融合的人脸表情捕捉方法、装置及介质


[0001]本专利技术涉及人脸图像数据处理领域，尤其涉及一种基于多尺度特征融合的人脸表情捕捉方法、装置及介质。

技术介绍

[0002]近年来，虚拟数字人领域得到了越来越多的关注，而人脸表情捕捉是实现虚拟数字人驱动的一大重要技术。该任务通常的输入为包含人脸的图像或视频，利用深度神经网络学习图像特征并预测人脸的各项系数，通过三维可形变模型重构三维人脸，最终获取人脸的表情系数作为表情捕捉的预测结果。然而，现有方法存在部分缺陷：一是没有同时考虑输入图像的全局与局部信息，难以捕获人脸细微表情；二是没有考虑不同输入图像的置信度差异，人脸的身份与表情难以解耦。

技术实现思路

[0003]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于多尺度特征融合的人脸表情捕捉方法、装置及介质。
[0004]本专利技术所采用的技术方案是：
[0005]一种基于多尺度特征融合的人脸表情捕捉方法，包括以下步骤：
[0006]获取人脸图像；
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合的人脸表情捕捉方法，其特征在于，包括以下步骤：获取人脸图像；将获得的人脸图像输入训练后的表情捕捉模型中，输出人脸系数；所述表情捕捉模型包括系数预测网络，所述系数预测网络包括骨干网络、全连接层以及多尺度特征融合模块；所述多尺度特征融合模块用于融合骨干网络不同阶段的图像特征，并通过融合后特征预测身份系数、表情系数和纹理系数。2.根据权利要求1所述的一种基于多尺度特征融合的人脸表情捕捉方法，其特征在于，所述表情捕捉模型通过以下方式训练获得：获取人脸数据，对人脸数据进行预处理，获得训练集；构建表情捕捉模型，所述表情捕捉模型由系数预测网络、置信度预测网络和重建与渲染模块构成；根据训练集和损失函数对构建的表情捕捉模型进行训练，在表情捕捉模型训练后，去除置信度预测网络和重建与渲染模块，获得训练后的表情捕捉模型；其中，所述系数预测网络用于学习图像特征并预测人脸系数，将T张相同身份但不同表情的人脸图像I输入到系数预测网络，输出人脸的身份系数α、表情系数β、纹理系数δ、姿态系数p以及光照系数γ；所述置信度预测网络用于为训练时输入的多张人脸图像预测各自的置信度，以优化身份一致性损失；所述重建与渲染模块用于利用预测的人脸系数，结合三维可形变模型重构三维人脸并渲染成二维图像。3.根据权利要求1或2所述的一种基于多尺度特征融合的人脸表情捕捉方法，其特征在于，所述系数预测网络的工作方式如下：所述全连接层接收骨干网络的输出，并输出姿态系数p和光照系数γ；定义X
l
‑1与X
l
为骨干网络的上一阶段与当前阶段的输出特征，所述多尺度特征融合模块通过以下方式融合特征：对上一阶段特征X
l
‑1进行降采样得到特征对上一步得到的降采样后特征与当前阶段特征X
l
执行拼接操作，进行特征的融合，获得多尺度融合后的特征X
f
。4.根据权利要求2所述的一种基于多尺度特征融合的人脸表情捕捉方法，其特征在于，所述重建与渲染模块的工作方式如下：根据三维可形变模型，以及系数预测网络预测获得的身份系数α、表情系数β、纹理系数δ构建三维人脸模型；根据构建获得的三维人脸模型，结合姿态系数p与光照系数γ，将三位人脸模型渲染至二维图像；其中获得的二维图像用于损失函数的计算。5.根据权利要求4所述的一种基于多尺度特征融合的人脸表情捕捉方法，其特征在于，所述三维人脸模型表示为形状S与纹...

【专利技术属性】
技术研发人员：谭明奎，李振梁，刘艳霞，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：