面部参数确定方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种面部参数确定方法、装置、电子设备及存储介质。本公开实施例的面部参数确定方法包括：通过解析摄像装置实时采集的视频获取包含目标人物面部的第一图像；利用第一图像获取目标人物的面部关键点数据和面部区域信息；根据面部区域信息从第一图像中提取目标人物的面部图像；根据面部关键点数据确定目标人物的人脸旋转姿态角；通过预先训练的第一深度学习模型利用目标人物的面部图像和目标人物的人脸旋转姿态角确定面部形变参数，面部形变参数用于驱动虚拟数字人执行面部动作。本公开能够通过2D图像实现面部形变参数的准确确定，执行速度快，适用普通相机，成本低，普适性好，能够满足虚拟数字人与真人面部动作实时同步的需求，便于与虚拟人技术结合应用于普通电子设备。普通电子设备。普通电子设备。

【技术实现步骤摘要】
面部参数确定方法、装置、电子设备及存储介质


[0001]本公开涉及一种面部参数确定方法、装置、电子设备及存储介质。

技术介绍

[0002]随着虚拟人技术在诸如角色扮演游戏、直播、广告、购物、旅游等多种场景中的广泛应用，虚拟数字人与真人的实时同步非常重要。目前主要通过面捕技术与虚拟人技术的结合来实现虚拟数字人与真人在表情、动作等方面的同步。
[0003]面部捕捉技术主要有依靠机械装置跟踪面部运动状况实现面部动作捕捉的技术和基于光学的面部动作捕捉技术。其中，依靠机械装置跟踪面部运动状况来实现面部动作捕捉的技术，因其使用不便，对用户表情限制较大，且成本高、不易携带等问题，逐渐被弃用。而基于光学的面部动作捕捉技术需要使用特定的面部动作捕捉设备，虽然这些面部动作捕捉设备可以是数码相机、电子设备的内置或外接摄像头或者移动终端的前置摄像头，但其需要配置昂贵的基于二维数据捕捉面部表情及其变化的光学镜头才能有较好的面捕精度。
[0004]因此，目前的面捕技术均存在佩戴不便、成本高昂、使用不便、操作繁琐等问题，均难以广泛应用于虚拟人技术中，导致虚拟数字人与用户的实时同步很难实现。

技术实现思路

[0005]为了解决上述技术问题中的至少一个，本公开提供了一种面部参数确定方法、装置、电子设备及存储介质。
[0006]根据本公开的一个方面，提供了一种面部参数确定方法，包括：
[0007]通过解析摄像装置实时采集的视频获取包含目标人物面部的第一图像；
[0008]利用所述第一图像获取目标人物的面部关键点数据和面部区域信息；
[0009]根据所述面部区域信息从所述第一图像中提取目标人物的面部图像；
[0010]根据所述面部关键点数据确定目标人物的人脸旋转姿态角；
[0011]通过预先训练的第一深度学习模型利用所述目标人物的面部图像和所述目标人物的人脸旋转姿态角确定面部形变参数，所述面部形变参数用于驱动虚拟数字人执行面部动作。
[0012]本公开的一些可能的实现方式中，所述根据所述面部区域信息从所述第一图像中提取目标人物的面部图像，包括：按照预定参数调整所述面部区域信息以使面部区域按照预定比例扩大；提取所述第一图像中扩大后的面部区域部分作为目标人物的面部图像；以及，将所述目标人物的面部图像按照所述第一图像的宽高比进行放缩。
[0013]本公开的一些可能的实现方式中，通过预先训练的第一深度学习模型利用所述目标人物的面部图像和所述目标人物的人脸旋转姿态角确定面部形变参数，包括：通过预先训练的第一深度学习模型对所述目标人物的面部图像进行处理，以提取目标人物的面部形变参数；利用所述目标人物的人脸旋转姿态角替换所述面部形变参数中头部姿态的相关参
数。
[0014]本公开的一些可能的实现方式中，所述第一深度学习模型采用EffcientNet网络，根据预先构建的训练数据集训练得到，所述训练数据集包括多种二维图像样本，每种二维图像样本对应一种预定面部动作，所述二维图像样本标注有相应预定面部动作的面部形变参数。
[0015]本公开的一些可能的实现方式中，所述二维图像样本标注的面部形变参数通过对所述面部形变参数中对应预定面部动作的面部形变系数单独归一化而获得。
[0016]本公开的一些可能的实现方式中，确定面部形变参数之后，还包括如下之一或多项：
[0017]检测到所述面部形变参数中有面部形变系数的数值发生突变时，使用1€滤波器对所述面部形变参数进行过滤；
[0018]将所述面部形变参数中数值低于预定阈值的面部形变系数归零；
[0019]将所述面部形变参数中部分或全部面部形变系数的数值按照预定尺度进行放缩。
[0020]本公开的一些可能的实现方式中，所述面部形变参数对应的面部动作包括如下之一或多项：张嘴、闭嘴、睁眼、闭眼、单侧眨眼、皱眉、皱鼻、露齿微笑、不露齿微笑、吐舌头、单侧噘嘴、双侧噘嘴、鼓腮、说话、朗读。
[0021]根据本公开的第二方面，提供了一种面部参数确定装置，包括：
[0022]图像提取单元，用于通过解析摄像装置实时采集的视频获取包含目标人物面部的第一图像；
[0023]信息提取单元，用于利用所述第一图像获取目标人物的面部关键点数据和面部区域信息；
[0024]面部图像提取单元，用于根据所述面部区域信息从所述第一图像中提取目标人物的面部图像；
[0025]姿态确定单元，用于根据所述面部关键点数据确定目标人物的人脸旋转姿态角；
[0026]参数确定单元，用于通过预先训练的第一深度学习模型利用所述目标人物的面部图像和所述目标人物的人脸旋转姿态角确定面部形变参数，所述面部形变参数用于驱动虚拟数字人执行面部动作。
[0027]根据本公开的第二方面，提供了一种电子设备，包括：
[0028]存储器，所述存储器存储执行指令；以及
[0029]处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述的面部参数确定方法。
[0030]根据本公开的第四方面，提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的面部参数确定方法。
[0031]本公开实施例通过2D图像即可实现面部形变参数的准确确定，执行速度快，适用普通相机，不需要深度相机来获取深度信息，硬件资源需求少，成本低，普适性好，能够满足虚拟数字人与真人面部动作实时同步的需求，可适用于虚拟人技术，便于与虚拟人技术结合应用于诸如PC等普通电子设备。只需要用户拥有一款带有摄像头的电子设备，同时对电子设备的显卡内存等无任何性能要求即可实现本公开实施例的方法。
附图说明
[0032]附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
[0033]图1是根据本公开的一个实施方式的面部参数确定方法的流程示意图。
[0034]图2是本公开的一个实施方式的采用处理系统的硬件实现方式的面部参数确定装置的结构示意框图。
[0035]图中附图标记具体为：
[0036]200
ꢀꢀ
面部参数确定装置
[0037]300
ꢀꢀ
总线
[0038]400
ꢀꢀ
处理器
[0039]500
ꢀꢀ
存储器
[0040]600
ꢀꢀ
其它电路。
具体实施方式
[0041]下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
[0042]需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部参数确定方法，其特征在于，包括：通过解析摄像装置实时采集的视频获取包含目标人物面部的第一图像；利用所述第一图像获取目标人物的面部关键点数据和面部区域信息；根据所述面部区域信息从所述第一图像中提取目标人物的面部图像；根据所述面部关键点数据确定目标人物的人脸旋转姿态角；通过预先训练的第一深度学习模型利用所述目标人物的面部图像和所述目标人物的人脸旋转姿态角确定面部形变参数，所述面部形变参数用于驱动虚拟数字人执行面部动作。2.根据权利要求1所述的面部参数确定方法，其特征在于，所述根据所述面部区域信息从所述第一图像中提取目标人物的面部图像，包括：按照预定参数调整所述面部区域信息以使面部区域按照预定比例扩大；提取所述第一图像中扩大后的面部区域部分作为目标人物的面部图像；以及，将所述目标人物的面部图像按照所述第一图像的宽高比进行放缩。3.根据权利要求1所述的面部参数确定方法，其特征在于，通过预先训练的第一深度学习模型利用所述目标人物的面部图像和所述目标人物的人脸旋转姿态角确定面部形变参数，包括：通过预先训练的第一深度学习模型对所述目标人物的面部图像进行处理，以提取目标人物的面部形变参数；利用所述目标人物的人脸旋转姿态角替换所述面部形变参数中头部姿态的相关参数。4.根据权利要求1所述的面部参数确定方法，其特征在于，所述第一深度学习模型采用EffcientNet网络，根据预先构建的训练数据集训练得到，所述训练数据集包括多种二维图像样本，每种二维图像样本对应一种预定面部动作，所述二维图像样本标注有相应预定面部动作的面部形变参数。5.根据权利要求4所述的面部参数确定方法，其特征在于，所述二维图像样本标注的面部形变参数通过对所述面部形变参数中对应预定面部...

【专利技术属性】
技术研发人员：刘聪，李志飞，
申请(专利权)人：出门问问创新科技有限公司，
类型：发明
国别省市：