人脸变形目标修正方法及其装置、设备、介质、产品制造方法及图纸

本申请涉及一种人脸变形目标修正方法及其装置、设备、介质、产品，所述方法包括：获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。本申请在维持较低运算量的情况下，使所述人脸变形目标的各个具体人脸区域都能够获得精细化的优化效果。化的优化效果。化的优化效果。

【技术实现步骤摘要】
人脸变形目标修正方法及其装置、设备、介质、产品


[0001]本申请涉及数字人
，尤其涉及一种人脸变形目标修正方法及其装置、设备、介质、产品。

技术介绍

[0002]人脸表情追踪技术在数字人领域具有广泛的应用，是一个在学术界和工业界广泛研究的问题，主要分为传统方法和深度学习方法两大类。
[0003]传统方法利用自建3D人脸基底，通过严谨的数学推导来定义能量项，以最小化能量项来优化identity系数和表情系数，从而拟合人脸形状及表情。其中，identity系数α用于拟合人脸的形状，表情系数β用于拟合人脸的表情。而深度学习方法利用采集的训练图像及其对应的表情标签，对已有数据进行端对端的训练，模型学习到identity系数和表情系数来拟合人脸及表情。
[0004]对于现有传统方法，通常从自建3D人脸基底中提取中性人脸来优化identity系数。然后，将整张人脸进行优化，很容易忽略掉人脸细节，而且难以使优化函数收敛。
[0005]对于深度学习方法，一方面需要精心设计合理的网络模型，同时需要大量的资源来训练模型使其收敛。另一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸变形目标修正方法，其特征在于，包括：获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。2.根据权利要求1所述的人脸变形目标修正方法，其特征在于，根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数，包括：针对用于生成所述人脸变形目标的人脸图像进行人脸关键点检测，获得所述人脸图像中人脸区域图像的人脸关键点信息；对齐所述人脸关键点信息中各个人脸关键点与所述三维人脸模型的人脸网格中的标准人脸顶点，确定各人脸区域下人脸关键点与顶点之间的映射关系；根据所述映射关系，从所述基底人脸系数集中分割出所述人脸网格中各个预设人脸区域相对应的区域人脸系数，每个区域人脸系数均包括相应区域的中性人脸系数及平均人脸系数。3.根据权利要求1所述的人脸变形目标修正方法，其特征在于，所述人脸区域包括眼睛区域、眉额区域、鼻部区域、嘴部区域以及脸部轮廓区域，各个人脸区域均具有对称结构。4.根据权利要求1所述的人脸变形目标修正方法，其特征在于，根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数，包括：基于非线性优化算法，对属于人脸顶半部之外的其他人脸区域相对应的顶点实施第一优化操作；基于线性优化算法，对属于人脸顶半部的各个人脸区域相对应的顶点实施第二优化操作。5.根据权利要求1所述的人脸变形目标修正方法，其特征在于，获取基底人脸系数集之前，包括：根据所述三维人脸模型的人脸变形目标判断用于生成所述人脸变形目标的人脸图像是否属于其所在的视频流中的关键帧，当属于关键帧时，执行后续步骤，否则忽略后续步骤。6.根据权利...

【专利技术属性】
技术研发人员：高杰，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：