人脸变形目标修正方法及其装置、设备、介质、产品制造方法及图纸

本申请涉及一种人脸变形目标修正方法及其装置、设备、介质、产品，所述方法包括：获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。本申请在维持较低运算量的情况下，使所述人脸变形目标的各个具体人脸区域都能够获得精细化的优化效果。化的优化效果。化的优化效果。

【技术实现步骤摘要】
人脸变形目标修正方法及其装置、设备、介质、产品


[0001]本申请涉及数字人
，尤其涉及一种人脸变形目标修正方法及其装置、设备、介质、产品。

技术介绍

[0002]人脸表情追踪技术在数字人领域具有广泛的应用，是一个在学术界和工业界广泛研究的问题，主要分为传统方法和深度学习方法两大类。
[0003]传统方法利用自建3D人脸基底，通过严谨的数学推导来定义能量项，以最小化能量项来优化identity系数和表情系数，从而拟合人脸形状及表情。其中，identity系数α用于拟合人脸的形状，表情系数β用于拟合人脸的表情。而深度学习方法利用采集的训练图像及其对应的表情标签，对已有数据进行端对端的训练，模型学习到identity系数和表情系数来拟合人脸及表情。
[0004]对于现有传统方法，通常从自建3D人脸基底中提取中性人脸来优化identity系数。然后，将整张人脸进行优化，很容易忽略掉人脸细节，而且难以使优化函数收敛。
[0005]对于深度学习方法，一方面需要精心设计合理的网络模型，同时需要大量的资源来训练模型使其收敛。另一方面，深度学习模型作为端到端的黑盒，很难精细优化每一个表情的具体系数，从而可能出现表情异常的情况。
[0006]可见，各种现有技术在处理数字人的人脸图像时，对人脸图像的优化较为粗糙，难以获得优质的人脸图像。

技术实现思路

[0007]本申请的目的在于解决上述问题而提供一种人脸变形目标修正方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
[0008]根据本申请的一个方面，提供一种人脸变形目标修正方法，包括如下步骤：
[0009]获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；
[0010]根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；
[0011]根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；
[0012]根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。
[0013]根据本申请的另一方面，提供一种人脸变形目标修正装置，包括：
[0014]基底系数获取模块，设置为获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；
[0015]人脸区域分割模块，设置为根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系
数；
[0016]顶点分区优化模块，设置为根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；
[0017]变形目标修正模块，设置为根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。
[0018]根据本申请的另一方面，提供一种人脸变形目标修正设备，包括中央处理器和存储器，所述中央处理器设置为调用运行存储于所述存储器中的计算机程序以执行本申请所述的人脸变形目标修正方法的步骤。
[0019]根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的人脸变形目标修正方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。
[0020]根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。
[0021]相对于现有技术，本申请根据预设的多个人脸区域，将由预采集的多个人脸基底的中性人脸系数及平均人脸系数构成的基底人脸系数集分割为各个人脸区域相对应的区域人脸系数，然后，对应每个人脸区域，根据其相应的区域人脸系数，对三维人脸模型的人脸网格中相应区域的顶点进行优化，从而重建出所述人脸网格，相应确定出其人脸形状系数，也即身份系数，再根据所述人脸形状系数修正所述三维人脸模型的人脸变形目标，在维持较低运算量的情况下，使所述人脸变形目标的各个具体人脸区域都能够获得精细化的优化效果，使得根据所述人脸变形目标所生成的人脸图像更为自然细腻，成像效果佳且更稳定，利用所述人脸变形目标生成的数字人形象能够获得优异的质感。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本申请示例性的网络直播场景的网络架构示意图；
[0024]图2为本申请的人脸变形目标修正方法的一种实施例的流程示意图；
[0025]图3为本申请对人脸网格进行分区所得的各个人脸区域的分区关系示意图；
[0026]图4为本申请的实施例中获取各个人脸区域的区域人脸系数的流程示意图；
[0027]图5为本申请的实施例中对不同人脸区域实施不同优化操作的流程示意图；
[0028]图6为本申请的实施例中区分是否关键帧进行人脸变形目标修正的流程示意图；
[0029]图7为本申请的实施例中基于人脸变形目标的投影距离判定关键帧的流程示意图；
[0030]图8为本申请的实施例中应用人脸变形目标实现数字人直播的流程示意图；
[0031]图9为本申请的人脸变形目标修正装置的原理框图；
[0032]图10为本申请所采用的一种人脸变形目标修正设备的结构示意图。
具体实施方式
[0033]请参阅图1，本申请示例性的网络直播应用场景所采用的网络架构，其可用于部署基于数字人的直播服务，通过数字人进行网络直播，实现娱乐、电商销售、讲解等等诸多目的。同理，本申请的网络架构也可以用于部署基于数字人的社交通信、游戏、娱乐等服务。
[0034]图1所示的应用服务器81可用于支持所述直播服务的运行，而媒体服务器82可用于存储或转发用户的视频流，其中的计算机83、移动电话84之类的终端设备，作为客户端，一般提供给终端用户使用，可用于上传或下载播放视频流。
[0035]本申请的方法或装置，可以编程实现为计算机程序产品，运行于所述的应用服务器81、媒体服务器82、终端设备83、84中，在其中对根据给定的人脸图像所生成的数字人的三维人脸模型的人脸变形目标进行优化，以便将该人脸变形目标应用于所述数字人的三维人脸模型并渲染出相应的数字人的人脸图像，由于所述人脸图像可以是网络直播所使用的视频流，因而，对应视频流各个包含有人脸图像的图像帧均可生成相应的数字人图像帧，从而可以生成以数字人形象替换原人形象的动画视频流，替换原视频流推送到直播间中。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸变形目标修正方法，其特征在于，包括：获取基底人脸系数集，所述基底人脸系数集包含预采集的多个人脸基底的中性人脸系数及平均人脸系数，所述人脸系数包含人脸形状系数；根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数；根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数；根据优化后的人脸形状系数修正所述三维人脸模型的人脸变形目标。2.根据权利要求1所述的人脸变形目标修正方法，其特征在于，根据三维人脸模型的人脸网格中各个预设人脸区域相对应的人脸关键点信息，将所述基底人脸系数集对应分割成各个人脸区域的区域人脸系数，包括：针对用于生成所述人脸变形目标的人脸图像进行人脸关键点检测，获得所述人脸图像中人脸区域图像的人脸关键点信息；对齐所述人脸关键点信息中各个人脸关键点与所述三维人脸模型的人脸网格中的标准人脸顶点，确定各人脸区域下人脸关键点与顶点之间的映射关系；根据所述映射关系，从所述基底人脸系数集中分割出所述人脸网格中各个预设人脸区域相对应的区域人脸系数，每个区域人脸系数均包括相应区域的中性人脸系数及平均人脸系数。3.根据权利要求1所述的人脸变形目标修正方法，其特征在于，所述人脸区域包括眼睛区域、眉额区域、鼻部区域、嘴部区域以及脸部轮廓区域，各个人脸区域均具有对称结构。4.根据权利要求1所述的人脸变形目标修正方法，其特征在于，根据每个人脸区域相对应的区域人脸系数对所述人脸网格中相应区域的顶点进行优化，以确定出所述人脸网格的人脸形状系数，包括：基于非线性优化算法，对属于人脸顶半部之外的其他人脸区域相对应的顶点实施第一优化操作；基于线性优化算法，对属于人脸顶半部的各个人脸区域相对应的顶点实施第二优化操作。5.根据权利要求1所述的人脸变形目标修正方法，其特征在于，获取基底人脸系数集之前，包括：根据所述三维人脸模型的人脸变形目标判断用于生成所述人脸变形目标的人脸图像是否属于其所在的视频流中的关键帧，当属于关键帧时，执行后续步骤，否则忽略后续步骤。6.根据权利...

【专利技术属性】
技术研发人员：高杰，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：