基于数据驱动的三维人脸表达模型嘴部表现增强方法技术

本申请涉及计算机视觉领域，特别涉及一种基于数据驱动的三维人脸表达模型嘴部表现增强方法，包括：获取包含人脸说话动作的RGB视频，重建RGB视频对应的人脸扫描序列，并根据人脸扫描序列生成与目标线性模型相同拓扑的人脸网格序列，基于预设的目标人脸表达模型，对人脸网格序列进行拟合，并计算拟合结果和人脸网格序列之间的残差，并根据残差增强人脸表达模型的嘴部表现。由此，解决了现阶段人脸重建及表达工作较少考虑到嘴部区域，导致嘴部区域效果不好的问题，改进人脸表达模型，通过提升数据量就能够很好地提升模型表达能力，增强后的人脸线性表达模型能够直接应用到对应的原始工作上。始工作上。始工作上。

【技术实现步骤摘要】
基于数据驱动的三维人脸表达模型嘴部表现增强方法


[0001]本申请涉及计算机视觉领域，特别涉及一种基于数据驱动的三维人脸表达模型嘴部表现增强方法。

技术介绍

[0002]当下，数字人的概念逐渐兴起，在计算机图形学与视觉领域中成为热门研究的问题，而数字人的重建、生成等离不开高质量的数字人表达方法。对于一个高质量的数字人，其脸部形状以及动作需要非常贴近其对应的真实人，由于人的一大社交特性是交流，数字人的一大应用则是还原真实人的各种交流场景，例如对话，演讲等，因此，数字人的应用领域决定了数字人的嘴部区域是一个非常重要的表现部分。
[0003]相关技术中，数字人的重建、生成工作大部分选用人脸参数模型来表达人脸，并使用基于回归的方法，即通过有监督或自监督方式优化人脸表达模型的参数，利用模型参数生成相应的人脸网格。常用的人脸参数模型为3DMM(3D Morphable FaceModel，3维可变性人脸模型)、FLAME这种线性表达模型，通过中性人脸加上形状基、表情基的线性组合来表达一个给定的人脸。
[0004]然而，目前的人脸重建、生成工作大部分还是针对于整个人脸，很少对嘴部这种局部区域进行考虑，导致嘴部区域的效果不好，并且上述方法受限于形状基和表情基的质量，亟待解决。

技术实现思路

[0005]本申请提供一种基于数据驱动的三维人脸表达模型嘴部表现增强方法，以解决现阶段人脸重建及表达工作较少考虑到嘴部区域，导致嘴部区域效果不好的问题，改进人脸表达模型，通过提升数据量就能够很好地提升模型表达能力，增强后的人脸线性表达模型能够直接应用到对应的原始工作上。
[0006]为达到上述目的，本申请第一方面实施例提出一种基于数据驱动的三维人脸表达模型嘴部表现增强方法，包括以下步骤：
[0007]获取包含人脸说话动作的RGB(Red Green Blue，红绿蓝)视频；
[0008]重建所述RGB视频对应的人脸扫描序列，并根据所述人脸扫描序列生成与目标线性模型相同拓扑的人脸网格序列；以及
[0009]基于预设的目标人脸表达模型，对所述人脸网格序列进行拟合，并计算拟合结果和所述人脸网格序列之间的残差，并根据所述残差增强人脸表达模型的嘴部表现。
[0010]根据本申请的一个实施例，所述获取包含人脸说话动作的RGB视频，包括：
[0011]确定获取所述RGB视频的视角个数；
[0012]基于所述视角个数，获取所述RGB视频。
[0013]根据本申请的一个实施例，所述根据所述人脸扫描序列生成与目标线性模型相同拓扑的人脸网格序列，包括：
[0014]基于所述人脸扫描序列，拓扑人脸各顶点离scan最近点；
[0015]基于所述RGB视频，利用预设的检测器进行检测，得到人脸2D landmark；
[0016]基于所述离scan最近点和所述人脸2D landmark得到3D landmark，并根据所述3Dlandmark生成与所述目标线性模型相同拓扑的人脸网格序列。
[0017]根据本申请的一个实施例，所述基于预设的目标人脸表达模型，对所述人脸网格序列进行拟合，包括：
[0018]确定所述人脸网格序列中嘴部区域的权重；
[0019]基于所述权重，利用所述预设的目标人脸表达模型对所述人脸网格序列中每一帧进行拟合，得到所述拟合结果。
[0020]根据本申请的一个实施例，所述计算拟合结果和所述人脸网格序列之间的残差，并根据所述残差增强人脸表达模型的嘴部表现，包括：
[0021]基于预设的PCA(Principal Component Analysis，主成分分析方法)对所有帧的残差进行处理，并根据处理结果中取出满足预设增强条件的主成分分量；
[0022]将所述主成分分量作为新的表情基和新的形状基加入到所述人脸表达模型，以增强所述人脸表达模型的嘴部表现。
[0023]根据本申请实施例提出的基于数据驱动的三维人脸表达模型嘴部表现增强方法，通过根据重建的包含人脸说话动作的RGB视频对应的人脸扫描序列，生成与目标线性模型相同拓扑的人脸网格序列，基于预设的目标人脸表达模型，对人脸网格序列进行拟合，计算拟合结果和人脸网格序列之间的残差，以根据残差增强人脸表达模型的嘴部表现。由此，解决了现阶段人脸重建及表达工作较少考虑到嘴部区域，导致嘴部区域效果不好的问题，改进人脸表达模型，通过提升数据量就能够很好地提升模型表达能力，增强后的人脸线性表达模型能够直接应用到对应的原始工作上。
[0024]为达到上述目的，本申请第二方面实施例提出一种基于数据驱动的三维人脸表达模型嘴部表现增强装置，包括：
[0025]获取模块，用于获取包含人脸说话动作的RGB视频；
[0026]生成模块，用于重建所述RGB视频对应的人脸扫描序列，并根据所述人脸扫描序列生成与目标线性模型相同拓扑的人脸网格序列；以及
[0027]增强模块，用于基于预设的目标人脸表达模型，对所述人脸网格序列进行拟合，并计算拟合结果和所述人脸网格序列之间的残差，并根据所述残差增强人脸表达模型的嘴部表现。
[0028]根据本申请的一个实施例，所述获取模块，具体用于：
[0029]确定获取所述RGB视频的视角个数；
[0030]基于所述视角个数，获取所述RGB视频。
[0031]根据本申请的一个实施例，所述生成模块，具体用于：
[0032]基于所述人脸扫描序列，拓扑人脸各顶点离scan最近点；
[0033]基于所述RGB视频，利用预设的检测器进行检测，得到人脸2D landmark；
[0034]基于所述离scan最近点和所述人脸2D landmark得到3D landmark，并根据所述3Dlandmark生成与所述目标线性模型相同拓扑的人脸网格序列。
[0035]根据本申请的一个实施例，所述增强模块，具体用于：
[0036]确定所述人脸网格序列中嘴部区域的权重；
[0037]基于所述权重，利用所述预设的目标人脸表达模型对所述人脸网格序列中每一帧进行拟合，得到所述拟合结果。
[0038]根据本申请的一个实施例，所述增强模块，具体用于：
[0039]基于预设的PCA对所有帧的残差进行处理，并根据处理结果中取出满足预设增强条件的主成分分量；
[0040]将所述主成分分量作为新的表情基和新的形状基加入到所述人脸表达模型，以增强所述人脸表达模型的嘴部表现。
[0041]根据本申请实施例提出的基于数据驱动的三维人脸表达模型嘴部表现增强装置，通过根据重建的包含人脸说话动作的RGB视频对应的人脸扫描序列，生成与目标线性模型相同拓扑的人脸网格序列，基于预设的目标人脸表达模型，对人脸网格序列进行拟合，计算拟合结果和人脸网格序列之间的残差，以根据残差增强人脸表达模型的嘴部表现。由此，解决了现阶段人脸重建及表达工作较少考虑到嘴部区域，导致嘴部区域效果不好的问题，改进人脸表达模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据驱动的三维人脸表达模型嘴部表现增强方法，其特征在于，包括以下步骤：获取包含人脸说话动作的RGB视频；重建所述RGB视频对应的人脸扫描序列，并根据所述人脸扫描序列生成与目标线性模型相同拓扑的人脸网格序列；以及基于预设的目标人脸表达模型，对所述人脸网格序列进行拟合，并计算拟合结果和所述人脸网格序列之间的残差，并根据所述残差增强人脸表达模型的嘴部表现。2.根据权利要求1所述的方法，其特征在于，所述获取包含人脸说话动作的RGB视频，包括：确定获取所述RGB视频的视角个数；基于所述视角个数，获取所述RGB视频。3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸扫描序列生成与目标线性模型相同拓扑的人脸网格序列，包括：基于所述人脸扫描序列，拓扑人脸各顶点离scan最近点；基于所述RGB视频，利用预设的检测器进行检测，得到人脸2D landmark；基于所述离scan最近点和所述人脸2D landmark得到3D landmark，并根据所述3Dlandmark生成与所述目标线性模型相同拓扑的人脸网格序列。4.根据权利要求1所述的方法，其特征在于，所述基于预设的目标人脸表达模型，对所述人脸网格序列进行拟合，包括：确定所述人脸网格序列中嘴部区域的权重；基于所述权重，利用所述预设的目标人脸表达模型对所述人脸网格序列中每一帧进行拟合，得到所述拟合结果。5.根据权利要求4所述的方法，其特征在于，所述计算拟合结果和所述人脸网格序列之间的残差，并根据所述残差增强人脸表达模型的嘴部表现，包括：基于预设的PCA对所有帧的残差进行处理，并根据处理结果中取出满足预设增强条件的主成分分量；将所述主成分分量作为新的表情基和新...

【专利技术属性】
技术研发人员：徐枫，郑炜熹，
申请(专利权)人：清华大学，
类型：发明
国别省市：