人脸模型的生成方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术提供了一种人脸模型的生成方法、装置、电子设备及可读存储介质，该方法包括：获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。本发明专利技术能够解决现有技术中的人脸模型生成方式不能获得具有表情动作的动态人脸模型的问题。获得具有表情动作的动态人脸模型的问题。获得具有表情动作的动态人脸模型的问题。

【技术实现步骤摘要】
人脸模型的生成方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及通信
，尤其涉及一种人脸模型的生成方法、装置、电子设备及可读存储介质。

技术介绍

[0002]现有技术中生成3D虚拟形象(也即是3D人脸模型或称为数字人)的方式有以下几种：(1)基于一个参数化三维人脸模型，通过改变参数值来得到最终形状的人脸模型。(2)基于目标人脸的单张图像或多张图像，通过计算机算法获得三维人脸模型。目前的这些人脸模型生成方式均是得到单一动作的人脸模型(也即是静态的人脸模型)，无法得到具有表情动作的动态人脸模型。

技术实现思路

[0003]本专利技术提供一种人脸模型的生成方法、装置、电子设备及可读存储介质，解决了现有技术中的人脸模型生成方式不能获得具有表情动作的动态人脸模型的问题。
[0004]本专利技术的实施例提供一种人脸模型的生成方法，包括：
[0005]获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；
[0006]根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；
[0007]通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
[0008]可选地，所述获取目标人脸的静态目标模型，包括：
[0009]获取一基础人脸模型，以及目标人脸的静态初始模型；其中，所述基础人脸模型上的顶点包括：人脸特征关键点和/或人脸肌肉流向的关键点，所述静态初始模型基于目标人脸的图像数据生成；
[0010]根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型；其中，所述基础人脸模型与所述静态目标模型具有相同的顶点拓扑结构。
[0011]可选地，所述根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型，包括：
[0012]确定所述静态初始模型上的第一顶点；其中，所述第一顶点是与所述基础人脸模型上的第二顶点一一对应的一个或多个顶点；
[0013]根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐；
[0014]根据所述静态初始模型的形状，对所述基础人脸模型进行几何形变处理，得到与所述静态初始模型的形状相似的基础人脸模型；
[0015]将与所述静态初始模型的形状相似的的基础人脸模型，确定为所述静态目标模型。
[0016]可选地，所述根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐，包括：
[0017]从所述第一顶点和所述第二顶点中，确定相同的多个关键顶点；
[0018]根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量；
[0019]根据所述空间对齐向量，调整所述第一顶点和/或所述第二顶点的位置信息，将所述静态初始模型与所述基础人脸模型进行空间对齐。
[0020]可选地，所述根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量，包括：
[0021]根据所述静态初始模型上的所述关键顶点相对于第一质心的位置偏移，构建第一矩阵；其中，所述第一质心是所述静态初始模型上所述关键顶点的质心；
[0022]根据所述基础人脸模型上的所述关键顶点相对于第二质心的位置偏移，构建第二矩阵；其中，所述第二质心是所述基础人脸模型上所述关键顶点的质心；
[0023]根据所述第一矩阵、所述第二矩阵、所述第一质心的位置信息和所述第二质心的位置信息，构建所述空间对齐向量。
[0024]可选地，所述根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹，包括：
[0025]根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据；
[0026]根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据；
[0027]从所述人脸表情数据中排除所述头部动作数据，得到所述目标人脸的表情对应的顶点运动轨迹。
[0028]可选地，所述根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据，包括：
[0029]将所述静态目标模型对应的三维的顶点拓扑结构，投影得到二维的顶点拓扑结构；
[0030]从所述第一视频数据中的多个关键帧中，分别提取得到目标人脸上多个关键点的人脸特征；
[0031]根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据。
[0032]可选地，所述根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据，包括：
[0033]将多个关键帧的人脸特征进行归一化处理，得到每个关键帧中对应正面标准人脸的人脸特征；
[0034]根据所述二维的顶点拓扑结构，以及每个关键帧中对应正面标准人脸的人脸特征，通过非线性最小二乘算法计算得到所述目标人脸的头部动作数据。
[0035]可选地，所述根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据，包括：
[0036]确定所述第一视频数据的多个关键帧中的所述目标人脸的人脸肌肉区域；
[0037]根据所述静态目标模型上对应人脸肌肉流向的顶点，对所述目标人脸的人脸肌肉区域进行表情识别处理，得到与所述顶点对应的人脸表情数据。
[0038]可选地，所述通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型，包括：
[0039]确定所述静态目标模型上与所述顶点运动轨迹对应的多个关键顶点；
[0040]将所述顶点运动轨迹的顶点数据一一对应地叠加到所述多个关键顶点的顶点数据上，驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
[0041]本专利技术实施例还提供一种人脸模型的生成装置，包括：
[0042]获取模块，用于获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；
[0043]提取模块，用于根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；
[0044]生成模块，用于通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
[0045]本专利技术实施例还提供一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的人脸模型的生成方法的步骤。
[0046]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸模型的生成方法，其特征在于，包括：获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。2.根据权利要求1所述的方法，其特征在于，所述获取目标人脸的静态目标模型，包括：获取一基础人脸模型，以及目标人脸的静态初始模型；其中，所述基础人脸模型上的顶点包括：人脸特征关键点和/或人脸肌肉流向的关键点，所述静态初始模型基于目标人脸的图像数据生成；根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型；其中，所述基础人脸模型与所述静态目标模型具有相同的顶点拓扑结构。3.根据权利要求2所述的方法，其特征在于，所述根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型，包括：确定所述静态初始模型上的第一顶点；其中，所述第一顶点是与所述基础人脸模型上的第二顶点一一对应的一个或多个顶点；根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐；根据所述静态初始模型的形状，对所述基础人脸模型进行几何形变处理，得到与所述静态初始模型的形状相似的基础人脸模型；将与所述静态初始模型的形状相似的的基础人脸模型，确定为所述静态目标模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐，包括：从所述第一顶点和所述第二顶点中，确定相同的多个关键顶点；根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量；根据所述空间对齐向量，调整所述第一顶点和/或所述第二顶点的位置信息，将所述静态初始模型与所述基础人脸模型进行空间对齐。5.根据权利要求4所述的方法，其特征在于，所述根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量，包括：根据所述静态初始模型上的所述关键顶点相对于第一质心的位置偏移，构建第一矩阵；其中，所述第一质心是所述静态初始模型上所述关键顶点的质心；根据所述基础人脸模型上的所述关键顶点相对于第二质心的位置偏移，构建第二矩阵；其中，所述第二质心是所述基础人脸模型上所述关键顶点的质心；根据所述第一矩阵、所述第二矩阵、所述第一质心的位置信息和所述第二质心的位置信息，构建所述空间对齐向量。6.根据权利要求1所述的方法，其特征在于，所述根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹，包括：
根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获...

【专利技术属性】
技术研发人员：罗志平，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：