一种语音驱动三维人脸生成方法、系统及设备技术方案

本发明专利技术提供一种语音驱动三维人脸生成方法、系统及设备，所述方法包括：采集包含人脸并说话的视频样本，对所述视频样本提取视频数据和对应的音频数据；获取所述视频数据每一帧的三维人脸数据，并构建每个所述视频数据的标准四维人脸数据集和对应所述视频数据的三维人脸模板；提取所述音频数据的语音特征；与现有技术相比，本发明专利技术通过将提取到的所述音频数据的语音特征输入构建的语音驱动模型中进行训练，得到预测四维人脸数据集，并与基于所述视频数据获得的标准四维人脸数据集进行损失计算，能够在较少的训练样本的情况下，实现对模型的快速训练。

【技术实现步骤摘要】

本专利技术涉及计算机信息处理领域，更具体地，涉及一种语音驱动三维人脸生成方法、系统及设备。

技术介绍

1、三维人脸语音驱动是指通过解析语音信号，驱动数字人做出和语音内容相符的表情。这种技术广泛应用于人机交互、电影特效、动画制作等领域。现有的技术多数都是估计人脸网格每个顶点相对模板的运动量。这种方法要求产品中的人脸拓扑结构和训练神经网络时的人脸拓扑结构必须一致。这导致了产品的多样性受到限制。另外，现有技术的一些应用中还需要获取四维训练数据，四维数据是指随时间变化的三维人脸，通过用三维人脸采集装置和麦克风记录说话者说话的整个过程。为了获得四维训练数据，需要昂贵的三维人脸采集装置，而且三维人脸采集装置获得的原始点云需要经过注册才可以获得和模板相同的拓扑结构，这个过程非常繁琐且耗时。

技术实现思路

1、本专利技术旨在克服上述现有技术的至少一种缺陷，提供一种语音驱动三维人脸生成方法及系统，能够快速地获得较高精度的三维人脸。

2、本专利技术采取的技术方案为：

3、本专利技术提供一种语音驱动三维人脸本文档来自技高网...

【技术保护点】

1.一种语音驱动三维人脸生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种语音驱动三维人脸生成方法，其特征在于，

3.根据权利要求2所述的一种语音驱动三维人脸生成方法，其特征在于，

4.根据权利要求1所述的一种语音驱动三维人脸生成方法，其特征在于，所述将每段所述音频数据对应的所述语音特征输入所述语音驱动模型进行预测时，所述语音驱动模型逐帧对每段所述音频数据对应的所述语音特征进行预测，其中，所述语音驱动模型将当前帧的所述语音特征，与所述语音驱动模型对前一帧的所述语音特征进行预测的输出结果作为输入进行预测；如当前帧为所述语音特征的第一帧，则...

【技术特征摘要】

1.一种语音驱动三维人脸生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种语音驱动三维人脸生成方法，其特征在于，

3.根据权利要求2所述的一种语音驱动三维人脸生成方法，其特征在于，

4.根据权利要求1所述的一种语音驱动三维人脸生成方法，其特征在于，所述将每段所述音频数据对应的所述语音特征输入所述语音驱动模型进行预测时，所述语音驱动模型逐帧对每段所述音频数据对应的所述语音特征进行预测，其中，所述语音驱动模型将当前帧的所述语音特征，与所述语音驱动模型对前一帧的所述语音特征进行预测的输出结果作为输入进行预测；如当前帧为所述语音特征的第一帧，则前一帧的所述语音特征预测的输出结果为空。

5.根据权利要求4所述的一种语音驱动三维人脸生成方法，其特征在于，所述将每段所述音频数据对...

【专利技术属性】
技术研发人员：覃镇波，王刚，李观喜，张磊，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：