一种基于音频情感感知的说话人脸视频生成方法及系统技术方案

本发明专利技术公开了一种基于音频情感感知的说话人脸视频生成方法及系统，涉及说话人脸视频生成技术领域。包括步骤：获取音频片段和参考图像，利用有情感的人脸标记生成网络，生成有情感的人脸标记序列；根据有情感的人脸标记序列与参考图像，利用特征自适应视觉变换网络逐帧生成说话人的面部图像，进而生成说话人脸视频，其中，将情感的人脸标记序列转化为情感人脸标记图片；提取标记嵌入表示并重构情感人脸标记图片；根据参考图像生成图像嵌入表示；将图像嵌入表示以及标记嵌入表示通过特征自适应变换与重构的情感人脸标记图片融合，得到说话人的面部图像。本发明专利技术克服了现有技术中音唇不同步、情感一致性差、生成图像质量低的缺陷。生成图像质量低的缺陷。生成图像质量低的缺陷。

【技术实现步骤摘要】
一种基于音频情感感知的说话人脸视频生成方法及系统


[0001]本专利技术涉及说话人脸视频生成
，尤其涉及一种基于音频情感感知的说话人脸视频生成方法及系统。

技术介绍

[0002]说话人脸视频生成（Talking Face Generation）任务是通过特定人物的面部图像或者视频和一段音频合成该人物说话的视频。合成的说话人的视频既要保留该人物的视觉外观信息，同时，又要令一系列的面部动作和表情与输入音频保持一致，以确保多模态的一致性。该任务在现实场景下具有很强的应用价值，例如：虚拟主播、电影动画和电话会议等。鉴于此，许多研究员致力于研究如何解决说话人视频生成的问题，并提出了一系列基于深度神经网络的解决方法。虽然这些方法都取得了不小的效益，但是由于目前生成的人脸视频存在情感不同步、口型不准确、图像质量不足等问题，所以针对说话人视频生成任务的研究依旧是十分必要的。
[0003]随着计算机视觉和音频处理技术的飞速发展，一些解决说话人视频生成任务的方法被提出，大体上可以分为基于视频的说话人视频生成方法和基于图像的说话人视频生成方法两类。前者本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音频情感感知的说话人脸视频生成方法，其特征在于，包括：包括以下步骤：获取音频片段和参考图像，利用有情感的人脸标记生成网络，生成有情感的人脸标记序列；根据有情感的人脸标记序列与参考图像，利用特征自适应视觉变换网络逐帧生成说话人的面部图像；将说话人面部图像按顺序进行组合，生成说话人脸视频；其中，利用特征自适应视觉变换网络逐帧生成说话人的面部图像的具体步骤包括：根据有情感的人脸标记序列提取表情变化信息和唇部运动信息，通过连线的方式将情感的人脸标记序列转化为情感人脸标记图片；通过挖掘情感人脸标记图片中的空间信息，提取标记嵌入表示，根据标记嵌入表示重构情感人脸标记图片；根据参考图像中的身份信息和纹理信息，生成图像嵌入表示；将图像嵌入表示以及标记嵌入表示通过特征自适应变换与重构的情感人脸标记图片融合，得到说话人的面部图像。2.如权利要求1所述的基于音频情感感知的说话人脸视频生成方法，其特征在于，所述参考图像为说话人视频生成任务所需图像，所述参考图像包含身份信息和纹理信息。3.如权利要求1所述的基于音频情感感知的说话人脸视频生成方法，其特征在于，利用有情感的人脸标记生成网络，生成有情感的人脸标记序列的具体步骤包括：对音频片段进行编码得到初始编码，通过挖掘初始编码的信息，得到音频的全局特征表示和音频的序列特征表示，将音频的全局特征表示分离，得到音频内容特征表示和音频情感特征表示；采用视觉情感表示通过相似度度量的方式对音频情感特征表示进行协调，形成新的音频的全局特征表示；从参考图像中提取图像的初始人脸标记；结合初始人脸标记、音频的序列特征表示和新的音频全局特征表示生成有情感的人脸标记序列。4.如权利要求3所述的基于音频情感感知的说话人脸视频生成方法，其特征在于，采用视觉情感表示通过相似度度量的方式对音频情感特征表示进行协调，形成新的音频的全局特征表示的具体步骤为：利用已知的真实人脸标记提取视觉情感特征表示；利用情感分类预测方法对视觉情感特征表示进行增强，得到增强后的视觉情感特征表示；采用协调表示的方法，通过相似度度量的计算方式使得音频情感特征表示近似于增强后的视觉情感特征表示。5.如权利要求4所述的基于音频情感感知的说话人脸视频生成方法，其特征在于，结合初始人脸标记、音频的序列特征表示和新的音频全局特征表示生成有情感的人脸标记序列的具体步骤为：提取音频的序列特征表示中的每个音频状态；基于新的音频全局特征表示，利用注意力模块对每个音频状态进行时序增强，得到时
序增强后的特征表示；利用增强后的特征表示和参考图像的初始人脸标记解码每个音...

【专利技术属性】
技术研发人员：刘萌，王旭峰，宋雪萌，许海振，刘慧，翟书言，聂礼强，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：