基于唇动人脸生成技术的带表情说话人脸图像生成方法技术

本发明专利技术公开了基于唇动人脸生成技术的带表情说话人脸图像生成方法，包括如下步骤：S1、获取原视频，指定语言的单说话人视频，基于该原视频，得到翻译成另一种指定语言的人声音频和不带表情的图片序列；S2、基于另一种指定语言的人声音频，得到人声特征向量；S3、基于不带表情的图片序列，得到人脸特征向量；S4、基于预先给定的原视频人脸真实表情标注，得到人脸表情信息特征向量；S5、基于人声、人脸、表情信息特征向量，得到初始生成人脸；S6、将初始生成人脸通过鉴别器，获得自然带表情说话人脸图像序列。该方法通过引入一个额外的用于生成人脸表情的表情标签编码器、一个用于计算表情同步损失的预训练表情鉴别器，使其带有自然的面部表情。

【技术实现步骤摘要】

本专利技术涉及深度学习图像处理，具体指一种基于唇动人脸生成技术的带表情说话人脸图像生成方法。

技术介绍

1、唇语生成技术是数字媒体领域的一项关键技术，它的应用范围涵盖了数字人物、口播视频生成、电影特效制作等领域。这一技术的核心概念在于将声音或语音转化为与声音内容相匹配的唇部动作，从而实现虚拟人物或数字角色的真实说话效果。近年来，wav2lip等技术已经在唇语生成领域取得了显著的进展，使唇部运动与声音高度同步，创造出逼真的说话效果。

2、然而，现有的唇语生成技术主要集中在准确的唇部运动生成上，通常忽略了面部表情的重要性。这意味着生成的虚拟人脸在说话时缺乏自然的表情，无法有效地传达情感和人际互动。在数字媒体、虚拟通信以及娱乐产业中，面部表情是情感传达和人物塑造的关键组成部分，因此，对唇语生成技术的进一步改进是至关重要的。

技术实现思路

1、本专利技术针对现有技术生成的人脸无明显面部表情的不足，提出一种基于唇动人脸生成技术的带表情说话人脸图像生成方法，通过引入一个额外的用于生成人脸表情的表情标签编码器、本文档来自技高网...

【技术保护点】

1.一种基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，所述步骤S1中，获取另一种指定语言的人声音频的方法为：

3.根据权利要求2所述的基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，所述步骤S1中，不带表情的图片序列的获取方法为：将原视频的图片序列通过预训练的妆容迁移模型PSGAN，获得去除表情的人脸图片序列F^*。

4.根据权利要求1所述的基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，所述步骤S4中，给定...

【技术特征摘要】

1.一种基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，所述步骤s1中，获取另一种指定语言的人声音频的方法为：

3.根据权利要求2所述的基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，所述步骤s1中，不带表情的图片序列的获取方法为：将原视频的图片序列通过预训练的妆容迁移模型psgan，获得去除表情的人脸图片序列f^*。

4.根据权利要求1所述的基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，所述步骤s4中，给定的人脸视频真实表情标签通过开源数据集获取。

5.根据权利要求1所述的基于唇动人脸生成技术的带表情说话人脸图像生成方法，其特征在于，...

【专利技术属性】
技术研发人员：张奉静，何璞玉，赵子莹，余宙，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：