人脸视频生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及图像处理领域，公开了一种人脸视频生成方法、装置、设备及存储介质，用于低成本地得到与真人表现接近的虚拟人脸视频。人脸视频生成方法包括：获取真人视频和二维虚拟人脸图像，真人视频的每个视频帧中均包含人脸；将二维虚拟人脸图像和真人视频中的目标视频帧输入第一预设编码器，生成目标人脸关键点矩阵；将二维虚拟人脸图像输入第二预设编码器，生成目标三维特征向量；将目标人脸关键点矩阵和目标三维特征向量输入预设图像生成器，生成目标虚拟人脸图像；根据真人视频得到多个目标虚拟人脸图像，将多个目标虚拟人脸图像进行合成，得到仿三维虚拟人脸视频，每个目标虚拟人脸图像对应真人视频的一个视频帧。脸图像对应真人视频的一个视频帧。脸图像对应真人视频的一个视频帧。

【技术实现步骤摘要】
人脸视频生成方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种人脸视频生成方法、装置、设备及存储介质。

技术介绍

[0002]随着元宇宙及虚拟主播行业的快速发展，出现了各种虚拟主播软件，通过实时动作捕捉来驱动渲染的虚拟人。
[0003]目前主流的方式有两种，一种是通过佩戴专业设备采集真人表情信息，将真人的表情信息附在3D模型上，得到有丰富面部表情的虚拟人，这种方式精度高但相应的设备成本和模型成本也高。另一种是通过摄像头采集人脸表情信息，再基于人脸表情信息对2D人物模型进行渲染，这种方式成本低但精度不高且2D人物模型的表情数量有限。
[0004]综上所述，在现有的技术中，无法低成本地得到与真人表现接近的虚拟人脸视频。

技术实现思路

[0005]本专利技术的主要目的在于提供一种人脸视频生成方法，解决低成本生成与真人表现接近的虚拟人脸视频的问题，降低生成与真人表现接近的虚拟人脸视频的成本。
[0006]本专利技术第一方面提供了一种人脸视频生成方法，包括：获取真人视频和二维虚拟人脸图像，所述真人视频的每个视频帧中均包含人脸；将所述二维虚拟人脸图像和所述真人视频中的目标视频帧输入第一预设编码器，生成目标人脸关键点矩阵，所述目标人脸关键点矩阵根据目标人脸基准关键点矩阵、目标人脸旋转角矩阵、目标人脸位置偏移矩阵和目标人脸表情矩阵计算得到；将所述二维虚拟人脸图像输入第二预设编码器，生成目标三维特征向量；将所述目标人脸关键点矩阵和所述目标三维特征向量输入预设图像生成器，生成目标虚拟人脸图像；根据所述真人视频得到多个目标虚拟人脸图像，将所述多个目标虚拟人脸图像进行合成，得到仿三维虚拟人脸视频，每个目标虚拟人脸图像对应所述真人视频的一个视频帧。
[0007]可选的，在本专利技术第一方面的第一种实现方式中，所述将所述二维虚拟人脸图像和所述真人视频中的目标视频帧输入第一预设编码器，生成目标人脸关键点矩阵，包括：将所述二维虚拟人脸模型图像输入第一预设编码器进行特征提取，得到目标人脸基准关键点矩阵；将所述目标真人视频帧输入第一预设编码器进行特征提取，得到目标人脸旋转角矩阵、目标人脸位置偏移矩阵和目标人脸表情矩阵；根据预设公式对所述人脸基准关键点矩阵、所述目标人脸旋转角矩阵、所述目标人脸位置偏移矩阵和所述目标人脸表情矩阵进行计算，得到目标人脸关键点特征矩阵。
[0008]可选的，在本专利技术第一方面的第二种实现方式中，所述将所述二维虚拟人脸图像输入第二预设编码器，生成目标三维特征向量，包括：从所述二维虚拟人脸模型图像中提取虚拟人脸特征，所述虚拟人脸特征包括虚拟脸型特征、虚拟五官特征和虚拟发型特征；根据所述虚拟人脸特征生成目标三维特征向量。
[0009]可选的，在本专利技术第一方面的第三种实现方式中，所述根据所述真人视频得到多个目标虚拟人脸图像，将所述多个目标虚拟人脸图像进行合成，得到仿三维虚拟人脸视频，每个目标虚拟人脸图像对应所述真人视频的一个视频帧，包括：所述真人视频中的每个视频帧对应生成一个目标虚拟人脸图像，得到多个目标虚拟人脸图像；按照所述真人视频中视频帧的时间戳顺序将每个视频帧对应的目标虚拟人脸图像进行排序；将排好序的目标虚拟人脸图像序列导出为视频格式，得到仿三维虚拟人脸视频。
[0010]可选的，在本专利技术第一方面的第四种实现方式中，在获取真人视频和二维虚拟人脸图像之前，还包括：搭建初始模型，对所述初始模型进行训练，得到第一预设编码器、第二预设编码器和预设图像生成器。
[0011]可选的，在本专利技术第一方面的第五种实现方式中，所述搭建初始模型，对所述初始模型进行训练，得到第一预设编码器、第二预设编码器和预设图像生成器，包括：搭建初始模型，所述初始模型包括第一初始编码器、第二初始编码器和初始图像生成器，所述第一初始编码器和所述第二初始编码器分别与所述初始图像生成器级联，所述第一初始编码器和所述第二初始编码器均包括卷积层和全连接层，所述初始图像生成器为生成式对抗网络，所述生成式对抗网络包括生成器和判别器；采集多组训练图像，每组训练图像包括两张同一人的图像，所述两张同一人的图像中人物表情不同；利用所述多组训练图像对所述初始模型进行训练；将训练好的第一初始编码器确定为第一预设编码器，将训练好的第二初始编码器确定为第二预设编码器，将训练好的初始图像生成器中的生成器确定为预设图像生成器。
[0012]可选的，在本专利技术第一方面的第六种实现方式中，所述利用所述多组训练图像对所述初始模型进行训练，包括：将每组训练图像中的一张图像作为源图像、另一张图像作为驱动图像，将所述驱动图像进行偏移处理，得到偏移图像；将所述源图像、所述驱动图像和所述偏移图像输入所述第一初始编码器，将所述源图像输入所述第二初始编码器，从所述初始图像生成器的输出端得到训练人脸图像；基于一致性网络将所述训练人脸图像与所述驱动图像进行比较，根据比较结果调整所述初始模型的参数，所述一致性网络包括感知损失函数和特征匹配损失函数。
[0013]本专利技术第二方面提供了一种人脸视频生成装置，包括：获取模块，用于获取真人视频和二维虚拟人脸图像，所述真人视频的每个视频帧中均包含人脸；第一生成模块，用于将所述二维虚拟人脸图像和所述真人视频中的目标视频帧输入第一预设编码器，生成目标人脸关键点矩阵，所述目标人脸关键点矩阵根据目标人脸基准关键点矩阵、目标人脸旋转角矩阵、目标人脸位置偏移矩阵和目标人脸表情矩阵计算得到；第二生成模块，用于将所述二维虚拟人脸图像输入第二预设编码器，生成目标三维特征向量；第三生成模块，用于将所述目标人脸关键点矩阵和所述目标三维特征向量输入预设图像生成器，生成目标虚拟人脸图像；合成模块，用于根据所述真人视频得到多个目标虚拟人脸图像，将所述多个目标虚拟人脸图像进行合成，得到仿三维虚拟人脸视频，每个目标虚拟人脸图像对应所述真人视频的一个视频帧。
[0014]可选的，在本专利技术第二方面的第一种实现方式中，所述第一生成模块具体用于：将所述二维虚拟人脸模型图像输入第一预设编码器进行特征提取，得到目标人脸基准关键点矩阵；将所述目标真人视频帧输入第一预设编码器进行特征提取，得到目标人脸旋转角矩
阵、目标人脸位置偏移矩阵和目标人脸表情矩阵；根据预设公式对所述人脸基准关键点矩阵、所述目标人脸旋转角矩阵、所述目标人脸位置偏移矩阵和所述目标人脸表情矩阵进行计算，得到目标人脸关键点特征矩阵。
[0015]可选的，在本专利技术第二方面的第二种实现方式中，所述第二生成模块具体用于：从所述二维虚拟人脸模型图像中提取虚拟人脸特征，所述虚拟人脸特征包括虚拟脸型特征、虚拟五官特征和虚拟发型特征；根据所述虚拟人脸特征生成目标三维特征向量。
[0016]可选的，在本专利技术第二方面的第三种实现方式中，所述合成模块具体用于：所述真人视频中的每个视频帧对应生成一个目标虚拟人脸图像，得到多个目标虚拟人脸图像；按照所述真人视频中视频帧的时间戳顺序将每个视频帧对应的目标虚拟人脸图像进行排序；将排好序的目标虚拟人脸图像序列导出为视频格式，得到仿三维虚拟人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸视频生成方法，其特征在于，所述人脸视频生成方法包括：获取真人视频和二维虚拟人脸图像，所述真人视频的每个视频帧中均包含人脸；将所述二维虚拟人脸图像和所述真人视频中的目标视频帧输入第一预设编码器，生成目标人脸关键点矩阵，所述目标人脸关键点矩阵根据目标人脸基准关键点矩阵、目标人脸旋转角矩阵、目标人脸位置偏移矩阵和目标人脸表情矩阵计算得到；将所述二维虚拟人脸图像输入第二预设编码器，生成目标三维特征向量；将所述目标人脸关键点矩阵和所述目标三维特征向量输入预设图像生成器，生成目标虚拟人脸图像；根据所述真人视频得到多个目标虚拟人脸图像，将所述多个目标虚拟人脸图像进行合成，得到仿三维虚拟人脸视频，每个目标虚拟人脸图像对应所述真人视频的一个视频帧。2.根据权利要求1所述的人脸视频生成方法，其特征在于，所述将所述二维虚拟人脸图像和所述真人视频中的目标视频帧输入第一预设编码器，生成目标人脸关键点矩阵，包括：将所述二维虚拟人脸模型图像输入第一预设编码器进行特征提取，得到目标人脸基准关键点矩阵；将所述目标真人视频帧输入第一预设编码器进行特征提取，得到目标人脸旋转角矩阵、目标人脸位置偏移矩阵和目标人脸表情矩阵；根据预设公式对所述人脸基准关键点矩阵、所述目标人脸旋转角矩阵、所述目标人脸位置偏移矩阵和所述目标人脸表情矩阵进行计算，得到目标人脸关键点特征矩阵。3.根据权利要求1所述的人脸视频生成方法，其特征在于，所述将所述二维虚拟人脸图像输入第二预设编码器，生成目标三维特征向量，包括：从所述二维虚拟人脸模型图像中提取虚拟人脸特征，所述虚拟人脸特征包括虚拟脸型特征、虚拟五官特征和虚拟发型特征；根据所述虚拟人脸特征生成目标三维特征向量。4.根据权利要求1所述的人脸视频生成方法，其特征在于，所述根据所述真人视频得到多个目标虚拟人脸图像，将所述多个目标虚拟人脸图像进行合成，得到仿三维虚拟人脸视频，每个目标虚拟人脸图像对应所述真人视频的一个视频帧，包括：所述真人视频中的每个视频帧对应生成一个目标虚拟人脸图像，得到多个目标虚拟人脸图像；按照所述真人视频中视频帧的时间戳顺序将每个视频帧对应的目标虚拟人脸图像进行排序；将排好序的目标虚拟人脸图像序列导出为视频格式，得到仿三维虚拟人脸视频。5.根据权利要求1
‑
4中任一项所述的人脸视频生成方法，其特征在于，在获取真人视频和二维虚拟人脸图像之前，还包括：搭建初始模型，对所述初始模型进行训练，得到第一预设编码器、第二预设编码器和预设图像生成器。6.根据权利要求5所述的人脸视频生成方法，其特征在于，所述搭建初始模型，对所述初始模型进行训练，得到第一预设编码器、第二预设编码器和预设图像生成器，包括：...

【专利技术属性】
技术研发人员：叶明，李佼，盛建达，戴磊，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：