人脸图像重演方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开人脸图像重演方法、装置、计算机设备及存储介质，该方法包括：采集目标用户人脸图像的第一参数集和第二参数集；根据所述第一参数集和第二参数集对所述人脸图像进行三维建模，生成第一模拟图像和第二模拟图像；将所述第一模拟图像和第二模拟图像输入至预设的运动预估模型中；读取所述运动预估模型输出的运动向量，并将预设的源图像和所述运动向量输入至预设的人脸重演模型中；读取所述人脸重演模型输出的所述人脸图像的重演图像。通过该方法，实现了基于两张人脸图像的参数集，生成真实人脸图像的重演，提高了重演图像的真实性，使重演技术的适用性更加广泛。使重演技术的适用性更加广泛。使重演技术的适用性更加广泛。

【技术实现步骤摘要】
人脸图像重演方法、装置、计算机设备及存储介质


[0001]本申请实施例涉及图像处理领域，尤其是一种人脸图像重演方法、装置、计算机设备及存储介质。

技术介绍

[0002]人脸重演技术，是基于一张给定的2D人脸驱动图像的表情和姿态，对另一张人脸源图片进行驱动生成的图片。生成的人脸图片将保留人脸源图片的身份信息，同时包含人脸驱动图像的表情和姿态。目前在可视化通信、虚拟会议、游戏娱乐、教学辅助、直播和短视频等具有广泛的应用。
[0003]现有技术中的人脸推演技术，通常采用提取人脸图形的关键点特征信息，然后，根据关键点特征信息进行三维图像建模，建模完成后根据建模模型实现对人脸图像的模拟重演。本申请创造的专利技术人在研究中发现：现有技术中人脸推演技术只能实现人脸图像的模拟重演，无法通过现实人脸图像实现现实状态的人脸图像重演。

技术实现思路

[0004]本申请实施例提供一种能够实现现实状态人脸图像重演的人脸图像重演方法、装置、计算机设备及存储介质。
[0005]为解决上述技术问题，本申请创造的实施例采用的一个技术方案是：提供一种人脸图像重演方法，包括：
[0006]采集目标用户人脸图像的第一参数集和第二参数集；
[0007]根据所述第一参数集和第二参数集对所述人脸图像进行三维建模，生成第一模拟图像和第二模拟图像；
[0008]将所述第一模拟图像和第二模拟图像输入至预设的运动预估模型中，其中，所述运动预估模型用于根据同一人脸的不同图像计算人脸运动向量的神经网络模型；
[0009]读取所述运动预估模型输出的运动向量，并将预设的源图像和所述运动向量输入至预设的人脸重演模型中，其中，所述人脸重演模型用于根据人脸图像和运动向量生成重演图像的神经网络模型；
[0010]读取所述人脸重演模型输出的所述人脸图像的重演图像。
[0011]可选地，所述采集目标用户人脸图像的第一参数集和第二参数集包括：
[0012]采集所述人脸图像的源图像和驱动图像，其中，所述源图像和驱动图像中的人脸图像存在姿态差异；
[0013]通过所述源图像采集所述第一参数集，并通过所述驱动图像采集所述第二参数集。
[0014]可选地，所述第一参数集包括：第一身份系数、第一表情系数和第一姿态系数，所述第二参数集包括：第一身份系数、第二表情系数和第二姿态系数，所述根据所述第一参数集和第二参数集对所述人脸图像进行三维建模，生成第一模拟图像和第二模拟图像：
[0015]将所述第一身份系数、第一表情系数和第一姿态系数输入至预设的三维建模模型中，生成所述第一模拟图像；
[0016]将所述第一身份系数、第二表情系数和第二姿态系数输入至所述三维建模模型中，生成所述第二模拟图像。
[0017]可选地，所述运动预估模型包括第一卷积通道和第一反卷积通道，所述将所述第一模拟图像和第二模拟图像输入至预设的运动预估模型中包括：
[0018]将所述第一模拟图像和第二模拟图像进行图像叠加后生成第一叠加图像，并将所述第一叠加图像输入至所述运动预估模型中；
[0019]所述运动预估模型通过第一卷积通道对所述第一叠加图像进行卷积池化处理，生成第一下采样特征；
[0020]所述运动预估模型通过第一反卷积通道对所述第一下采样特征进行插值处理，生成第一上采样特征；
[0021]将所述第一下采样特征和所述第一上采样特征进行特征融合叠加生成所述运动向量。
[0022]可选地，所述人脸重演模型包括第二卷积通道和第二反卷积通道，所述将预设的源图像和所述运动向量输入至预设的人脸重演模型中包括：
[0023]将所述源图像和运动向量进行叠加后生成第二叠加图像，并将所述第二叠加图像输入至所述人脸重演模型中；
[0024]所述人脸重演模型通过所述第二卷积通道对所述第二叠加图像进行卷积池化处理，生成第二下采样特征；
[0025]所述人脸重演模型通过所述第二反卷积通道对所述第二下采样特征进行插值处理，生成第二上采样特征；
[0026]将所述第二下采样特征和所述第二上采样特征进行特征融合叠加生成所述重演图像。
[0027]可选地，所述将预设的源图像和所述运动向量输入至预设的人脸重演模型中之后，包括：
[0028]读取预设的驱动图像，其中，所述第二参数集根据所述驱动图像提取得到；
[0029]基于预设的损失函数，计算所述重演图像与所述驱动图像之间的特征差值；
[0030]将所述特征差值与预设的损失阈值进行比对，当所述特征差值大于所述损失阈值，根据所述特征差值反复迭代的对所述运动预估模型和人脸重演模型的权重进行校正，直至所述特征差值小于等于所述损失阈值为止。
[0031]可选地，所述损失函数为联合损失函数，所述联合损失函数用于约束所述重演图像与所述驱动图像之间的像素差平方平均值，以及特征余弦相似度值。
[0032]为解决上述技术问题，本申请实施例还提供一种人脸图像重演装置，包括：
[0033]采集模块，用于采集目标用户人脸图像的第一参数集和第二参数集；
[0034]建模模块，用于根据所述第一参数集和第二参数集对所述人脸图像进行三维建模，生成第一模拟图像和第二模拟图像；
[0035]预估模块，用于将所述第一模拟图像和第二模拟图像输入至预设的运动预估模型中，其中，所述运动预估模型用于根据同一人脸的不同图像计算人脸运动向量的神经网络
模型；
[0036]重演模块，用于读取所述运动预估模型输出的运动向量，并将预设的源图像和所述运动向量输入至预设的人脸重演模型中，其中，所述人脸重演模型用于根据人脸图像和运动向量生成重演图像的神经网络模型；
[0037]读取模块，用于读取所述人脸重演模型输出的所述人脸图像的重演图像。
[0038]可选地，所述人脸图像重演装置还包括：
[0039]第一采集子模块，用于采集所述人脸图像的源图像和驱动图像，其中，所述源图像和驱动图像中的人脸图像存在姿态差异；
[0040]第一处理子模块，用于通过所述源图像采集所述第一参数集，并通过所述驱动图像采集所述第二参数集。
[0041]可选地，所述第一参数集包括：第一身份系数、第一表情系数和第一姿态系数，所述第二参数集包括：第一身份系数、第二表情系数和第二姿态系数，所述人脸图像重演装置还包括：
[0042]第一建模子模块，用于将所述第一身份系数、第一表情系数和第一姿态系数输入至预设的三维建模模型中，生成所述第一模拟图像；
[0043]第二建模子模块，用于将所述第一身份系数、第二表情系数和第二姿态系数输入至所述三维建模模型中，生成所述第二模拟图像。
[0044]可选地，所述运动预估模型包括第一卷积通道和第一反卷积通道，所述人脸图像重演装置还包括：
[0045]第一输入子模块，用于将所述第一模拟图像和第二模拟图像进行图像叠加后生成第一叠加图像，并将所述第一叠加图像输入至所述运动预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像重演方法，其特征在于，包括：采集目标用户人脸图像的第一参数集和第二参数集；根据所述第一参数集和第二参数集对所述人脸图像进行三维建模，生成第一模拟图像和第二模拟图像；将所述第一模拟图像和第二模拟图像输入至预设的运动预估模型中，其中，所述运动预估模型用于根据同一人脸的不同图像计算人脸运动向量的神经网络模型；读取所述运动预估模型输出的运动向量，并将预设的源图像和所述运动向量输入至预设的人脸重演模型中，其中，所述人脸重演模型用于根据人脸图像和运动向量生成重演图像的神经网络模型；读取所述人脸重演模型输出的所述人脸图像的重演图像。2.根据权利要求1所述的人脸图像重演方法，其特征在于，所述采集目标用户人脸图像的第一参数集和第二参数集包括：采集所述人脸图像的源图像和驱动图像，其中，所述源图像和驱动图像中的人脸图像存在姿态差异；通过所述源图像采集所述第一参数集，并通过所述驱动图像采集所述第二参数集。3.根据权利要求1所述的人脸图像重演方法，其特征在于，所述第一参数集包括：第一身份系数、第一表情系数和第一姿态系数，所述第二参数集包括：第一身份系数、第二表情系数和第二姿态系数，所述根据所述第一参数集和第二参数集对所述人脸图像进行三维建模，生成第一模拟图像和第二模拟图像：将所述第一身份系数、第一表情系数和第一姿态系数输入至预设的三维建模模型中，生成所述第一模拟图像；将所述第一身份系数、第二表情系数和第二姿态系数输入至所述三维建模模型中，生成所述第二模拟图像。4.根据权利要求1所述的人脸图像重演方法，其特征在于，所述运动预估模型包括第一卷积通道和第一反卷积通道，所述将所述第一模拟图像和第二模拟图像输入至预设的运动预估模型中包括：将所述第一模拟图像和第二模拟图像进行图像叠加后生成第一叠加图像，并将所述第一叠加图像输入至所述运动预估模型中；所述运动预估模型通过第一卷积通道对所述第一叠加图像进行卷积池化处理，生成第一下采样特征；所述运动预估模型通过第一反卷积通道对所述第一下采样特征进行插值处理，生成第一上采样特征；将所述第一下采样特征和所述第一上采样特征进行特征融合叠加生成所述运动向量。5.根据权利要求1所述的人脸图像重演方法，其特征在于，所述人脸重演模型包括第二卷积通道和第二反卷积通道，所述将预设的源图像和所述运动向量输入至预设的人脸重演模型中包括：将...

【专利技术属性】
技术研发人员：郑康元，王雷，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：