深度伪造换脸图像生成方法、系统、设备及存储介质技术方案

本发明专利技术属于图像处理领域，公开了一种深度伪造换脸图像生成方法、系统、设备及存储介质，包括：获取源人脸图像和目标人脸图像；调用预设的人脸编码器，得到源人脸图像的风格空间下的潜向量；以及目标人脸图像的风格空间下的潜向量、姿态空间下的潜向量及人脸区域掩码图像；调用预设的潜向量选择器得到初步交换潜向量；调用预设的人脸属性稳定器得到交换潜向量；调用预设的人脸生成器得到初步换脸图像；最后根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设的面部融合器进行融合得到换脸图像。有效提升了换脸图像的图像质量，缩小与真实图像之间的差距。缩小与真实图像之间的差距。缩小与真实图像之间的差距。

【技术实现步骤摘要】
深度伪造换脸图像生成方法、系统、设备及存储介质


[0001]本专利技术属于图像处理领域，涉及一种深度伪造换脸图像生成方法、系统、设备及存储介质。

技术介绍

[0002]随着深度学习技术的发展，深度伪造换脸图像的生成技术难度在不断降低，生成的深度伪造换脸图像视频质量也在不断提高。换脸就是在保持目标人脸图像面部属性例如表情、姿态、肤色以及光线等不变的情况下将源人脸图像的身份信息无缝迁移到目标人脸图像中并产生以假乱真的结果。换脸的技术路线也可分为基于特定目标换脸方式和非特定目标换脸方式，前者的换脸模型针对某一对人物通过大量图像视频数据作为支撑来进行模型训练，但通用型较差。后者的换脸模型在完成训练后可应用于不同人物之间的换脸。
[0003]目前，通用的换脸方式是将目标人脸图像和源人脸图像映射到隐空间中得到对应的潜向量并进行部分交换，将交换后的潜向量输入到预训练的StyleGAN生成器中实现非特定目标的换脸。该技术能够实现换脸任务，但是未考虑潜向量的选择问题出现部分人脸属性错误交换的等现象。另一方面由于StyleGAN生成器生成的图片存在背景及头发虚化等问题，使得生成的换脸图像质量低，与真实图像存在较大差距。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术中，现有深度伪造换脸图像生成方法生成的换脸图像的质量低，与真实图像存在较大差距的缺点，提供一种深度伪造换脸图像生成方法、系统、设备及存储介质。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]本专利技术第一方面，提供一种深度伪造换脸图像生成方法，包括：获取源人脸图像和目标人脸图像；根据源人脸图像调用预设的人脸编码器，得到源人脸图像的风格空间下的潜向量；根据目标人脸图像调用预设的人脸编码器，得到目标人脸图像的风格空间下的潜向量、姿态空间下的潜向量及人脸区域掩码图像；根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量；根据初步交换潜向量和目标人脸图像的风格空间下的潜向量，调用预设的人脸属性稳定器得到交换潜向量；根据交换潜向量和目标人脸图像的姿态空间下的潜向量，调用预设的人脸生成器得到初步换脸图像，及根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设的面部融合器进行融合，得到换脸图像。
[0007]可选的，所述人脸编码器包括人脸特征提取器、隐空间映射器以及人脸区域感知器；当人脸特征提取器的输入为源人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到源人脸图像的风格空间下的潜向量；当人脸特征提取器的输入为目标人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到目标人脸图像的风格空间
下的潜向量和姿态空间下的潜向量；以及通过U
‑
Net结构，采用特征图串联的方式作为人脸区域感知器的输入，通过人脸区域感知器得到目标人脸图像的人脸区域掩码图像。
[0008]可选的，所述人脸特征提取器为残差神经网络ResNet50。
[0009]可选的，所述潜向量选择器包括依次连接的全局池化层、第一全连接层、ReLU层和第二全连接层；所述根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量包括：对于源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，分别输入到潜向量选择器的全局池化层进行特征压缩，将各潜向量上的整个空间特征进行编码，得到各潜向量的全局描述特征；将各潜向量的全局描述特征输入到第一全连接层中然后采用ReLU层激活，再将输出输入到第二全连接层中恢复原始维度，并通过sigmoid函数激活得到各潜向量的量的得分；选取源人脸图像的风格空间下的潜向量中得分最高的潜向量作为第一潜向量，选取目标人脸图像的风格空间下的潜向量中得分最高的潜向量作为第二潜向量，组合第一潜向量和第二潜向量作为初步交换潜向量。
[0010]可选的，所述人脸属性稳定器基于Transformer模型架构，通过预设的人脸属性稳定器训练样本训练得到，其中，初步交换潜向量作为Transformer模型架构的Q矩阵，目标人脸的风格空间下的潜向量同时作为Transformer模型架构的K矩阵和V矩阵。
[0011]可选的，所述人脸生成器基于StyleGAN2模型架构，通过预设的人脸生成器训练样本训练得到；其中，将目标人脸图像的姿态空间下的潜向量作为StyleGAN2模型架构的基本输入，将交换潜向量作为StyleGAN2模型架构的风格控制输入，取消StyleGAN2模型架构的噪声输入。
[0012]可选的，所述调用预设的面部融合器进行融合包括：将目标人脸图像的人脸区域掩码图像进行虚化，根据预设的调节阈值从内向外递减虚化人脸区域掩码图像外部一圈的像素值，获得软化后人脸区域掩码图像；将软化后人脸区域掩码图像与初步换脸图像进行点乘并截取出人脸图像，以及将人脸图像与目标人脸图像基于柏松融合方式进行融合。
[0013]本专利技术第二方面，提供一种深度伪造换脸图像生成系统，包括：图像获取模块，用于获取源人脸图像和目标人脸图像；人脸编码模块，用于根据源人脸图像调用预设的人脸编码器，得到源人脸图像的风格空间下的潜向量；根据目标人脸图像调用预设的人脸编码器，得到目标人脸图像的风格空间下的潜向量、姿态空间下的潜向量及人脸区域掩码图像；潜向量交换模块，用于根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量；根据初步交换潜向量和目标人脸图像的风格空间下的潜向量，调用预设的人脸属性稳定器得到交换潜向量；融合模块，用于根据交换潜向量和目标人脸图像的姿态空间下的潜向量，调用预设的人脸生成器得到初步换脸图像，及根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设的面部融合器进行融合，得到换脸图像。
[0014]本专利技术第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述深度伪造换脸图像生成方法的步骤。
[0015]本专利技术第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述深度伪造换脸图像生成方法的步
骤。
[0016]与现有技术相比，本专利技术具有以下有益效果：
[0017]本专利技术深度伪造换脸图像生成方法，通过人脸编码器将源人脸图像和目标人脸图像映射到不同的隐空间中，使得在后续使用人脸生成器生成换脸图像时保持目标人脸图像的姿态。同时，通过设置的潜向量选择器，能够自适应的选取需要交换的潜向量用来控制需要交换的内容，并且通过人脸属性稳定器来稳定一些需要保持不变的人脸属性，实现对交换潜向量的优化，最终根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度伪造换脸图像生成方法，其特征在于，包括：获取源人脸图像和目标人脸图像；根据源人脸图像调用预设的人脸编码器，得到源人脸图像的风格空间下的潜向量；根据目标人脸图像调用预设的人脸编码器，得到目标人脸图像的风格空间下的潜向量、姿态空间下的潜向量及人脸区域掩码图像；根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量；根据初步交换潜向量和目标人脸图像的风格空间下的潜向量，调用预设的人脸属性稳定器得到交换潜向量；根据交换潜向量和目标人脸图像的姿态空间下的潜向量，调用预设的人脸生成器得到初步换脸图像，及根据初步换脸图像、目标人脸图像及目标人脸图像的人脸区域掩码图像调用预设的面部融合器进行融合，得到换脸图像。2.根据权利要求1所述的深度伪造换脸图像生成方法，其特征在于，所述人脸编码器包括人脸特征提取器、隐空间映射器以及人脸区域感知器；当人脸特征提取器的输入为源人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到源人脸图像的风格空间下的潜向量；当人脸特征提取器的输入为目标人脸图像时，人脸特征提取器的多尺度输出通过特征金字塔结构作为隐空间映射器的输入，通过隐空间映射器得到目标人脸图像的风格空间下的潜向量和姿态空间下的潜向量；以及通过U
‑
Net结构，采用特征图串联的方式作为人脸区域感知器的输入，通过人脸区域感知器得到目标人脸图像的人脸区域掩码图像。3.根据权利要求2所述的深度伪造换脸图像生成方法，其特征在于，所述人脸特征提取器为残差神经网络ResNet50。4.根据权利要求1所述的深度伪造换脸图像生成方法，其特征在于，所述潜向量选择器包括依次连接的全局池化层、第一全连接层、ReLU层和第二全连接层；所述根据源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，调用预设的潜向量选择器得到初步交换潜向量包括：对于源人脸图像的风格空间下的潜向量及目标人脸图像的风格空间下的潜向量，分别输入到潜向量选择器的全局池化层进行特征压缩，将各潜向量上的整个空间特征进行编码，得到各潜向量的全局描述特征；将各潜向量的全局描述特征输入到第一全连接层中然后采用ReLU层激活，再将输出输入到第二全连接层中恢复原始维度，并通过sigmoid函数激活得到各潜向量的量的得分；选取源人脸图像的风格空间下的潜向量中得分最高的潜向量作为第一潜向量，选取目标人脸图像的风格空间下的潜向量中得分最高的潜向量作为第二潜向量，组合第一潜向量...

【专利技术属性】
技术研发人员：蔺琛皓，胡鹏斌，沈超，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：