本公开关于一种图像生成模型的训练方法、装置、电子设备及存储介质，以解决当前人脸融合得到的图像与参与人脸融合的原始图像相似度低，且真实性低的问题。该方法包括：获取多个样本人脸图像；根据多个样本人脸图像训练生成式对抗网络，得到目标人脸生成网络；生成式对抗网络包括生成器和判别器；目标人脸生成网络是根据训练后的生成器构建的；根据多个样本人脸图像和目标人脸生成网络训练初始编码器得到目标编码器；初始编码器是根据训练后的判别器构建的；顺序连接目标编码器和目标人脸生成网络得到目标图像生成模型；目标图像生成模型用于根据至少两个人脸图像生成至少两个人脸图像的融合人脸图像。图像的融合人脸图像。图像的融合人脸图像。
【技术实现步骤摘要】
图像生成模型的训练方法、装置、电子设备及存储介质
[0001]本公开涉及图像处理
，尤其涉及图像生成模型的训练方法、装置、电子设备及存储介质。
技术介绍
[0002]人脸融合技术不仅可用于网络营销中商品虚拟试戴，还可用于在游戏娱乐产品中丰富产品功能以提升用户体验。
[0003]当前，对两张人脸图像进行融合所使用的人脸融合方法一般是将第一人脸图像的特征信息解析出来，并将第一人脸图像的特征信息应用于第二人脸图像中，再对应用了第一人脸图像的特征信息的第二人脸图像进行色彩矫正，以得到第一人脸图像与第二人脸图像的人脸融合图像，这样得到的人脸融合图像存在融合度较差，真实性低，且与参与人脸融合的原始图像(如：第一人脸图像和/或第二人脸图像)相似度低等效果差的问题。
技术实现思路
[0004]本公开提供一种图像生成模型的训练方法、装置、电子设备及存储介质，以解决当前人脸融合得到的图像与参与人脸融合的原始图像相似度低，且真实性低的问题。
[0005]本公开的技术方案如下：
[0006]第一方面，本公开实施例提供一种图像生成模型的训练方法，该方法包括：获取多个样本人脸图像；根据多个样本人脸图像训练生成式对抗网络，得到目标人脸生成网络；生成式对抗网络包括生成器和判别器；目标人脸生成网络是根据训练后的生成器构建的；根据多个样本人脸图像和目标人脸生成网络训练初始编码器得到目标编码器；初始编码器是根据训练后的判别器构建的；顺序连接目标编码器和目标人脸生成网络得到目标图像生成模型；目标图像生成模型用于根据至少两个人脸图像生成至少两个人脸图像的融合人脸图像。
[0007]本公开实施例中，目标人脸生成网络与目标编码器的训练分开进行，且用于训练目标编码器的初始编码器是根据训练目标人脸生成网络的判别器构建的，而训练后的判别器具有很好的编码能力，再根据目标人脸生成网络作为监督训练初始编码器得到目标编码器，这样，目标编码器能够更准确的解析出人脸图像的潜码，目标人脸生成网络根据目标编码器解析得到的人脸图像的潜码，生成的融合人脸图像与原始人脸图像的相似度更高、真实性也更高。
[0008]在一种可能的实现方式中，上述根据多个样本人脸图像和目标人脸生成网络训练初始编码器得到目标编码器，包括：移除训练后的判别器中的最后两个全连接层得到初始编码器；将多个样本人脸图像输入初始编码器，得到分别对应多个样本人脸图像的潜码；将多个样本人脸图像的潜码输入目标人脸生成网络，得到分别对应多个样本人脸图像的潜码的预测人脸图像；根据每个样本人脸图像和与每个样本人脸图像对应的预测人脸图像，获取多个第一损失；将每个预测人脸图像输入初始编码器，得到分别对应每个预测人脸图像
的潜码；根据每个样本人脸图像的潜码和预测潜码，获取多个第二损失；预测潜码为：与每个样本人脸图像的潜码对应的预测人脸图像的潜码；根据多个第一损失和多个第二损失，训练初始编码器，得到目标编码器。
[0009]本公开实施例中，第一损失可以使得利用该目标编码器得到的潜码生成的图像与输入目标编码器的图像保持像素级别的相似，第二损失可以使得利用该目标编码器得到的潜码生成的图像与输入目标编码器的图像保持语义级别的相似，从而进一步提高了，包括该目标编码器的图像生成模型生成的融合人脸图像与原始图像的相似性。
[0010]在另一种可能的实现方式中，上述根据多个样本人脸图像训练生成式对抗网络，得到目标人脸生成网络，包括：根据多个样本人脸图像分批次训练生成式对抗网络；根据预训练的检测网络获取每批次训练得到的生成式对抗网络的评价指标值；评价指标值为输入人脸图像与输出人脸图像的平均差异值；输入人脸图像为输入训练得到的生成式对抗网络的人脸图像，输出人脸图像为训练得到的生成式对抗网络融合输入人脸图像得到的人脸图像；在评价指标值小于或等于阈值时停止训练，并将训练得到的生成式对抗网络作为目标人脸生成网络。
[0011]本公开实施例中，使用预训练的检测网络获取每批次训练得到的生成式对抗网络的评价指标值，评价指标值一定程度上反映了生成式对抗网络生成的人脸图像与真实图像的差距。在评价指标值小于或等于阈值时停止训练，将训练得到的生成式对抗网络作为目标人脸生成网络，这样，进一步增强了目标人脸生成网络生成的人脸图像的真实性。
[0012]第二方面，本公开实施例提供一种图像生成方法，该生成方法包括：获取至少两个人脸图像；将至少两个人脸图像输入目标图像生成模型的目标编码器，分别得到至少两个人脸图像的潜码；目标图像生成模型是根据上述第一方面所述的任一种可能的实现方式所提供的图像生成模型的训练方法训练得到的；将至少两个人脸图像的潜码进行融合，得到融合潜码；将融合潜码输入目标图像生成模型的目标人脸生成网络，生成人脸融合图像。
[0013]本公开实施例中，利用上述第一方面任一种可能的实现方式所提供的图像生成模型的训练方法训练得到的目标图像生成模型，因此，其有益效果与上述第一方面类似，不再赘述。
[0014]在一种可能的实现方式中，上述将至少两个人脸图像的潜码进行融合，得到融合潜码，包括：获取至少两个人脸图像的潜码的权重；根据获取的每个人脸图像的潜码的权重将至少两个人脸图像的潜码进行融合，得到融合潜码。
[0015]本公开实施例中，利用不同人脸图像的权重可以调整生成的人脸融合图像与输入模型的人员图像的相似度，从而提高了用户体验。
[0016]第三方面，本公开实施例提供一种图像生成模型的训练装置，包括：获取模块，被配置为获取多个样本人脸图像；第一训练模块，被配置为根据多个样本人脸图像训练生成式对抗网络，得到目标人脸生成网络；生成式对抗网络包括生成器和判别器；目标人脸生成网络是根据训练后的生成器构建的；第二训练模块，被配置为根据多个样本人脸图像和目标人脸生成网络训练初始编码器得到目标编码器；初始编码器是根据训练后的判别器构建的；生成模块，被配置为顺序连接目标编码器和目标人脸生成网络得到目标图像生成模型；目标图像生成模型用于根据至少两个人脸图像生成至少两个人脸图像的融合人脸图像。
[0017]可选的，第二训练模块具体被配置为：移除训练后的判别器中的最后两个全连接
层得到初始编码器；将多个样本人脸图像输入初始编码器，得到分别对应多个样本人脸图像的潜码；将多个样本人脸图像的潜码输入目标人脸生成网络，得到分别对应多个样本人脸图像的潜码的预测人脸图像；根据每个样本人脸图像和与每个样本人脸图像对应的预测人脸图像，获取多个第一损失；将每个预测人脸图像输入初始编码器，得到分别对应每个预测人脸图像的潜码；根据每个样本人脸图像的潜码和预测潜码，获取多个第二损失；预测潜码为：与每个样本人脸图像的潜码对应的预测人脸图像的潜码；根据多个第一损失和多个第二损失，训练初始编码器，得到目标编码器。
[0018]可选的，第一训练模块具体被配置为：根据多个样本人脸图像分批次训练生成式对抗网络；根据预训练的检测网络获取每批次训练得到的生成式对抗网络的评价指标值；评价指标值为输入人脸图像与输出人脸图像的平本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像生成模型的训练方法，其特征在于，所述方法包括：获取多个样本人脸图像；根据所述多个样本人脸图像训练生成式对抗网络，得到目标人脸生成网络；所述生成式对抗网络包括生成器和判别器；所述目标人脸生成网络是根据训练后的所述生成器构建的；根据所述多个样本人脸图像和所述目标人脸生成网络训练初始编码器得到目标编码器；所述初始编码器是根据训练后的所述判别器构建的；顺序连接所述目标编码器和所述目标人脸生成网络得到目标图像生成模型；所述目标图像生成模型用于根据至少两个人脸图像生成所述至少两个人脸图像的融合人脸图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述多个样本人脸图像和所述目标人脸生成网络训练初始编码器得到目标编码器，包括：移除训练后的所述判别器中的最后两个全连接层得到所述初始编码器；将所述多个样本人脸图像输入所述初始编码器，得到分别对应所述多个样本人脸图像的潜码；将所述多个样本人脸图像的潜码输入所述目标人脸生成网络，得到分别对应所述多个样本人脸图像的潜码的预测人脸图像；根据每个样本人脸图像和与所述每个样本人脸图像对应的预测人脸图像，获取多个第一损失；将每个预测人脸图像输入所述初始编码器，得到分别对应所述每个预测人脸图像的潜码；根据每个样本人脸图像的潜码和预测潜码，获取多个第二损失；所述预测潜码为：与所述每个样本人脸图像的潜码对应的预测人脸图像的潜码；根据所述多个第一损失和所述多个第二损失，训练所述初始编码器，得到所述目标编码器。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述多个样本人脸图像训练生成式对抗网络，得到目标人脸生成网络，包括：根据所述多个样本人脸图像分批次训练生成式对抗网络；根据预训练的检测网络获取每批次训练得到的生成式对抗网络的评价指标值；所述评价指标值为输入人脸图像与输出人脸图像的平均差异值；所述输入人脸图像为输入所述训练得到的生成式对抗网络的人脸图像，所述输出人脸图像为所述训练得到的生成式对抗网络融合所述输入人脸图像得到的人脸图像；在所述评价指标值小于或等于阈值时停止训练，并将训练得到的生成式对抗网络作为所述目标人脸生成网络。4.一种图像生成方法，其特征在于，所述生成方法包括：获取至少两个人脸图像；将所述至少两个人脸图像输入目标图像生成模型的目标编码器，分别得到所述至少两个人脸图像的潜码；所述目标图像生成模型是根据权利要求1
‑
3任一项所述的图像生成模型的训练方法训练得到的；将所述至少两个人脸图像的潜码进行融合，得到融合潜码；
【专利技术属性】
技术研发人员：邓红波，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。