图像生成模型训练方法、图像生成方法、装置及电子设备制造方法及图纸

本公开关于一种图像生成模型训练方法、图像生成方法、装置及电子设备，其中，包括：获取相同的第一原始图像生成器和第二原始图像生成器，获取图像风格不同的第一样本图像和第二样本图像，生成随机向量，将随机向量分别输入第一原始图像生成器和第二原始图像生成器，得到第一输出图像和第二输出图像，根据第一输出图像、第二输出图像、第一样本图像和第二样本图像训练第一原始图像生成器、第一判别器、第二原始图像生成器和第二判别器，得到第一图像生成器和第二图像生成器，第一图像生成器生成的第一图像和第一样本图像风格相同，第二图像生成器生成的第二图像和第二样本图像风格相同。可以方便得到配对图像，且保证了配对图像较高的生成效率。较高的生成效率。较高的生成效率。

【技术实现步骤摘要】
图像生成模型训练方法、图像生成方法、装置及电子设备


[0001]本公开涉及人工智能
，尤其涉及一种图像生成模型训练方法、图像生成方法、装置及电子设备。

技术介绍

[0002]风格化转换可以在保留图像主要内容的情况下，将图像细节和风格进行变化，如改变人像的年龄，改变照片中人像的肤色或者将照片转化为动画(二次元)风格。
[0003]常用的风格转化方法通过神经卷积网络对输入图片进行拟合，并输出目标风格转化后的图片，在完成风格转化的同时保持图片的大致细节不变，如人物脸型，五官轮廓在转化前后保持基本不变。
[0004]训练网络需要大量的配对数据，比如头发颜色由黑变白的变换任务中，需要大量黑色和白色头发配对的图片。然而，获取大量配对图片有以下两个难点：
[0005]1)大量原始图片难以获得：网上下载的图片参差不齐、获取成本高、有版权风险；找模特拍照成本高；许多风格图片本身非常少见，比如手绘风格、绿色头发等；
[0006]2)难以获取配对图片：比如发色转换任务中，黑色和白色头发的同一个人在同样场景保持同样姿势难度较高。手绘风格转换中只能找设计师按照原始人像照片手工绘制成本太高。

技术实现思路

[0007]本公开提供一种图像生成模型训练方法、图像生成方法、装置及电子设备，以至少解决相关技术中配对图像获取难度大的问题。本公开的技术方案如下：
[0008]根据本公开实施例的第一方面，提供一种图像生成模型训练方法，包括：
[0009]获取相同的第一原始图像生成器和第二原始图像生成器；
[0010]获取图像风格不同的第一样本图像和第二样本图像；
[0011]生成随机向量，将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器，得到第一输出图像和第二输出图像；
[0012]根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器，得到所述第一图像生成器和所述第二图像生成器；所述第一图像生成器生成的第一图像和所述第一样本图像风格相同，所述第二图像生成器生成的第二图像和所述第二样本图像风格相同。
[0013]在一个可选的实施例中，所述训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器，得到所述第一图像生成器和所述第二图像生成器包括：
[0014]将所述第一输出图像和所述第一样本图像输入第一判别器，得到所述第一输出图像对应的第一子判别结果和所述第一样本图像对应的第二子判别结果；
[0015]将所述第二输出图像和所述第二样本图像输入第二判别器，得到所述第二输出图
像对应的第三子判别结果和所述第二样本图像对应的第四子判别结果；
[0016]基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器，得到所述第一图像生成器和所述第二图像生成器。
[0017]在一个可选的实施例中，所述基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器，得到所述第一图像生成器和所述第二图像生成器包括：
[0018]根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失；
[0019]根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失；
[0020]根据所述第一目标损失训练所述第一判别器，且根据所述第二目标损失训练所述第二判别器；
[0021]基于所述第一子判别结果和所述第一输出图像的对应于所述第一原始图像生成器的第二标注信息确定第五判别损失；
[0022]基于所述第三子判别结果和所述第二输出图像的对应于所述第二原始图像生成器的第二标注信息确定第六判别损失；
[0023]基于所述约束损失函数确定所述第一输出图像和所述第二输出图像的之间的图像内容损失；
[0024]根据所述第五判别损失、所述第六判别损失和所述图像内容损失训练所述第一原始图像生成器和所述第二原始图像生成器，
[0025]在满足迭代终止条件的情况下，得到所述第一图像生成器和所述第二图像生成器。
[0026]在一个可选的实施例中，所述在满足迭代终止条件的情况下，得到所述第一图像生成器和所述第二图像生成器包括：
[0027]循环训练所述第一判别器、所述第二判别器、所述第一原始图像生成器和所述第二原始图像生成器，直至满足迭代终止条件；
[0028]将训练后的所述第一原始图像生成器确定为所述第一图像生成器，将训练后的所述第二原始图像生成器确定为所述第二图像生成器。
[0029]在一个可选的实施例中，所述根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失包括：
[0030]基于所述第一子判别结果和所述第一输出图像的对应于所述第一判别器的第一标注信息确定第一判别损失；
[0031]基于所述第二子判别结果和所述第一样本图像的标注信息确定第二判别损失；
[0032]根据所述第一判别损失和所述第二判别损失确定第一目标损失；
[0033]所述根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应
于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失包括：
[0034]基于所述第三子判别结果和所述第二输出图像的对应于所述第二判别器的第一标注信息确定第三判别损失；
[0035]基于所述第四子判别结果和所述第二样本图像的标注信息确定第四判别损失；
[0036]根据所述第三判别损失和所述第四判别损失确定第二目标损失。
[0037]在一个可选的实施例中，在所述第一图像生成器和所述第二图像生成器都为人脸图像生成器的情况下，所述图像风格不同包括图像头发颜色不同，所述图像内容损失至少包括人脸属性信息损失。
[0038]根据本公开实施例的第二方面，提供一种图像生成方法，包括：
[0039]生成多个随机向量；
[0040]将所述多个随机向量中的每个随机向量输入根据权利要求1至6任一图像生成模型训练方法训练得到的第一图像生成器和第二图像生成器，得到每个所述随机向量对应的风格不同的第一目标图像和第二目标图像；将所述第一目标图像和所述第二目标图像作为目标配对图像。
[0041]根据本公开实施例的第三方面，提供一种图像生成模型的训练装置，包括：
[0042]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成模型训练方法，其特征在于，包括：获取相同的第一原始图像生成器和第二原始图像生成器；获取图像风格不同的第一样本图像和第二样本图像；生成随机向量，将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器，得到第一输出图像和第二输出图像；根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器，得到所述第一图像生成器和所述第二图像生成器；所述第一图像生成器生成的第一图像和所述第一样本图像风格相同，所述第二图像生成器生成的第二图像和所述第二样本图像风格相同。2.根据权利要求1所述的图像生成模型训练方法，其特征在于，所述训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器，得到所述第一图像生成器和所述第二图像生成器包括：将所述第一输出图像和所述第一样本图像输入第一判别器，得到所述第一输出图像对应的第一子判别结果和所述第一样本图像对应的第二子判别结果；将所述第二输出图像和所述第二样本图像输入第二判别器，得到所述第二输出图像对应的第三子判别结果和所述第二样本图像对应的第四子判别结果；基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器，得到所述第一图像生成器和所述第二图像生成器。3.根据权利要求2所述的图像生成模型训练方法，其特征在于，所述基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器，得到所述第一图像生成器和所述第二图像生成器包括：根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失；根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失；根据所述第一目标损失训练所述第一判别器，且根据所述第二目标损失训练所述第二判别器；基于所述第一子判别结果和所述第一输出图像的对应于所述第一原始图像生成器的第二标注信息确定第五判别损失；基于所述第三子判别结果和所述第二输出图像的对应于所述第二原始图像生成器的第二标注信息确定第六判别损失；基于所述约束损失函数确定所述第一输出图像和所述第二输出图像的之间的图像内容损失；根据所述第五判别损失、所述第六判别损失和所述图像内容损失训练所述第一原始图像生成器和所述第二原始图像生成器，
在满足迭代终止条件的情况下，得到所述第一图像生成器和所述第二图像生成器。4.根据权利要求3所述的图像生成模型训练方法，其特征在于，所述在满足迭代终止条件的情况下，得到所述第一图像生成器和所述第二图像生成器包括：循环训练所述第一判别器、所述第二判别器、所述第一原始图像生成器和所述第二原始图像生成器，直至满足迭代终止条件；将训练后...

【专利技术属性】
技术研发人员：方慕园，张雷，万鹏飞，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：