一种针对未配对数据集的图像生成方法及装置制造方法及图纸

本发明专利技术公开了一种针对未配对数据集的图像生成方法及装置，该方法包括：对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型；将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型；获取未配对数据集；将所述未配对数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成数据集和第二生成数据集；将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。据集作为最终生成结果。据集作为最终生成结果。

An image generation method and device for unpaired data sets

【技术实现步骤摘要】
一种针对未配对数据集的图像生成方法及装置


[0001]本专利技术属于计算机视觉
，尤其涉及一种针对未配对数据集的图像生成方法及装置。

技术介绍

[0002]Generative Adversarial Networks (GANs)生成对抗网络在图像生成、图像编辑和表示学习等多个领域都取得了令人瞩目的成果。GAN的成功在于对抗性损失的想法，它的主要目的是使生成的图像在理论上和真实照片无法区分，这种思想是计算机视觉领域旨在优化的目标。GAN通过对抗性损失学习源域到目标域的映射，使得生成后的图像与目标域中的图像无法区分。2018年以来，学者们提出了许多图像到图像生成任务的模型，目前主要有两类典型的方法。一类是基于配对数据集学习映射来生成图像，这也是目前效果最好的图像生成算法。因此，目前大多数都是建立在配对训练示例的基础上来学习输入到输出图像的映射，这种系列模型的优点是，这类模型训练得到的结果是图像生成领域的上限。但它们的缺点也很明显，它将依赖于配对的数据集，数据收集成本较高，适用范围比较狭隘。
[0003]第二类方法是基于未匹配的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对未配对数据集的图像生成方法，其特征在于，包括：对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型；将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型；获取未配对数据集；将所述未配对数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成数据集和第二生成数据集；将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。2.根据权利要求1所述的方法，其特征在于，对第一模型进行改进，包括：将所述第一模型中的循环一致性损失修改为一个分段损失，以去除所述循环一致性损失中的包庇项。3.根据权利要求2所述的方法，其特征在于，所述分段损失为，对于两组内部数据同分布的未配对数据集X和Y：当所述第一模型在学习映射X
→
Y时，使用前向循环一致性损失；当所述第一模型在学习映射Y
→
X时，使用反向循环一致性损失。4.根据权利要求1所述的方法，其特征在于，对第二模型进行改进，包括：将改进后的第一模型中相应的对抗性损失乘以预先设置的权重因子，分别加入到所述第一子模型和第二子模型的全目标函数中。5.根据权利要求2所述的方法，其特征在于，将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，包括：构建两组内部数据同分布的未配对数据集X和Y，将其作为改进后的第一模型的输入，学习映射X
→
Y和映射Y
→
X；通过对抗性损失、恒等映射损失和改进后的循环一致性损失来优化改进后的第一模型，当达到全目标损失在预定范围内波动或训练次数达到预定阈值后暂停模型的训练，输出与未配对数据集X配对的第一假图片集和与未配对数据集Y...

【专利技术属性】
技术研发人员：张丽颖，陈光，朱世强，曾令仿，程永利，陈兰香，李勇，张云云，朱健，
申请(专利权)人：之江实验室，
类型：发明
国别省市：