图像生成方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种图像生成方法、装置、电子设备和存储介质，其中方法包括：确定待生成的肖像图像和地图图像；基于图像生成模型，对肖像图像和地图图像分别进行特征提取，基于特征提取所得的肖像特征和地图特征之间的相关性，对肖像特征和地图特征进行融合，并基于融合所得的特征进行图像生成，得到肖像地图图像；图像生成模型基于样本肖像图像，样本地图图像以及样本肖像地图图像，联合判别模型进行对抗训练得到，判别模型用于区分预测肖像地图图像和样本肖像地图图像，根据融合所得的特征进行图像生成，能够使生成的肖像地图图像的精度更高；并且，联合判别模型进行对抗训练，能够保证模型生成的图像的自然度和逼真度，提高了生成图像的图像质量。图像的图像质量。图像的图像质量。

【技术实现步骤摘要】
图像生成方法、装置、电子设备和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种图像生成方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来，人们对于艺术创作以及艺术分析的关注度一直高居不下，因而，艺术创作以及艺术分析的相关算法也越来越被人们所重视，特别是随着卷积神经网络和生成式对抗网络的发展，衍生了从图像到图像翻译和图像风格迁移的诸多方法，此类方法旨在对图像进行渲染，即弥合图像在内容、颜色和纹理方面的外观差距，以将给定的图像渲染为新的外观。
[0003]目前，在对图像进行处理时大多采用图像合成方法，其可以在一个目标场景中协调多个不同来源的对象或内容，但是其不适用于肖像地图艺术创作，原因在于肖像地图艺术创作是将地图作为画布，使用传统材料对地图进行逐步改造，以从道路、河流、山地轮廓等方面提取面部特征，从而在地图上绘制得到肖像图像，这一过程中极有可能会出现两个完全不同风格的输入；并且，进一步地实验结果也表明了基于深度学习的风格迁移方法在肖像地图艺术创作层面的收效甚微。

技术实现思路

[0004]本专利技术提供一种图像生成方法、装置、电子设备和存储介质，用以解决现有技术中基于经典深度学习的风格迁移方法在肖像地图艺术创作层面的效果不佳的缺陷。
[0005]本专利技术提供一种图像生成方法，包括：
[0006]确定待生成的肖像图像和地图图像；
[0007]基于图像生成模型，对所述肖像图像和所述地图图像分别进行特征提取，基于特征提取所得的肖像特征和地图特征之间的相关性，对所述肖像特征和所述地图特征进行融合，并基于融合所得的特征进行图像生成，得到肖像地图图像；
[0008]所述图像生成模型基于样本肖像图像，样本地图图像以及样本肖像地图图像，联合判别模型进行对抗训练得到，所述判别模型用于区分预测肖像地图图像和所述样本肖像地图图像，所述预测肖像地图图像是所述图像生成模型基于所述样本肖像图像和所述样本地图图像确定的。
[0009]根据本专利技术提供的一种图像生成方法，所述基于图像生成模型，对所述肖像图像和所述地图图像分别进行特征提取，基于特征提取所得的肖像特征和地图特征之间的相关性，对所述肖像特征和所述地图特征进行融合，包括：
[0010]基于图像生成模型中的特征提取层，对所述肖像图像和所述地图图像分别进行特征提取，得到肖像特征和地图特征；
[0011]基于所述图像生成模型中的特征融合层，以及所述肖像特征和所述地图特征，确定肖像注意力特征和地图注意力特征；
[0012]基于所述图像生成模型中的特征融合层，对所述肖像注意力特征和所述地图注意力特征进行融合。
[0013]根据本专利技术提供的一种图像生成方法，所述基于所述图像生成模型中的特征融合层，以及所述肖像特征和所述地图特征，确定肖像注意力特征和地图注意力特征，包括：
[0014]基于所述图像生成模型中的特征融合层，确定所述肖像特征的权重，以及所述地图特征的权重；
[0015]基于所述图像生成模型中的特征融合层，所述肖像特征的权重，以及所述地图特征的权重，确定肖像注意力特征和地图注意力特征。
[0016]根据本专利技术提供的一种图像生成方法，所述图像生成模型和所述判别模型的确定步骤包括：
[0017]构建初始图像生成模型和初始判别模型；
[0018]将所述样本肖像图像和所述样本地图图像输入至所述初始图像生成模型，得到所述初始图像生成模型输出的预测肖像地图图像；
[0019]将所述预测肖像地图图像，以及所述样本肖像地图图像输入至所述初始判别模型，得到所述初始判别模型输出的所述预测肖像地图图像的判别结果，以及所述样本肖像地图图像的判别结果；
[0020]基于所述预测肖像地图图像，所述样本肖像地图图像，所述预测肖像地图图像的判别结果以及所述样本肖像地图图像的判别结果，对所述初始图像生成模型和所述初始判别模型进行参数更新，得到所述图像生成模型和所述判别模型。
[0021]根据本专利技术提供的一种图像生成方法，所述图像生成模型和所述判别模型的确定步骤，还包括：
[0022]构建初始图像解耦模型；
[0023]将所述预测肖像地图图像输入至所述初始图像解耦模型，得到所述初始图像解耦模型输出的预测肖像图像和预测地图图像；
[0024]将所述预测肖像图像，所述预测地图图像，所述样本肖像图像以及所述样本地图图像输入至所述初始判别模型，得到所述初始判别模型输出的所述预测肖像图像的判别结果，所述预测地图图像的判别结果，所述样本肖像图像的判别结果，以及所述样本地图图像的判别结果；
[0025]基于预测图像，样本图像，所述预测图像的判别结果以及所述样本图像的判别结果，对所述初始图像生成模型，所述初始判别模型以及所述初始图像解耦模型进行参数更新，得到所述图像生成模型，所述判别模型以及所述图像解耦模型；
[0026]所述预测图像包括所述预测肖像地图图像，所述预测肖像图像以及所述预测地图图像，所述样本图像包括所述样本肖像地图图像，所述样本肖像图像以及所述样本地图图像。
[0027]根据本专利技术提供的一种图像生成方法，所述基于预测图像，样本图像，所述预测图像的判别结果以及所述样本图像的判别结果，对所述初始图像生成模型，所述初始判别模型以及所述初始图像解耦模型进行参数更新，得到所述图像生成模型，所述判别模型以及所述图像解耦模型，包括：
[0028]基于所述预测肖像地图图像，以及所述样本肖像地图图像，确定所述初始图像生
成模型的图像生成损失；
[0029]基于所述预测肖像图像，所述预测地图图像，所述样本肖像图像以及所述样本地图图像，确定所述初始图像解耦模型的图像解耦损失；
[0030]基于所述预测图像的判别结果，以及所述样本图像的判别结果，确定所述初始判别模型的判别损失；
[0031]基于所述图像生成损失，所述图像解耦损失以及所述判别损失，对所述初始图像生成模型，所述初始判别模型以及所述初始图像解耦模型进行参数更新，得到所述图像生成模型，所述判别模型以及所述图像解耦模型。
[0032]根据本专利技术提供的一种图像生成方法，所述基于所述图像生成损失，所述图像解耦损失以及所述判别损失，对所述初始图像生成模型，所述初始判别模型以及所述初始图像解耦模型进行参数更新，得到所述图像生成模型，所述判别模型以及所述图像解耦模型，包括：
[0033]基于所述图像生成损失，所述图像解耦损失，所述判别损失以及循环一致性损失约束，对所述初始图像生成模型，所述初始判别模型以及所述初始图像解耦模型进行参数更新，得到所述图像生成模型，所述判别模型以及所述图像解耦模型；
[0034]所述循环一致性损失约束用于约束所述初始图像生成模型和所述初始图像解耦模型的输入图像与输出图像分别对应的图像特征之间的差距。
[0035]本专利技术还提供一种图像生成装置，包括：
[0036]图像确定单元，用于确定待生成的肖像图像和地图图像；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：确定待生成的肖像图像和地图图像；基于图像生成模型，对所述肖像图像和所述地图图像分别进行特征提取，基于特征提取所得的肖像特征和地图特征之间的相关性，对所述肖像特征和所述地图特征进行融合，并基于融合所得的特征进行图像生成，得到肖像地图图像；所述图像生成模型基于样本肖像图像，样本地图图像以及样本肖像地图图像，联合判别模型进行对抗训练得到，所述判别模型用于区分预测肖像地图图像和所述样本肖像地图图像，所述预测肖像地图图像是所述图像生成模型基于所述样本肖像图像和所述样本地图图像确定的。2.根据权利要求1所述的图像生成方法，其特征在于，所述基于图像生成模型，对所述肖像图像和所述地图图像分别进行特征提取，基于特征提取所得的肖像特征和地图特征之间的相关性，对所述肖像特征和所述地图特征进行融合，包括：基于图像生成模型中的特征提取层，对所述肖像图像和所述地图图像分别进行特征提取，得到肖像特征和地图特征；基于所述图像生成模型中的特征融合层，以及所述肖像特征和所述地图特征，确定肖像注意力特征和地图注意力特征；基于所述图像生成模型中的特征融合层，对所述肖像注意力特征和所述地图注意力特征进行融合。3.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述图像生成模型中的特征融合层，以及所述肖像特征和所述地图特征，确定肖像注意力特征和地图注意力特征，包括：基于所述图像生成模型中的特征融合层，确定所述肖像特征的权重，以及所述地图特征的权重；基于所述图像生成模型中的特征融合层，所述肖像特征的权重，以及所述地图特征的权重，确定肖像注意力特征和地图注意力特征。4.根据权利要求1至3中任一项所述的图像生成方法，其特征在于，所述图像生成模型和所述判别模型的确定步骤包括：构建初始图像生成模型和初始判别模型；将所述样本肖像图像和所述样本地图图像输入至所述初始图像生成模型，得到所述初始图像生成模型输出的预测肖像地图图像；将所述预测肖像地图图像，以及所述样本肖像地图图像输入至所述初始判别模型，得到所述初始判别模型输出的所述预测肖像地图图像的判别结果，以及所述样本肖像地图图像的判别结果；基于所述预测肖像地图图像，所述样本肖像地图图像，所述预测肖像地图图像的判别结果以及所述样本肖像地图图像的判别结果，对所述初始图像生成模型和所述初始判别模型进行参数更新，得到所述图像生成模型和所述判别模型。5.根据权利要求4所述的图像生成方法，其特征在于，所述图像生成模型和所述判别模型的确定步骤，还包括：构建初始图像解耦模型；
将所述预测肖像地图图像输入至所述初始图像解耦模型，得到所述初始图像解耦模型输出的预测肖像图像和预测地图图像；将所述预测肖像图像，所述预测地图图像，所述样本肖像图像以及所述样本地图图像输入至所述初始判别模型，得到所述初始判别模型输出的所述预测肖像图像的判别结果，所述预测地图图像的判别结果，所述样本肖像图像的判别结果，以及所述样本地图图像的判别结果；基于预测图像，样本图像，所述预测图像的判别结果以及...

【专利技术属性】
技术研发人员：张宇欣，唐帆，董未名，徐常胜，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：