一种图像生成方法技术

本申请提供了一种图像生成方法

【技术实现步骤摘要】
一种图像生成方法、装置、电子设备和存储介质


[0001]本申请涉及图像生成
，特别是一种图像生成方法
、
装置
、
电子设备和存储介质
。

技术介绍

[0002]最近，基于视觉语言联合训练模型
(Contrastive Language
‑
Image Pretraining
，
CLIP)
引导的图像生成方法在零样本图像生成任务上表现出良好的性能
。
该图像生成方法从一个预训练好的源域生成器起步，不需要任务目标域的样本，只需要源域和目标域的文本标签，就可以高效地将源域生成器微调成为目标域生成器，并生成多样化高质量的目标域图像
。
[0003]然而，现有的图像生成方法在生成图像的质量方面仍然存在一些局限性，一方面，生成的目标域图像失去了源域图像的身份特征，容易发生身份退化；另一方面，生成的目标域图像显示出同质化的有害局部特征或噪声，容易导致多样性不足和模式崩塌
。
所以，通过现有的图像生成方法所得到的目标域图像的图像质量仍然不够理想
。
[0004]因此，有必要开发一种图像生成方法
、
装置
、
电子设备和存储介质，以提高生成的目标域图像的图像质量
。

技术实现思路

[0005]鉴于上述问题，本申请实施例提供了一种图像生成方法
、
装置
、
电子设备和存储介质，以便克服上述问题或者至少部分地解决上述问题
。
[0006]本申请实施例的第一方面，提供了一种图像生成方法，包括：
[0007]获取噪声向量；
[0008]将所述噪声向量输入目标域生成器，生成目标域的目标图像；其中，所述目标域生成器是通过迭代训练得到的，所述迭代训练的步骤包括：
[0009]从高斯噪声空间中随机采样，得到样本噪声向量；
[0010]将所述样本噪声向量输入源域生成器，得到所述源域生成器的每个卷积层所输出的源域特征图，将所述样本噪声向量输入初始目标域生成器，得到所述初始目标域生成器的每个卷积层所输出的目标域特征图；
[0011]根据所述源域特征图和所述目标域特征图，生成对应的自相似矩阵；所述自相似矩阵表征特征图的空间结构信息；
[0012]根据门函数，将所述源域特征图的自相似矩阵，和所述目标域特征图的自相似矩阵进行自适应对齐，计算得到自适应对齐损失函数值；
[0013]所述源域生成器输出源域图像；所述目标域生成器输出目标域图像，计算得到
Directional CLIP
损失函数值；
[0014]根据所述自适应对齐损失函数值和所述
Directional CLIP
损失函数值，进行线性加权，计算得到总损失函数值；
[0015]根据所述总损失函数值，采用梯度下降法和反向传播算法，更新所述初始目标域生成器的参数和所述门函数的参数；
[0016]重新执行随机采样，利用得到的新的样本噪声向量，重新进行训练，直至参数收敛或达到预期迭代次数，结束所述迭代训练，得到所述目标域生成器
。
[0017]本申请实施例第二方面还提供了一种图像生成装置，所述装置包括：
[0018]输入模块，用于获取噪声向量；
[0019]生成模块，用于将所述噪声向量输入目标域生成器，生成目标域的目标图像；
[0020]所述装置还包括迭代训练模块，用于对所述目标域生成器进行迭代训练，所述迭代训练模块，包括：
[0021]采样子模块，用于从高斯噪声空间中随机采样，得到样本噪声向量；
[0022]特征图获取子模块，用于将所述样本噪声向量输入源域生成器，得到所述源域生成器的每个卷积层所输出的源域特征图，将所述样本噪声向量输入初始目标域生成器，得到所述初始目标域生成器的每个卷积层所输出的目标域特征图；
[0023]自相似矩阵获取子模块，用于根据所述源域特征图和所述目标域特征图，生成对应的自相似矩阵；所述自相似矩阵表征特征图的空间结构信息；
[0024]对齐子模块，用于根据门函数，将所述源域特征图的自相似矩阵，和所述目标域特征图的自相似矩阵进行自适应对齐，计算得到自适应对齐损失函数值；
[0025]图像输出子模块，用于输出源域图像；输出目标域图像，计算得到
Directional CLIP
损失函数值；
[0026]损失计算子模块，用于根据所述自适应对齐损失函数值和所述
Directional CLIP
损失函数值，进行线性加权，计算得到总损失函数值；
[0027]参数回传子模块，用于根据所述总损失函数值，采用梯度下降法和反向传播算法，更新所述初始目标域生成器的参数和所述门函数的参数；
[0028]重复训练子模块，用于重新执行随机采样，利用得到的新的样本噪声向量，重新进行训练，直至参数收敛或达到预期迭代次数，结束所述迭代训练，得到所述目标域生成器
。
[0029]本申请实施例第三方面还提供了一种电子设备，包括存储器
、
处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现本申请实施例第一方面所述的图像生成方法中的步骤
。
[0030]本申请实施例第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序
/
指令，该计算机程序
/
指令被处理器执行时实现本申请实施例第一方面所述的图像生成方法中的步骤
。
[0031]本申请实施例第五方面还提供了一种计算机程序产品，所述计算机程序产品在电子设备上运行时，使处理器执行时实现如本申请实施例第一方面所述的图像生成方法中的步骤
。
[0032]本申请实施例提供的一种图像生成方法
、
装置
、
电子设备和存储介质，该方法为：获取噪声向量；将所述噪声向量输入目标域生成器，生成目标域的目标图像；其中，所述目标域生成器是通过迭代训练得到的，所述迭代训练的步骤包括：从高斯噪声空间中随机采样，得到样本噪声向量；将所述样本噪声向量输入源域生成器，得到所述源域生成器的每个卷积层所输出的源域特征图，将所述样本噪声向量输入初始目标域生成器，得到所述初始
目标域生成器的每个卷积层所输出的目标域特征图；根据所述源域特征图和所述目标域特征图，分别生成对应的自相似矩阵；所述自相似矩阵表征特征图的空间结构信息；根据门函数，将所述源域特征图的自相似矩阵，和所述目标域特征图的自相似矩阵进行自适应对齐，计算得到自适应对齐损失函数值；所述源域生成器输出源域图像；所述目标域生成器输出目标域图像，计算得到
Directional CLIP
损失函数值；根据所述自适应对齐损失函数值和所述
Directional CLIP
损失函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像生成方法，其特征在于，所述方法包括：获取噪声向量；将所述噪声向量输入目标域生成器，生成目标域的目标图像；其中，所述目标域生成器是通过迭代训练得到的，所述迭代训练的步骤包括：从高斯噪声空间中随机采样，得到样本噪声向量；将所述样本噪声向量输入源域生成器，得到所述源域生成器的每个卷积层所输出的源域特征图，将所述样本噪声向量输入初始目标域生成器，得到所述初始目标域生成器的每个卷积层所输出的目标域特征图；根据所述源域特征图和所述目标域特征图，分别生成对应的自相似矩阵；所述自相似矩阵表征特征图的空间结构信息；根据门函数，将所述源域特征图的自相似矩阵，和所述目标域特征图的自相似矩阵进行自适应对齐，计算得到自适应对齐损失函数值；所述源域生成器输出源域图像；所述目标域生成器输出目标域图像，计算得到
Directional CLIP
损失函数值；根据所述自适应对齐损失函数值和所述
Directional CLIP
损失函数值，进行线性加权，计算得到总损失函数值；根据所述总损失函数值，采用梯度下降法和反向传播算法，更新所述初始目标域生成器的参数和所述门函数的参数；重新执行随机采样，利用得到的新的样本噪声向量，重新进行训练，直至参数收敛或达到预期迭代次数，结束所述迭代训练，得到所述目标域生成器
。2.
根据权利要求1所述的图像生成方法，其特征在于，所述根据所述源域特征图和所述目标域特征图，生成对应的自相似矩阵，包括：分别选择所述源域特征图和所述目标域特征图中的目标特征向量；根据所述目标特征向量和所在特征图中的所有位置的特征向量的余弦相似度，生成所述源域特征图的自相似矩阵，和，所述目标域特征图的自相似矩阵，所述自相似矩阵的计算公式如下：其中，表示第
l
层卷积层所输出的特征图，所述特征图宽度为
w
，高度为
h
，通道数为
c
，
f
l
(x
，
y)
表示该特征图中位于
(x
，
y)
的所述目标特征向量，维度为
c
，
f
l
(i
，
j)
表示该特征图中的其他位置的特征向量，维度为
c
，表示特征图
f
l
生成的自相似矩阵，该自相似矩阵宽度为
w
，高度为
h
，通道数为
w
×
h
，表示表示自相似矩阵位于
(x
，
y)
处第
i
×
j
通道的值，由特征图
f
l
的目标特征向量
(x
，
y)
与其他位置的特征向量
(i
，
j)
之间的余弦相似度计算得到，所述其他位置
(i
，
j)
覆盖特征图
f
l
宽度
w
和高度
h
区域内的所有位置，即
(i
，
j)∈{(m
，
n)|1≤m≤w
，
1≤n≤h}。3.
根据权利要求1所述的图像生成方法，其特征在于，所述根据所述源域特征图和所述目标域特征图，生成对应的自相似矩阵，包括：分别选择所述源域特征图和所述目标域特征图中的目标特征向量；
根据所述目标特征向量和所在特征图中的相邻位置的特征向量的余弦相似度，生成所述源域特征图的自相似矩阵，和，所述目标域特征图的自相似矩阵，自相似矩阵的计算公式如下：如下：其中，表示第
l
层卷积层所输出的特征图，特征图宽度为
w
，高度为
h
，通道数为
c
；
f
l
(x
，
y)
表示该特征图中位于
(x
，
y)
的所述目标特征向量，维度为
c
；
f
l
(i
，
j)
表示该特征图中的相邻位置的特征向量，维度为
c
；表示特征图
f
l
生成的自相似矩阵，该自相似矩阵宽度为
w
，高度为
h
，通道数为
w
×
h
，表示自相似矩阵位置
(x
，
y)
处第第
i
×
j
通道的值，由特征图
f
l
的目标特征向量
f
l
(x
，
y)
与相邻位置的特征向量
f
l
(i
，
j)
之间的余弦相似度计算得到；所述相邻位置
(i
，
j)
表示特征图
f
l
中与目标特征向量
f
l
(x
，
y)
所在位置
(x,y)
相邻的位置，即
4.
根据权利要求1所述的图像生成方法，其特征在于，所述根据门函数，将所述源域特征图的自相似矩阵，和所述目标域特征图的自相似矩阵进行自适应对齐操作，包括：将所述源域特征图的自相似矩阵，和所述目标域特征图的自相似矩阵输入所述门函数，得到参数矩阵；其中，所述门函数由一个线性映射和非线性激活函数组成，...

【专利技术属性】
技术研发人员：王朝飞，武帅，罗威，熊飞，罗准辰，苗壮，高丽，王晓云，王三梅，
申请(专利权)人：中国人民解放军军事科学院军事科学信息研究中心，
类型：发明
国别省市：