图像生成方法、模型训练方法、相关装置及电子设备制造方法及图纸

本申请公开了一种图像生成方法、模型训练方法、相关装置及电子设备，属于人工智能技术领域。该方法包括：获取图像风格为第一风格的第一图像，以及图像风格为第二风格的第二图像；基于目标模型对所述第一图像进行第一特征处理，得到第一特征向量，所述第一特征向量用于表征所述第一图像的图像内容；对所述第一特征向量和第二特征向量进行拼接操作，得到第一目标特征向量，所述第二特征向量基于所述第二风格的第二图像确定，所述第二特征向量用于表征所述第二图像的图像风格；基于所述第一目标特征向量进行图像构建，得到第三图像。得到第三图像。得到第三图像。

【技术实现步骤摘要】
图像生成方法、模型训练方法、相关装置及电子设备


[0001]本申请属于人工智能
，具体涉及一种图像生成方法、模型训练方法、相关装置及电子设备。

技术介绍

[0002]随着人工智能的高速发展，可以采用深度学习模型如循环对抗生成网络(Cycle Generative Adversarial Network，CycleGAN)模型，进行图像风格的转换，以生成与输入图像不同风格的图像，比如，可以通过CycleGAN模型将夏天风格的风景图像转换为冬天风格的风景图像。
[0003]目前，采用CycleGAN模型进行图像风格的转换，所生成的图像质量比较差。

技术实现思路

[0004]本申请实施例的目的是提供一种图像生成方法、模型训练方法、相关装置及电子设备，能够解决采用相关模型进行图像风格的转换，所生成的图像质量比较差的问题。
[0005]第一方面，本申请实施例提供了一种图像生成方法，该方法包括：
[0006]获取图像风格为第一风格的第一图像，以及图像风格为第二风格的第二图像；
[0007]基于目标模型对所述第一图像进行第一特征处理，得到第一特征向量，所述第一特征向量用于表征所述第一图像的图像内容；
[0008]对所述第一特征向量和第二特征向量进行拼接操作，得到第一目标特征向量，所述第二特征向量基于所述第二风格的第二图像确定，所述第二特征向量用于表征所述第二图像的图像风格；
[0009]基于所述第一目标特征向量进行图像构建，得到第三图像。
[0010]第二方面，本申请实施例提供了一种模型训练方法，该方法包括：
[0011]获取训练样本数据，所述训练样本数据包括第一样本图像，以及用于表征第一样本风格的第四特征向量；
[0012]对所述第一样本图像进行第一特征处理，得到第五特征向量，所述第五特征向量用于表征所述第一样本图像的图像内容；对所述第五特征向量和所述第四特征向量进行拼接操作，得到第二目标特征向量；基于所述第二目标特征向量进行图像构建，得到第一输出图像；
[0013]基于所述第一输出图像和所述第五特征向量，确定目标模型的第一网络损失值；
[0014]基于所述第一网络损失值，更新所述目标模型的网络参数；
[0015]其中，在满足第一预设条件的情况下，所述目标模型训练完成，所述第一预设条件包括：所述第一网络损失值小于第一预设阈值，和/或，所述目标模型的训练迭代次数大于第二预设阈值。
[0016]第三方面，本申请实施例提供了一种图像生成装置，该装置包括：
[0017]第一获取模块，用于获取图像风格为第一风格的第一图像，以及图像风格为第二
风格的第二图像；
[0018]第一特征处理模块，用于基于目标模型对所述第一图像进行第一特征处理，得到第一特征向量，所述第一特征向量用于表征所述第一图像的图像内容；
[0019]特征拼接模块，用于对所述第一特征向量和第二特征向量进行拼接操作，得到第一目标特征向量，所述第二特征向量基于所述第二风格的第二图像确定，所述第二特征向量用于表征所述第二图像的图像风格；
[0020]图像构建模块，用于基于所述第一目标特征向量进行图像构建，得到第三图像。
[0021]第四方面，本申请实施例提供了一种模型训练装置，该装置包括：
[0022]第三获取模块，用于获取训练样本数据，所述训练样本数据包括第一样本图像，以及用于表征第一样本风格的第四特征向量；
[0023]第一特征处理模块，用于对所述第一样本图像进行第一特征处理，得到第五特征向量，所述第五特征向量用于表征所述第一样本图像的图像内容；
[0024]特征拼接模块，用于对所述第五特征向量和所述第四特征向量进行拼接操作，得到第二目标特征向量；
[0025]图像构建模块，用于基于所述第二目标特征向量进行图像构建，得到第一输出图像；
[0026]第一确定模块，用于基于所述第一输出图像和所述第五特征向量，确定目标模型的第一网络损失值；
[0027]第一更新模块，用于基于所述第一网络损失值，更新所述目标模型的网络参数；
[0028]其中，在满足第一预设条件的情况下，所述目标模型训练完成，所述第一预设条件包括：所述第一网络损失值小于第一预设阈值，和/或，所述目标模型的训练迭代次数大于第二预设阈值。
[0029]第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像生成方法的步骤，或者如第二方面所述的模型训练方法的步骤。
[0030]第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像生成方法的步骤，或者如第二方面所述的模型训练方法的步骤。
[0031]第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像生成方法的步骤，或者如第二方面所述的模型训练方法的步骤。
[0032]在本申请实施例中，通过获取图像风格为第一风格的第一图像，以及图像风格为第二风格的第二图像；基于目标模型对所述第一图像进行第一特征处理，得到第一特征向量，所述第一特征向量用于表征所述第一图像的图像内容；对所述第一特征向量和第二特征向量进行拼接操作，得到第一目标特征向量，所述第二特征向量基于所述第二风格的第二图像确定，所述第二特征向量用于表征所述第二图像的图像风格；基于所述第一目标特征向量进行图像构建，得到第三图像。如此，可以基于目标模型实现图像的图像风格从第一风格到第二风格的转换，并可以保持所生成的第三图像的图像内容与所输入的第一图像的
图像内容相同，从而可以提高所生成的图像质量。
附图说明
[0033]图1是本申请实施例提供的图像生成方法的流程图；
[0034]图2是卷积模块的结构示意图；
[0035]图3是CBAM的结构示意图；
[0036]图4是一示例的第一模型的结构示意图；
[0037]图5是一示例的目标模型的结构示意图；
[0038]图6是DeConvBlock模块的结构示意图；
[0039]图7是ResBlock模块的结构示意图；
[0040]图8是本申请实施例提供的图像合成方法的流程图；；
[0041]图9是第六图像的亮度调整示意图；
[0042]图10是本申请实施例提供的模型训练方法的流程图；
[0043]图11是本申请实施例提供的图像生成装置的结构图；
[0044]图12是本申请实施例提供的模型训练装置的结构图；
[0045]图13是本申请实施例提供的电子设备的结构图；
[0046]图14为实现本申请实施例的一种电子设备的硬件结构示意图。
...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：获取图像风格为第一风格的第一图像，以及图像风格为第二风格的第二图像；基于目标模型对所述第一图像进行第一特征处理，得到第一特征向量，所述第一特征向量用于表征所述第一图像的图像内容；对所述第一特征向量和第二特征向量进行拼接操作，得到第一目标特征向量，所述第二特征向量基于所述第二风格的第二图像确定，所述第二特征向量用于表征所述第二图像的图像风格；基于所述第一目标特征向量进行图像构建，得到第三图像。2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行第一特征处理，得到第一特征向量，包括：对所述第一图像进行第一特征编码，得到所述第一图像的第一特征图像；对所述第一特征图像进行第二特征编码，得到所述第一特征向量。3.根据权利要求2所述的方法，其特征在于，所述第一特征编码包括特征提取和注意力向量的提取，所述对所述第一图像进行第一特征编码，得到所述第一图像的第一特征图像，包括：对所述第一图像进行特征提取，得到所述第一图像的第二特征图像；基于目标注意力机制，提取所述第二特征图像在所述目标注意力机制对应维度上的注意力向量，所述目标注意力机制包括在通道维度上的注意力机制、在空间维度上的注意力机制中的至少一项；将所述注意力向量和所述第二特征图像进行相乘处理，得到第三特征图像；基于所述第三特征图像，确定所述第一特征图像。4.根据权利要求2所述的方法，其特征在于，所述基于所述第一目标特征向量进行图像构建，得到第三图像，包括：对所述第一目标特征向量进行第一特征解码，得到第四特征图像；对所述第四特征图像进行第二特征解码，得到第五特征图像，所述第五特征图像的尺寸与所述第一特征图像的尺寸相同；将所述第一特征图像和所述第五特征图像进行拼接操作，得到第六特征图像；对所述第六特征图像进行第三特征解码，得到所述第三图像。5.根据权利要求4所述的方法，其特征在于，所述第二风格包括第一目标风格和第二目标风格；所述对所述第一目标特征向量进行第一特征解码，得到第四特征图像，包括：对所述第一目标风格对应的所述第一目标特征向量进行第一解码操作，得到第七特征图像；将所述第七特征图像和第八特征图像进行拼接操作，得到第九特征图像，所述第八特征图像是对所述第二目标风格对应的所述第一目标特征向量进行所述第一解码操作得到的；对所述第九特征图像进行第二解码操作，得到所述第四特征图像。6.根据权利要求1所述的方法，其特征在于，所述第二图像的数量为M，M为正整数，所述对所述第一特征向量和第二特征向量进行拼接操作，得到第一目标特征向量之前，所述方法还包括：
分别对每个所述第二图像进行第二特征处理，得到M个第三特征向量，一个所述第三特征向量与一个所述第二图像对应，所述第三特征向量用于表征所述第二图像的图像风格；对所述M个第三特征向量进行平均处理，得到所述第二特征向量。7.根据权利要求1所述的方法，其特征在于，所述第三图像的数量包括N个，N为大于1的整数，所述基于所述第一目标特征向量进行图像构建，得到第三图像之后，所述方法还包括：获取合成位置位于两个目标图像之间的第四图像，所述第四图像关于第一颜色空间的第一像素信息是基于所述两个目标图像关于所述第一颜色空间的第二像素信息确定的，所述两个目标图像为N个所述第三图像中相邻的两个图像；基于N个所述第三图像关于第二颜色空间的N个第三像素信息，对所述第四图像关于所述第二颜色空间的第四像素信息进行调整，得到第五图像；合成N个所述第三图像和所述第五图像。8.一种模型训练方法，其特征在于，所述方法包括：获取训练样本数据，所述训练样本数据包括第一样本图像，以及用于表征第一样本风格的第四特征向量；对所述第一样本图像进行第一特征处理，得到第五特征向量，所述第五特征向量用于表征所述第一样本图像的图像内容；对所述第五特征向量和所述第四特征向量进行拼接操作，得到第二目标特征向量；基于所述第二目标特征向量进行图像构建，得到第一输出图像；基于所述第一输出图像和所述第五特征向量，确定目标模型的第一网络损失值；基于所述第一网络损失值，更新所述目标模型的网络参数；其中，在满足第一预设条件的情况下，所述目标模型训练完成，所述第一预设条件包括：所述第一网络损失值小于第一预设阈值，和/或，所述目标模型的训练迭代次数大于第二预设阈值。9.根据权利要求8所述的方法，其特征在于，所述目标模型包括第一模型和第二模型，所述第一模型用于：对所述第一样本图像进行第一特征处理，得到第五特征向量，所述第二模型用于：对所述第五特征向量和所述第四特征向量进行拼接操作，得到第二目标特征向量；基于所述第二目标特征向量进行图像构建，得到所述第一输出图像；所述目标模型的训练阶段包括第一阶段和第二阶段，所述第二阶段位于所述第一阶段之后；所述基于所述第一网络损失值，更新所述目标模型的网络参数，包括以下任一项：在所述目标模型的训练阶段位于所述第一阶段的情况下，基于所述第一网络损失值，更新所述第二模型的网络参数，其中，所述第一模型的网络参数固定不变；在所述目标模型的训练阶段位于所述第二阶段的情况下，基于所述第一网络损失值，更新所述第一模型和所述第二模型的网络参数；其中，在满足第二预设条件的情况下，所述目标模型的训练阶段位于所述第一阶段，所述第二预设条件包括：所述第一网络损失值大于或等于第三预设阈值，和/或，所述目标模型的训练迭代次数小于或等于第四预设阈值，所述第三预设阈值大于所述第一预设阈值，所述第四预设阈值小于所述第二预设阈值。10.根据权利要求9所述的方法，其特征在于，所述训练样本数据还包括：K个第二样本
图像，所述K个第二样本图像包括：具有相同图像内容，但图像风格不同的样本图像，以及具有相同图像风格，但图像内容不同的样本图像，K为大于2的整数；所述基于所述第一网络损失值，更新所述目标模型的网络参数之前，所述方法还包括：基于所述第一模型对所述K个第二样本图像进行目标特征处理，得到K个第六特征向量和K个第七特征向量，所述第六特征向量用于表征所述第二样本图像的图像内容，所述第七特征向量用于表征所述第二样本图像的图像风格，所述目标特征处理包括所述第一特征处理；基于所述K个...

【专利技术属性】
技术研发人员：毛爱玲，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：