图片生成与模型训练方法、装置及存储介质制造方法及图纸

本发明专利技术实施例提供了一种图片生成与模型训练方法、装置及存储介质，其中，上述图片生成方法，包括：获取用户输入的分割图和条件向量；将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中，获得目标图片；其中，所述目标图片生成模型包括目标空间自适应归一化模块、目标解码器以及目标生成器。本发明专利技术实施例提供的图片生成方法无需使用素材对原始图片中的各个类别的属性特征进行匹配，能够有效提高生成的图片与用户输入内容的相关度，并有助于满足用户对图片生成的个性化需求。

Image generation and model training methods, devices and storage media

【技术实现步骤摘要】
图片生成与模型训练方法、装置及存储介质
本专利技术涉及图片处理
，特别是涉及一种图片生成与模型训练方法、装置及存储介质。
技术介绍
随着图片处理技术的发展，用户可以通过一些图片生成工具来生成个性化的图片，例如卡通化的个人图像、聊天表情等。现有的图片生成工具以模板匹配的图片生成方式为主，即预先建立类别(例如五官、脸型、头发、眼镜等)的素材库，在进行图片生成时，从用户提供的原始图片中提取各个类别的属性特征，并基于属性特征从相关类别的素材库中选取最匹配的素材进行拼接，最终得到生成图片。模板匹配的图片生成方式的缺陷在于，预先建立的素材通常比较固定，且难以对原始图片中的类别属性特征进行修改，导致生成图片的相关度较差，且难以满足用户对图片生成的个性化需求。
技术实现思路
本专利技术实施例的目的在于提供一种图片生成与模型训练方法、装置及存储介质，以提高生成图片的相关度，并便于满足用户对图片生成的个性化需求。具体技术方案如下：在本专利技术实施的第一方面，首先提供了一种图片生成方法，包括：r>获取用户输入的分本文档来自技高网...

【技术保护点】
1.一种图片生成方法，其特征在于，包括：/n获取用户输入的分割图和条件向量；/n将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中，获得目标图片；/n其中，所述目标图片生成模型包括目标空间自适应归一化模块、目标解码器以及目标生成器，所述目标解码器的输入端用于接收所述随机噪声与所述条件向量，所述目标空间自适应归一化模块的输入端用于接收所述分割图，所述目标生成器的输入用于接收所述目标空间自适应归一化模块的输出与所述目标解码器的输出。/n

【技术特征摘要】
1.一种图片生成方法，其特征在于，包括：
获取用户输入的分割图和条件向量；
将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中，获得目标图片；
其中，所述目标图片生成模型包括目标空间自适应归一化模块、目标解码器以及目标生成器，所述目标解码器的输入端用于接收所述随机噪声与所述条件向量，所述目标空间自适应归一化模块的输入端用于接收所述分割图，所述目标生成器的输入用于接收所述目标空间自适应归一化模块的输出与所述目标解码器的输出。


2.根据权利要求1所述的方法，其特征在于，所述目标空间自适应归一化模块包括第一目标空间自适应归一化模块与第二目标空间自适应归一化模块，所述目标解码器包括第一目标解码器与第二目标解码器，所述目标生成器包括第一目标生成器与第二目标生成器；
所述将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中，获得目标图片，包括：
将所述随机噪声与所述条件向量输入至所述第一目标解码器，获得第一拼接图；
将所述第一目标空间自适应归一化模块的输出与所述第一拼接图输入至所述第一目标生成器，获得颜色分布图；
将所述颜色分布图、所述随机噪声以及所述条件向量输入至所述第二目标解码器，获得第二拼接图；
将所述第二目标空间自适应归一化模块的输出与所述第二拼接图输入至所述第二目标生成器，获得目标图片。


3.根据权利要求1所述的方法，其特征在于，所述分割图包括头部轮廓信息与五官位置信息；
所述将所述分割图、所述条件向量和预设的随机噪声输入到预先训练得到的目标图片生成模型中，获得目标图片，包括：
将所述分割图输入到所述目标空间自适应归一化模块，获得反归一化参数；
控制所述目标生成器对将所述目标解码器的输出进行归一化，获得目标特征图；
控制所述目标生成器基于所述反归一化参数对所述目标特征图进行反归一化，获得目标图片，其中，所述目标图片包括头部坐标信息与五官坐标信息，所述头部坐标信息与所述头部轮廓信息匹配，所述五官坐标信息与所述五官位置信息相匹配。


4.根据权利要求1所述的方法，其特征在于，所述条件向量包括五官属性向量、脸部属性向量、头发属性向量以及头部配饰属性向量中的至少一项。


5.一种图片生成模型训练方法，其特征在于，包括：
构建生成对抗网络，所述生成对抗网络包括原始图片生成模型与原始图片判别模型；
获取样本图片、预设的随机噪声以及用户输入的分割图和条件向量；
将所述分割图、所述条件向量和预设的随机噪声输入所述原始图片生成模型中，获得合成图片；其中，所述原始图片生成模型中构建有生成损失函数，且所述原始图片生成模型包括原始空间自适应归一化模块、原始解码器以及原始生成器，所述原始解码器的输入端用于接收所述随机噪声与所述条件向量，所述原始空间自适应归一化模块的输入端用于接收所述分割图，所述原始生成器的输入用于接收所述原始空间自适应归一化模块的输出与原始解码器的输出；
将所述合成图片与所述样本图片输入至所述原始图片判别模型，获得判别结果；
基于所述判别结果对所述原始图片生成模型的网络参数进行调整，直至依据所述判别结果得到的所述生成损失函数的函数值满足损失阈值，获得目标图片生成模型。


6.根据权利要求5所述的方法，其特征在于，所述原始空间自适应归一化模块包括第一原始空间自适应归一化模块与第二原始空间自适应归一化模块，所述原始解码器包括第一原始解码器与第二原始解码器，所述原始生成器包括第一原始生成器与第二原始生成器；
所述将所述分割图、所述条件向量和预设的随机噪声输入原始图片生成模型中，获得合成图片，包括：
将所述随机噪声与所述条件向量输入至所述第一原始解码器，获得第三拼接图；
将所述第一原始空间自适应归一化模块的输出与所述第三拼接图输入至所述第一原始生成器，获得第一合成图片；
将所述第一合成图片、所述随机噪声以及所述条件向量输入至所述第二原始解码器，获得第四拼接图；
将所述第二原始空间自适应归一化模块的输...

【专利技术属性】
技术研发人员：王波，张骞，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11