【技术实现步骤摘要】
基于手绘草图和图像样例约束的自然图像生成方法及装置
[0001]本专利技术涉及图像处理
，尤其是基于手绘草图和图像样例约束的自然图像生成方法及装置。
技术介绍
[0002]随着条件对抗生成网络的迅速发展，多种基于不同约束的条件对抗生成网络不停涌现，比如使用边图、自然图像、手绘草图或语义分割图等作为约束的网络。但是这些网络只能控制生成图像内容比如姿势、形状等信息。生成图像的可控性不够高。
[0003]近期出现使用关键点，边图和仅使用自然图像来控制生成图像内容，但是使用关键点由于其过于抽象无法很好地表达用户意图；使用边图或自然图像用户难以找到一张合适的输入来表达自己的意图，不够便捷。
技术实现思路
[0004]有鉴于此，本专利技术实施例提供一种便捷性高以及可控性高的，基于手绘草图和图像样例约束的自然图像生成方法及装置。
[0005]本专利技术的第一方面提供了一种基于手绘草图和图像样例约束的自然图像生成方法，包括：
[0006]获取原始自然图像和类别信息，构建训练数据集；其中，所述训练...
【技术保护点】
【技术特征摘要】
1.基于手绘草图和图像样例约束的自然图像生成方法，其特征在于，包括：获取原始自然图像和类别信息，构建训练数据集；其中，所述训练数据集包括内容图像和图像样例；构建自然图像生成模型，所述自然图像生成模型包括生成器和多任务判别器，所述生成器用于在训练过程中生成自然图像，所述多任务判别器用于在训练过程中判断生成的自然图像是否真实，并判断生成的自然图像的所属类别；通过所述训练数据集对所述自然图像生成模型进行训练，调整所述自然图像生成模型的参数，得到训练好的目标模型；将目标图像样例和目标手绘草图输入所述目标模型，生成基于所述目标手绘草图和图像样例约束的自然图像。2.根据权利要求1所述的基于手绘草图和图像样例约束的自然图像生成方法，其特征在于，所述获取原始自然图像和类别信息，构建训练数据集，包括：通过边图提取算法获取所述原始自然图像的边图；将所述边图和对应的自然图像结对为数据集中的训练数据对，还将所述边图和随机自然图像结对为数据集中的训练数据对；根据两种所述训练数据对构建所述训练数据集，其中，所述边图为内容图像，所述自然图像为图像样例。3.根据权利要求1所述的基于手绘草图和图像样例约束的自然图像生成方法，其特征在于，所述构建自然图像生成模型，包括：构建内容编码器，所述内容编码器包括五个卷积模块和两个残差模块，所述内容编码器用于提取输入数据中的内容特征；构建风格编码器，所述风格编码器用于提取输入数据中的图像样例的风格特征；构建内容解码器，所述内容解码器用于根据所述风格特征获取仿射变换参数，并用于根据所述内容特征和所述仿射变换参数生成图片。4.根据权利要求3所述的基于手绘草图和图像样例约束的自然图像生成方法，其特征在于，所述内容特征的提取公式为：Z
content
＝E
content
(X
edge or sketch
)其中，Z
content
为内容特征；E
content
为内容编码器，X
edge or sketch
为内容图像中的边图或手绘草图。5.根据权利要求3所述的基于手绘草图和图像样例约束的自然图像生成方法，其特征在于，所述方法还包括使用自适应实例归一化进行风格迁移的步骤，该步骤具体包括：通过三个全连接层对所述风格特征进行处理，得到仿射变换参数；根据所述仿射变换参数，将所述风格特征输入所述内容解码器的AdaIN Resblock模块，通过AdaIN Resblock模块使用自适应实例归一化进行风格迁移；其中，所述自适应实例归一化的计算表达式为：其中，AdaIN(z
content
，z
reference
)表示所述自适应实例归一化的结果，z
content
表示内容特
征，z
reference
表示风格特征，μ表示均值，σ表示方差。6.根据权利要求1所述的基于手绘草图和图像样例约束的自然图像生成方法，其特征在于，所述通过所述训练数据集对所述自然图像生成模型进行训练，调整所述自然图像生成模型的参数，得到训练好的目标模型这一步骤中，训练过程的重建损失函数为：L
rec
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。