一种基于手绘的多类别对象级自然图像生成方法技术

本发明专利技术公开了一种基于手绘的多类别对象级自然图像生成方法，包括以下步骤，获取多类别对象级初始手绘以及对应的类别标签；根据所述初始手绘和所述类别标签，对预先构建的图像生成模型进行训练；所述训练步骤包括：将所述初始手绘和其对应的类别标签输入至条件编码器中进行编码，得到预测隐空间向量；将所述预测隐空间向量和相同的类别标签输入至预训练生成器模型生成对应类别的自然图像预测结果，根据所述预测结果判断模型收敛情况；将实际手绘输入至训练好的图像生成模型中，生成自然图像；本发明专利技术通过预训练的生成器，解决了小规模训练数据集的图像域先验知识不足的问题。训练数据集的图像域先验知识不足的问题。训练数据集的图像域先验知识不足的问题。

【技术实现步骤摘要】
一种基于手绘的多类别对象级自然图像生成方法


[0001]本专利技术涉及计算机视觉图像生成
，更具体的说是涉及一种基于手绘的多类别对象级自然图像生成方法。

技术介绍

[0002]基于手绘的多类别图像生成旨在基于手绘和类别标签自动生成逼真的图像。该任务面临的挑战是手绘域与图像域的巨大域间差异，同一域内不同类别特征的域内差异以及同一类内图像的特征变化。由于手绘语义特征具有模糊性、抽象性、稀疏性，手绘和照片之间存在很大的域间差距。因此，生成逼真的照片，尤其是多个不同类别的图像，需要大量的图像域的先验知识。该任务对生成模型的学习泛化能力是一项巨大的考验。
[0003]现存的工作基本上都是基于生成对抗网络，完成手绘域到图像域的生成建模。它们大多数采用编码器
‑
解码器结构，学习了从手绘域到潜在空间再到图像域的连续映射。有些工作会学习图像和边缘图到共享的隐空间的联合映射。有些工作采用循环生成对抗网络作为其网络的结构基础，并提出了一种开放域内的采样和优化策略。但是这些基于学习生成模型的方法严重依赖于手绘
>‑
图像训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手绘的多类别对象级自然图像生成方法，其特征在于，包括以下步骤，获取多类别对象级初始手绘以及对应的类别标签；根据所述初始手绘和所述类别标签，对预先构建的图像生成模型进行训练；所述训练步骤包括：将所述初始手绘和其对应的类别标签输入至条件编码器中进行编码，得到预测隐空间向量；将所述预测隐空间向量和相同的类别标签输入至预训练生成器模型生成对应类别的自然图像预测结果，根据所述预测结果判断模型收敛情况；训练至模型收敛；将实际手绘输入至训练好的所述图像生成模型中，生成自然图像。2.根据权利要求1所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述训练步骤还包括：将所述自然图像输入至图像
‑
手绘转译网络，输出重建手绘；根据所述初始手绘与所述重建手绘，计算形状损失，约束所述自然图像忠实于所述初始手绘的形状特征。3.根据权利要求2所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述训练步骤还包括：所述预训练生成器模型固定；所述条件编码器根据真实隐空间向量和所述预测隐空间向量采用预设的第一损失函数计算向量重建损失，并进行参数更新；所述图像
‑
手绘转译网络采用预设的第二损失函数计算形状损失，并进行参数更新。4.根据权利要求3所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述训练步骤还包括：使用真实手绘
‑
图像数据集进行调优，即利用该数据集作为训练数据集，使用预设的调优损失函数和所述第二损失函数分别对所述条件编码器E和所述图像
‑
手绘转译网络S的参数进行优化。5.根据权利要求4所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述第一损失函数为：其中，其中，所述第二损失函数为：所述调优损失函数为：其中，z
GT
为隐空间向量，x
GT
为训练图像，s为输入手绘，y为类别标签，E为条件编码器，S为图像
‑
手绘转译网络，G为预训练图像生成器，F为预训练特征提取网络，λ
image
、λ
image
和、λ
image
为模型训练参数。6.根据权利要求1所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述条件编码器包括输入层、多个残差块、卷积层、下采样层和线性投影层；所述输入层、多个残差块、卷积层、下采样层和所述线性投影层依次连接；
通过所述残差块对所述输入层输入的所述初始手绘和所述类别标签进行归一化；依次通过所述卷积层、所述下采样层和所述线性投影层，输出预测隐空间向量。7.根据权利要求...

【专利技术属性】
技术研发人员：于茜，安梓睿，于靖博，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：