本发明专利技术公开了一种基于手绘的多类别对象级自然图像生成方法，包括以下步骤，获取多类别对象级初始手绘以及对应的类别标签；根据所述初始手绘和所述类别标签，对预先构建的图像生成模型进行训练；所述训练步骤包括：将所述初始手绘和其对应的类别标签输入至条件编码器中进行编码，得到预测隐空间向量；将所述预测隐空间向量和相同的类别标签输入至预训练生成器模型生成对应类别的自然图像预测结果，根据所述预测结果判断模型收敛情况；将实际手绘输入至训练好的图像生成模型中，生成自然图像；本发明专利技术通过预训练的生成器，解决了小规模训练数据集的图像域先验知识不足的问题。训练数据集的图像域先验知识不足的问题。训练数据集的图像域先验知识不足的问题。
【技术实现步骤摘要】
一种基于手绘的多类别对象级自然图像生成方法
[0001]本专利技术涉及计算机视觉图像生成
，更具体的说是涉及一种基于手绘的多类别对象级自然图像生成方法。
技术介绍
[0002]基于手绘的多类别图像生成旨在基于手绘和类别标签自动生成逼真的图像。该任务面临的挑战是手绘域与图像域的巨大域间差异，同一域内不同类别特征的域内差异以及同一类内图像的特征变化。由于手绘语义特征具有模糊性、抽象性、稀疏性，手绘和照片之间存在很大的域间差距。因此，生成逼真的照片，尤其是多个不同类别的图像，需要大量的图像域的先验知识。该任务对生成模型的学习泛化能力是一项巨大的考验。
[0003]现存的工作基本上都是基于生成对抗网络，完成手绘域到图像域的生成建模。它们大多数采用编码器
‑
解码器结构，学习了从手绘域到潜在空间再到图像域的连续映射。有些工作会学习图像和边缘图到共享的隐空间的联合映射。有些工作采用循环生成对抗网络作为其网络的结构基础，并提出了一种开放域内的采样和优化策略。但是这些基于学习生成模型的方法严重依赖于手绘
‑
图像训练集的数据规模，依靠现有的小规模手绘
‑
图像数据集无法得到性能优良的生成模型(图像域的先验知识不足)，生成的多类别图像质量难以达到照片级真实度和生成多样性。
[0004]因此，如何提供一种基于手绘的多类别对象级自然图像生成方法，来提高图像生成质量是本领域技术人员亟需解决的问题。
技术实现思路
[0005]有鉴于此，本专利技术提供了一种基于手绘的多类别对象级自然图像生成方法，能够生成具有照片级真实度并且忠实于手绘特征的自然图像。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于手绘的多类别对象级自然图像生成方法，其特征在于，包括以下步骤，
[0008]获取多类别对象级初始手绘以及对应的类别标签；
[0009]根据所述初始手绘和所述类别标签，对预先构建的图像生成模型进行训练；所述训练步骤包括：将所述初始手绘和其对应的类别标签输入至条件编码器中进行编码，得到预测隐空间向量；将所述预测隐空间向量和相同的类别标签输入至预训练生成器模型生成对应类别的自然图像预测结果，根据所述预测结果判断模型收敛情况；训练至模型收敛；
[0010]将实际手绘输入至训练好的所述图像生成模型中，生成自然图像。
[0011]进一步的，所述训练步骤还包括：
[0012]将所述自然图像输入至图像
‑
手绘转译网络，输出重建手绘；根据所述初始手绘与所述重建手绘，计算形状损失，约束所述自然图像忠实于所述初始手绘的形状特征。
[0013]进一步的，所述训练步骤还包括：
[0014]所述预训练生成器模型固定；
[0015]所述条件编码器根据真实隐空间向量和所述预测隐空间向量采用预设的第一损失函数计算向量重建损失，并进行参数更新；所述图像
‑
手绘转译网络采用预设的第二损失函数计算形状损失，并进行参数更新。
[0016]进一步的，所述训练步骤还包括：使用真实手绘
‑
图像数据集进行调优，即利用该数据集作为训练数据集，使用预设的调优损失函数和所述第二损失函数分别对所述条件编码器E和所述图像
‑
手绘转译网络S的参数进行优化。
[0017]进一步的，
[0018]所述第一损失函数为：
[0019]其中，
[0020][0021]所述第二损失函数为：
[0022][0023]所述调优损失函数为：
[0024][0025]其中，z
GT
为隐空间向量，x
GT
为训练图像，s为输入手绘，y为类别标签，E为条件编码器，S为图像
‑
手绘转译网络，G为预训练图像生成器，F为预训练特征提取网络，λ
image
、λ
image
和、λ
image
为模型训练参数；指代模型E的参数更新的方向为损失函数收敛的梯度方向。
[0026]进一步的，所述条件编码器包括输入层、多个残差块、卷积层、下采样层和线性投影层；所述输入层、多个残差块、卷积层、下采样层和所述线性投影层依次连接；
[0027]通过所述残差块对所述输入层输入的所述初始手绘和所述类别标签进行归一化；
[0028]依次通过所述卷积层、所述下采样层和所述线性投影层，输出预测隐空间向量。
[0029]进一步的，通过所述残差块对所述输入层输入的所述初始手绘和所述类别标签进行归一化，步骤包括：
[0030]获取输入向量和所述类别标签；其中，所述输入向量为所述初始手绘或由所述残差块输出的中间向量；
[0031]通过1
×
1卷积层对所述输入向量进行特征提取，得到第一特征向量；对所述第一特征向量使用最大池化层进行下采样，得到第一采样向量；
[0032]通过三层线性投影层对所述类别标签分别进行投影，对应得到增益参数和偏差参数；
[0033]通过1
×
1卷积层对所述输入向量进行特征提取得到第二特征向量。
[0034]根据第一层线性投影层输出的所述增益参数和所述偏差参数对所述第二特征向量进行条件批量归一化，并经过激活函数，得到第三特征向量；
[0035]通过3
×
3卷积层对所述第三特征向量进行特征提取，缩小特征图的尺寸为所述第二特征向量的1/2，增加特征向量的通道深度为所述第二特征向量的2倍，得到第四特征向量；
[0036]根据第二层线性投影层输出的所述增益参数和所述偏差参数对所述第四特征向量进行批量归一化，并经过激活函数，得到第五特征向量；
[0037]通过1
×
1卷积层对所述第五特征向量进行特征提取，得到第六特征向量；
[0038]根据第三层线性投影层输出的所述增益参数和所述偏差参数对所述第六特征向量进行批量归一化，并与所述第一采样向量进行相加后，由激活函数进行激活，得到所述中间向量。
[0039]进一步的，所述图像
‑
手绘转译网络包括，多个上采样残差模块和多个下采样残差模块和1个1
×
1卷积层；其中，多个所述上采样残差模块和多个所述下采样残差模块以及所述1
×
1卷积层依次连接。其中对应尺寸的残差块之间使用跳跃连接。
[0040]进一步的，所述上采样模块的残差网络由一个1
×
1卷积层和一个平均池化层构成；
[0041]所述上采样模块的主干网络接由两个3
×
3卷积层组成；其中，在输入所述3
×
3卷积层之前，经过激活函数层进行激活；在每个所述3
×
3卷积层之后接有一个谱归一化层。
[0042]进一步的，所述下采样模块的残差网络由上采样层和1
×
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于手绘的多类别对象级自然图像生成方法，其特征在于，包括以下步骤，获取多类别对象级初始手绘以及对应的类别标签；根据所述初始手绘和所述类别标签，对预先构建的图像生成模型进行训练；所述训练步骤包括：将所述初始手绘和其对应的类别标签输入至条件编码器中进行编码，得到预测隐空间向量；将所述预测隐空间向量和相同的类别标签输入至预训练生成器模型生成对应类别的自然图像预测结果，根据所述预测结果判断模型收敛情况；训练至模型收敛；将实际手绘输入至训练好的所述图像生成模型中，生成自然图像。2.根据权利要求1所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述训练步骤还包括：将所述自然图像输入至图像
‑
手绘转译网络，输出重建手绘；根据所述初始手绘与所述重建手绘，计算形状损失，约束所述自然图像忠实于所述初始手绘的形状特征。3.根据权利要求2所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述训练步骤还包括：所述预训练生成器模型固定；所述条件编码器根据真实隐空间向量和所述预测隐空间向量采用预设的第一损失函数计算向量重建损失，并进行参数更新；所述图像
‑
手绘转译网络采用预设的第二损失函数计算形状损失，并进行参数更新。4.根据权利要求3所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述训练步骤还包括：使用真实手绘
‑
图像数据集进行调优，即利用该数据集作为训练数据集，使用预设的调优损失函数和所述第二损失函数分别对所述条件编码器E和所述图像
‑
手绘转译网络S的参数进行优化。5.根据权利要求4所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述第一损失函数为：其中，其中，所述第二损失函数为：所述调优损失函数为：其中，z
GT
为隐空间向量，x
GT
为训练图像，s为输入手绘，y为类别标签，E为条件编码器，S为图像
‑
手绘转译网络，G为预训练图像生成器，F为预训练特征提取网络，λ
image
、λ
image
和、λ
image
为模型训练参数。6.根据权利要求1所述的一种基于手绘的多类别对象级自然图像生成方法，其特征在于，所述条件编码器包括输入层、多个残差块、卷积层、下采样层和线性投影层；所述输入层、多个残差块、卷积层、下采样层和所述线性投影层依次连接；
通过所述残差块对所述输入层输入的所述初始手绘和所述类别标签进行归一化；依次通过所述卷积层、所述下采样层和所述线性投影层，输出预测隐空间向量。7.根据权利要求...
【专利技术属性】
技术研发人员：于茜，安梓睿，于靖博，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。