一种图像生成系统技术方案

本发明专利技术涉及图像处理领域，尤其涉及一种图像生成系统，包括：目标图像A和A对应的目标语义特征向量B，所述系统实现以下步骤：将A作为待加噪图像A0，初始化加噪次数t=0，通过噪声预测模型对A0和B进行噪声预测，得到噪声预测结果C

【技术实现步骤摘要】
一种图像生成系统


[0001]本专利技术涉及图像处理领域，特别是涉及一种图像生成系统。

技术介绍

[0002]图像生成的目标是根据一种原始风格的输入图像生成另一种目标风格的输出图像，例如，该方法不需要艺术家的人工绘画便可由神经网络依据输入照片生成对应的肖像画、卡通画等，或是根据画家的草图、油画等生成对应的照片。图像生成在为画家提供参考和灵感，娱乐软件等等领域具有一定的商业价值和社会应用价值。
[0003]线条肖像画是一种独特的艺术风格，高度抽象而又富有表现力，经常使用一组稀疏的连续图形元素尤其是线条来捕捉一个人的独特外观，但是，由于线条肖像画的艺术风格高度抽象且缺乏纹理信息，现有的图像生成方法不能很好地根据原始图像生成线条肖像画，生成结果往往带有许多伪影、模糊、扭曲、不连贯线条等问题。
[0004]为了解决上述问题，研究人员在生成对抗网络的基础结构上进行了完善，利用多个分类器提取眼睛、鼻子、嘴巴等面部器官信息，将局部特征与全局特征融合，从而生成高质量的线条肖像画。然而，这些方法都以生成对抗网络为基础，容易产生训练不稳定、模式崩溃等问题，极大地降低了图像生成结果的准确性。同时，为满足线条肖像画这一抽象艺术风格的生成需求，往往需要额外的分类器等结构，增加了模型的复杂度。
[0005]因此，在图像生成场景中，如何精简图像生成任务中的模型，提高图像生成结果的准确性成为亟待解决的问题。

技术实现思路

[0006]针对上述技术问题，本专利技术采用的技术方案为一种图像生成系统，包括：目标图像A、A对应的目标语义特征向量B、处理器和存储有计算机程序的存储器，当计算机程序被处理器执行时，实现以下步骤：S1，将A作为待加噪图像A0，将加噪次数t初始化为t=0。
[0007]S2，通过经训练的噪声预测模型对A0和B进行噪声预测，得到t对应的噪声预测结果C
t
。
[0008]S3，对A0和C
t
进行加权相加，得到加噪图像D
t
。
[0009]S4，以D
t
作为A0，更新t=t+1。
[0010]S5，返回执行S2步骤至S4步骤，直至t=Z，得到目标加噪图像E，其中，Z为预设的目标加噪次数。
[0011]S6，将E和B输入至经训练的图像生成模型中进行图像生成，得到目标生成图像，其中，S6具体包括如下步骤：S61，将生成次数s初始化为s= Z
‑
1。
[0012]S62，将E和B输入至经训练的图像生成模型中进行图像生成，得到s对应的生成图像E
s
，以E
s
作为E，更新s=s
‑
1。
[0013]S63，返回执行S62步骤，直至s=0，得到s=0对应的生成图像E0，确定E0为目标生成图像。
[0014]本专利技术至少具有以下有益效果：通过将A作为待加噪图像A0，将加噪次数t初始化为t=0，通过经训练的噪声预测模型对A0和B进行噪声预测，得到t对应的噪声预测结果C
t
，对A0和C
t
进行加权相加，得到加噪图像D
t
，以D
t
作为A0，更新t=t+1，返回执行S2步骤至S4步骤，直至t=Z，得到目标加噪图像E，将E和B输入至经训练的图像生成模型中进行图像生成，得到目标生成图像，其中，在S6步骤中还包括如下步骤：将生成次数s初始化为s= Z
‑
1，将E和B输入至经训练的图像生成模型中进行图像生成，得到s对应的生成图像E
s
，以E
s
作为E，更新s=s
‑
1，返回执行S62步骤，直至s=0，得到s=0对应的生成图像E0，确定E0为目标生成图像，通过编码噪声的形式提取A0中的随机信息、面部细节和语义信息等信息，并在A0上多次叠加编码得到的噪声来得到E，进一步对E和B进行多次图像生成处理得到目标生成图像，提高了目标生成图像的准确性。
附图说明
[0015]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术实施例提供的一种图像生成系统的执行计算机程序的流程图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0019]如图1所示，本实施例一提供了一种图像生成系统，包括：目标图像A、A对应的目标语义特征向量B、处理器和存储有计算机程序的存储器，当计算机程序被处理器执行时，实现以下步骤：S1，将A作为待加噪图像A0，将加噪次数t初始化为t=0。
[0020]其中，图像生成任务旨在根据原始风格的输入图像生成另一种目标风格的输出图像，在本实施例中，目标图像A可以是人脸照片，另一种风格的输出图像可以是人脸照片对应的线条肖像画。
[0021]本实施通过编码噪声的形式提取A0中的随机信息、面部细节和语义信息等信息，并在A0上多次叠加编码得到的噪声来得到加噪图像，作为对A进行图像生成的图像基础，因此，首先将加噪次数初始化为零作为迭代基础。
[0022]S2，通过经训练的噪声预测模型对A0和B进行噪声预测，得到t对应的噪声预测结果C
t
。
[0023]其中，目标语义特征向量B用于表征A中的语义信息，用于在编码噪声时提高信息丰富性，进而提高噪声预测结果C
t
的准确性。
[0024]经训练的噪声预测模型用于对输入的图像和特征进行特征提取来预测噪声，因此，本实施例通过经训练的噪声预测模型对A0和B进行噪声预测，得到t对应的C
t
，通过噪声图像的形式来表征A0中的随机信息、面部细节和语义信息等信息，为对A0进行图像生成提供了基础。
[0025]在一个具体的实施方式中，系统还包括经训练的语义编码器，A对应的目标语义特征向量B通过如下步骤获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成系统，其特征在于，所述系统包括：目标图像A、A对应的目标语义特征向量B、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：S1，将A作为待加噪图像A0，将加噪次数t初始化为t=0；S2，通过经训练的噪声预测模型对A0和B进行噪声预测，得到t对应的噪声预测结果C
t
；S3，对A0和C
t
进行加权相加，得到加噪图像D
t
；S4，以D
t
作为A0，更新t=t+1；S5，返回执行S2步骤至S4步骤，直至t=Z，得到目标加噪图像E，其中，Z为预设的目标加噪次数；S6，将E和B输入至经训练的图像生成模型中进行图像生成，得到目标生成图像，其中， S6具体包括如下步骤：S61，将生成次数s初始化为s= Z
‑
1；S62，将E和B输入至所述经训练的图像生成模型中进行图像生成，得到s对应的生成图像E
s
，以E
s
作为E，更新s=s
‑
1；S63，返回执行S62步骤，直至s=0，得到s=0对应的生成图像E0，确定E0为所述目标生成图像。2.根据权利要求1所述的系统，其特征在于，所述系统还包括经训练的语义编码器，A对应的目标语义特征向量B通过如下步骤获取：通过所述经训练的语义编码器对A进行语义特征提取，得到B。3.根据权利要求1所述的系统，其特征在于，所述经训练的噪声预测模型包括第一下采样模块、第一注意力模块和第一上采样模块，S2具体包括如下步骤：S21，将A0和B输入至所述第一下采样模块，输出第M个中间图像特征T
M
，其中，M为大于2的整数；S22，将T
M
输入至所述第一注意力模块，输出原始注意力图像特征P；S23，将P和T
M
输入至所述第一上采样模块，输出t对应的噪声预测结果C
t
。4.根据权利要求3所述的系统，其特征在于，所述第一下采样模块包括M个第一下采样层，T
m
为第m个下采样层输出的第m个中间图像特征，其中，m=1，2，
……
，M
‑
1，S21具体包括如下步骤：S211，将A0和B输入至第一个第一下采样层进行下采样，输出T1；S212，将T
m
‑1输入至第m个第一下采样层进行下采样，输出T
m
；S213，将T
M
‑1输入至第M个第一下采样层进行下采样，输出T
M
。5.根据权利要求4所述的系统，其特征在于，所述...

【专利技术属性】
技术研发人员：王磊，徐楠，郝艳妮，陈博，李军锋，曹家，罗引，
申请(专利权)人：北京中科闻歌科技股份有限公司，
类型：发明
国别省市：