图像处理方法、装置以及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置以及存储介质，涉及计算机技术领域，其中方法包括：构建生成式对抗网络模型，生成器根据样本图像描述文本获得生成图像，生成包含有与样本草图和生成图像的联合图像，根据判别器对于联合图像、样本图像描述文本的判别结果生成目标函数，使用基于目标函数调整后的生成器生成图像。本公开的图像处理方法、装置以及存储介质，样本图像描述文本和样本草图能够互补信息，可以基于样本图像描述文本和样本草图调整模型，通过调整后的模型生成更加精准的图像；提供新的对抗网络模型，提高网络训练的效率、生成的图像的准确度，适用性和鲁棒性较好。

【技术实现步骤摘要】
图像处理方法、装置以及存储介质
本公开涉及计算机
，尤其涉及一种图像处理方法、装置以及存储介质。
技术介绍
生成式对抗网络模型是一种生成模型，包含生成器网络(GeneratorNetwork)和判别器网络(DiscriminatorNetwork)，生成器网络和判别器网络相互竞争，直至达到平衡。目前的生成式对抗网络模型只能基于草图生成与此草图的图像特征相同的图像，在训练过程中，现有的生成式对抗网络模型学习特征的速度较为缓慢，并且，基于生成式对抗网络模型生成的图像的准确度较差。
技术实现思路
有鉴于此，本专利技术要解决的一个技术问题是提供一种图像处理方法、装置以及存储介质。根据本公开的一个方面，提供一种图像处理方法，包括：构建通过文本生成图像的生成式对抗网络模型；其中，所述的生成式对抗网络模型包括：生成器和判别器；将样本图像描述文本输入所述生成器，获得所述生成器输出的生成图像；生成包含有与样本草图和所述生成图像的联合图像；其中，所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同；将所述联合图像、所述样本图像描述文本输入所述判别器，获得判别结果；根据所述判别结果生成所述生成式对抗网络模型的目标函数，基于所述目标函数对所述生成器和所述判别器进行调整；使用调整后的所述生成器基于图像描述文本生成图像并输出。可选地，获得用于表征所述生成图像与所述样本草图之间的相似度的第一判别结果；获得用于表征所述生成图像为假的第二判别结果；和，获得用于表征所述生成图像为真的第三判别结果。可选地，根据所述第一判别结果构建所述生成器的草图损失函数；根据所述第二判别结果构建所述生成器的语义损失函数；基于所述草图损失函数和所述语义损失函数构建生成器目标函数；根据所述第三判别结果构建判别器损失函数；基于所述生成器损失函数和所述判别器损失函数生成所述目标函数。可选地，所述根据所述第一判别结果构建所述生成器的草图损失函数包括：使用图像掩码对所述联合图像进行过滤处理，获得与所述生成图像对应的生成图像简笔图、与所述样本草图相对应的样本草图简笔图；计算所述生成图像简笔图与所述样本草图简笔图之间的距离，其中，所述距离为所述第一判别结果，所述距离包括：KL距离、欧式距离；基于所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似度的所述草图损失函数；可选地，所述根据所述第二判别结果构建所述生成器的语义损失函数包括：获得判别所述生成图像为假的第一概率信息；其中，所述第一概率信息为所述第二判别结果；基于所述第一概率信息构建所述语义损失函数。可选地，所述基于所述草图损失函数和所述语义损失函数构建生成器目标函数包括：确定与所述草图损失函数或所述语义损失函数相对应的加权值；基于所述草图损失函数、所述语义损失函数以及所述加权值生成所述生成器目标函数。可选地，所述将样本图像描述文本输入所述生成器包括：使用编码器将所述样本图像描述文本转换为用于表示图像特征的输入向量；获得与所述样本图像描述文本相对应的随机变量；将所述输入向量和所述随机变量相结合，输入所述生成器。可选地，所述生成器目标函数为：L1＝DKL(M⊙y,M⊙G(z,φ(t)))+λlog(1-D(G(z,φ(t))))；其中，M为图像掩码，z为所述随机变量，φ(t)为所述输入向量，y为所述样本草图，G(z,φ(t)为所述生成图像，M⊙y为所述样本草图简笔图，M⊙G(z,φ(t))为所述生成图像简笔图，DKL为所述草图损失函数，D(G(z,φ(t））为生成器输出的所述生成图像为与所述样本图像描述文本相对应的真实图像的概率；1-D(G(z,φ(t))为所述第一概率信息，λ为所述加权值。可选地，所述根据所述第三判别结果构建判别器损失函数包括：获得判别所述生成图像为真的第二概率信息；其中，所述第二概率信息为所述第三判别结果；基于所述第二概率信息构建所述判别器损失函数。可选地，所述判别器损失函数为L2＝logD(G(z,φ(t))；其中，D(G(z,φ(t))为第二概率信息，第二概率信息为生成器输出的所述生成图像为与所述样本图像描述文本相对应的真实图像的概率。可选地，确定所述目标函数为minGmaxDV(D,G)＝L2+L1；其中，V(D,G)为所述生成器和所述判别器进行调整后的数学期望，D为判别器器，G为生成器。可选地，利用深度卷积神经网络构建所述生成器和所述判别器；其中，所述生成器和所述判别器包括：输入层、全连接层和输出层。根据本公开的另一方面，提供一种图像处理装置，包括：模型构建模块，用于构建通过文本生成图像的生成式对抗网络模型；其中，所述的生成式对抗网络模型包括：生成器和判别器；样本生成模块，用于将样本图像描述文本输入所述生成器，获得所述生成器输出的生成图像；图像联合模块，用于生成包含有与样本草图和所述生成图像的联合图像；其中，所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同；图像判别模块，用于将所述联合图像、所述样本图像描述文本输入所述判别器，获得判别结果；模型调整模块，根据所述判别结果生成所述生成式对抗网络模型的目标函数，基于所述目标函数对所述生成器和所述判别器进行调整；图像生成模块，用于使用调整后的所述生成器基于图像描述文本生成图像并输出。可选地，所述图像判别模块，用于获得用于表征所述生成图像与所述样本草图之间的相似度的第一判别结果；获得用于表征所述生成图像为假的第二判别结果；和，获得用于表征所述生成图像为真的第三判别结果。可选地，所述模型调整模块，包括：第一损失确定单元，用于根据所述第一判别结果构建所述生成器的草图损失函数；根据所述第二判别结果构建所述生成器的语义损失函数；基于所述草图损失函数和所述语义损失函数构建生成器目标函数；第二损失确定单元，用于根据所述第三判别结果构建判别器损失函数；基于所述生成器损失函数和所述判别器损失函数生成所述目标函数。可选地，所述第一损失确定单元，用于使用图像掩码对所述联合图像进行过滤处理，获得与所述生成图像对应的生成图像简笔图、与所述样本草图相对应的样本草图简笔图；计算所述生成图像简笔图与所述样本草图简笔图之间的距离，其中，所述距离为所述第一判别结果，所述距离包括：KL距离、欧式距离；基于所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似度的所述草图损失函数；可选地，所述第一损失确定单元，还用于获得判别所述生成图像为假的第一概率信息；其中，所述第一概率信息为所述第二判别结果；基于所述第一概率信息构建所述语义损失函数。可选地，所述第一损失确定单元，还用于确定与所述草图损失函数或所述语义损失函数相对应的加权值；基于所述草图损失函数、所述语义损失函数以及所述加权值生成所述生成器目标函数。可选地，所述样本生成模块，还用于使用编码器将所述样本图像描述文本转换为用于表示图像特征的输入向量；获得与所述样本图像描述文本相对应的随机变量；将所述输入向量和所述随机变量相结合，输入所述生成器。<本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n构建通过文本生成图像的生成式对抗网络模型；其中，所述的生成式对抗网络模型包括：生成器和判别器；/n将样本图像描述文本输入所述生成器，获得所述生成器输出的生成图像；/n生成包含有与样本草图和所述生成图像的联合图像；其中，所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同；/n将所述联合图像、所述样本图像描述文本输入所述判别器，获得判别结果；/n根据所述判别结果生成所述生成式对抗网络模型的目标函数，基于所述目标函数对所述生成器和所述判别器进行调整；/n使用调整后的所述生成器基于图像描述文本生成图像并输出。/n

【技术特征摘要】
1.一种图像处理方法，包括：
构建通过文本生成图像的生成式对抗网络模型；其中，所述的生成式对抗网络模型包括：生成器和判别器；
将样本图像描述文本输入所述生成器，获得所述生成器输出的生成图像；
生成包含有与样本草图和所述生成图像的联合图像；其中，所述样本草图对应的图像特征与所述图像样本描述文本对应的图像特征相同；
将所述联合图像、所述样本图像描述文本输入所述判别器，获得判别结果；
根据所述判别结果生成所述生成式对抗网络模型的目标函数，基于所述目标函数对所述生成器和所述判别器进行调整；
使用调整后的所述生成器基于图像描述文本生成图像并输出。


2.如权利要求1所述的方法，所述获得判别结果信息包括：
获得用于表征所述生成图像与所述样本草图之间的相似度的第一判别结果；
获得用于表征所述生成图像为假的第二判别结果；和，
获得用于表征所述生成图像为真的第三判别结果。


3.如权利要求2所述的方法，还包括：
根据所述第一判别结果构建所述生成器的草图损失函数；
根据所述第二判别结果构建所述生成器的语义损失函数；
基于所述草图损失函数和所述语义损失函数构建生成器目标函数；
根据所述第三判别结果构建判别器损失函数；
基于所述生成器损失函数和所述判别器损失函数生成所述目标函数。


4.如权利要求3所述的方法，所述根据所述第一判别结果构建所述生成器的草图损失函数包括：
使用图像掩码对所述联合图像进行过滤处理，获得与所述生成图像对应的生成图像简笔图、与所述样本草图相对应的样本草图简笔图；
计算所述生成图像简笔图与所述样本草图简笔图之间的距离，其中，所述距离为所述第一判别结果，所述距离包括：KL距离、欧式距离；
基于所述距离构建用于确定所述生成图像简笔图与所述样本草图简笔图之间的相似度的所述草图损失函数。


5.如权利要求4所述的方法，所述根据所述第二判别结果构建所述生成器的语义损失函数包括：
获得判别所述生成图像为假的第一概率信息；其中，所述第一概率信息为所述第二判别结果；
基于所述第一概率信息构建所述语义损失函数。


6.如权利要求5所述的方法，所述基于所述草图损失函数和所述语义损失函数构建生成器目标函数包括：
确定与所述草图损失函数或所述语义损失函数相对应的加权值；
基于所述草图损失函数、所述语义损失函数以及所述加权值生成所述生成器目标函数。


7.如权利要求6所述的方法，所述将样本图像描述文本输入所述生成器包括：
使用编码器将所述样本图像描述文本转换为用于表示图像特征的输入向量；
获得与所述样本图像描述文本相对应的随机变量；
将所述输入向量和所述随机变量相结合，输入所述生成器。


8.如权利要...

【专利技术属性】
技术研发人员：董博，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11