一种基于文本生成图像的方法技术

本发明专利技术公开了一种基于文本生成图像的方法，包括如下步骤：准备生成器模型和判识器模型的训练数据集；训练生成器模型和判识器模型，并计算生成器模型和判识器模型的损失函数；将生成的图像输入到卷积神经网络CNN中，获得整张图像与其匹配的文本描述的损失函数；将整个训练网络不断迭代N次，直到生成器模型的损失函数和和判识器模型的损失函数达到平衡状态。本发明专利技术所公开的方法适用于对象之间关联性比较强的复杂文本，可以提高生成图像的分辨率，图像精度高，可以拿来直接使用。

A method of image generation based on text

【技术实现步骤摘要】
一种基于文本生成图像的方法
本专利技术涉及一种基于文本生成图像的方法。
技术介绍
目前由文本生成图像的方法主要存在以下弱点：(1)一种方法是直接将描述图像的文本转换为向量生成图像，虽然生成的图像质量比较好，但当面对复杂文本时，该方法不适用。(2)存在一种方法将文本中出现的对象关系编码为场景图的形式，虽然可以处理复杂的文本，但是生成的图像分辨率低，无法在实际使用；(3)还有一种方法是在文本生成图像的过程中，要不断调整文本间词的关系，继而继续对图像进行调整，该过程需要重复操作，耗费大量计算成本。
技术实现思路
为解决上述技术问题，本专利技术提供了一种基于文本生成图像的方法，解决由复杂文本生成高质量图像的问题，以满足实际需要。为达到上述目的，本专利技术的技术方案如下：一种基于文本生成图像的方法，包括如下步骤：步骤一，准备生成器模型和判识器模型的训练数据集；步骤二，保持判识器模型参数为初始状态，训练生成器模型，生成器模型由并行网络分别根据对象路径和全局路径生成图像，在生成图像的本文档来自技高网...

【技术保护点】
1.一种基于文本生成图像的方法，其特征在于，包括如下步骤：/n步骤一，准备生成器模型和判识器模型的训练数据集；/n步骤二，保持判识器模型参数为初始状态，训练生成器模型，生成器模型由并行网络分别根据对象路径和全局路径生成图像，在生成图像的过程中以学习率α

【技术特征摘要】
1.一种基于文本生成图像的方法，其特征在于，包括如下步骤：
步骤一，准备生成器模型和判识器模型的训练数据集；
步骤二，保持判识器模型参数为初始状态，训练生成器模型，生成器模型由并行网络分别根据对象路径和全局路径生成图像，在生成图像的过程中以学习率αg不断更新生成器模型参数θG，并计算生成器模型的损失函数；
步骤三，固定生成器模型参数，训练判识器模型，判识器模型从对象路径和全局路径两个方面并行操作图像提取特征，根据生成器模型生成的图像以及训练数据集中的样本图像x以学习率αd不断学习更新判识器模型参数θD，进而判断图像的真伪，并计算判识器模型的损失函数；
步骤四，将生成的图像输入到卷积神经网络CNN中，获得整张图像与其匹配的文本描述的损失函数；
步骤五，将整个训练网络不断迭代N次，直到生成器模型的损失函数和和判识器模型的损失函数达到平衡状态。


2.根据权利要求1所述的一种基于文本生成图像的方法，其特征在于，为了生成更高分辨率的图像，再增加2个生成器模型和2个判识器模型，在第一生成器模型生成分辨率为64×64大小图像的基础上，重复步骤二和步骤三的操作，交替训练更新生成器模型参数θG和判识器模型参数θD，第二生成器模型生成分辨率为128×128大小的图像，第三生成器模型生成分辨率为256×256大小的图像。


3.根据权利要求2所述的一种基于文本生成图像的方法，其特征在于，所述步骤一具体如下：
训练数据集包括图像中对象的标注信息和每张图片的标题对标题中出现的对象类别用向量σi表示，i＝0,1,2,...,n；图像中每一个对象的特征向量，用ρ来表示，ρ初始化时为空向量；生成器模型和判识器模型的参数分别为θG和θD。


4.根据权利要求3所述的一种基于文本生成图像的方法，其特征在于，所述步骤二中生成器模型的训练过程如下：
对给定图像的描述标题经双向长短记忆网络处理，提取文本特征得到文本中所有词的特征矩阵e，e∈RD×T，ei表示矩阵第i个词对应的特征向量，D表示词向量的维度，T代表词文本中词的数量；
在双向长短记忆网络的最后一个隐藏层将所有词向量串联起来得到的标题向量将图像的标题向量标题中的对象类别标签σi以及随机的样本噪声向量z进行串联得到向量a，其中z服从正态分布；a经非线性全连接层处理得到σi的条件标签li。


5.根据权利要求4所述的一种基于文本生成图像的方法，其特征在于，所述步骤二中，
根据对象路径生成图像的过程如下：
在空间上将li复制为4×4分辨率大小的图像经过多层卷积和上采样操作后生成大小的图像，并为图像中给定的对象σi生成特征；采用空间变换网络将该对象生成的特征转化到ρ中，并定位到对应的边界框位置；重复其他对象的操作，直到标题中出现的其他对象出现在图像中，并对应各自的对象边界位置；
根据全局路径生成图像的过程如下：
全局路径获取各个对象的位置和标签，首先在空间尺度为16×16大小的图像上对各个对象的边界框复制对象的标签，应用卷积操作，根据各个对象的位置和标签获取图像的布局编码特征，将布局编码特征、和z连接起来，生成在4×4空间分辨率下的图像的全局特征，同样经多个卷积层和上采样操作后得到图像
结合和二者的信息，沿着通道轴的方向将各特征连接起来，同样经过卷积和上采样操作最终生成I64×64的图像；
生成器模型的损失函数为：
(a)无条件损失，指根据向量z生成图像得到的损失，决定生成图像的真假；



(b)有条件损失，指根据li生成图...

【专利技术属性】
技术研发人员：纪刚，周粉粉，
申请(专利权)人：青岛联合创智科技有限公司，
类型：发明
国别省市：山东;37