【技术实现步骤摘要】
一种基于过渡空间映射的文本生成图像方法和系统
本专利技术涉及图像生成领域，具体涉及一种基于过渡空间映射的文本生成图像方法和系统。
技术介绍
近年来，随着互联网和多媒体技术的快速发展，多媒体数据的总量不断增长，已经成为大数据的主要内容。人们通常会采用一些传统的计算机视觉方法处理大量信息，例如常见的图像分类。然而这些方法只能为用户提供有限的信息，例如图像分类只能提供类别标签这种信息量很少的内容。因此具有数据生成能力的方法应运而生，它们不仅可以提供更多样本，更好地满足用户需求；同时也可以进行灵活创作，更加易于用户使用。文本生成图像是指，用户提供一段文本描述，系统能够自动生成内容与文本描述一致的图像。其大大提高了图像信息获取的灵活性和全面性，有着良好的发展前景和重要意义，例如：教育领域的概念启蒙、文学领域的插画生成、艺术领域的视觉创作等。现有的文本生成图像方法主要是基于生成式对抗网络(GenerativeAdversarialNetworks，简称GAN)的深度模型方法。GAN是一种强大的神经网络模型，最初由Goodfell...
【技术保护点】
1.一种基于过渡空间映射的文本生成图像方法，包括以下步骤：/n利用数据库中的图像和文本，训练由一个过渡空间映射网络和一个生成式对抗网络级联组成的文本生成图像模型；/n对于用户输入的文本，利用训练完成的文本生成图像模型，生成与输入文本内容相符的图像。/n
【技术特征摘要】
1.一种基于过渡空间映射的文本生成图像方法，包括以下步骤：
利用数据库中的图像和文本，训练由一个过渡空间映射网络和一个生成式对抗网络级联组成的文本生成图像模型；
对于用户输入的文本，利用训练完成的文本生成图像模型，生成与输入文本内容相符的图像。
2.如权利要求1所述的方法，其特征在于，所述过渡空间映射网络包含多层全连接层；生成式对抗网络包含一个生成器与一个判别器，生成器以文本特征作为输入生成高分辨率的图像，判别器以图像作为输入判别其真实性和与输入文本向量之间的相关性。
3.如权利要求1所述的方法，其特征在于：所述文本生成图像模型中，过渡空间映射网络M能够结合随机噪声z将文本映射到过渡空间，产生可解释性特征表达然后，将可解释性特征表达输入到生成式对抗网络中的生成器G中，通过生成器G的多层卷积层运算后，得到生成图像将生成图像数据库中的成对图像i、不成对图像i′与成对文本一同输入至生成式对抗网络中的判别器D中，计算不同的对抗损失函数。
4.如权利要求3所述的方法，其特征在于，训练的损失函数包括：
其中，LossD-VRAdv表示对应判别器的真实性对抗损失函数；LossD-CCAdv表示对应判别器的内容一致性对抗损失函数；LossG-Adv表示对应生成器的对抗损失函数；Ε表示期望值；i表示数据库中的成对图像，i′表示数据库中的不成对图像，t表示数据库中的成对文本，pdata表示真实数据的概率分布值，pz表示随机噪声的概率分布值，表示判别器对输入的成对图像i与成对文本t的特征表达的预测值。
5.如权利要求4所述的方法，其特征在于，还包括一组三元互信息约束损失函数，其计算方式如下：
其中，LossInfo-TI表示输入文本与生成图像之间的互信息约束损失函数，LossInfo-TS表示输入文本与可解释性特征表达之间的互信息约束损失函数，Ε表示期望值，表示输入文本的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。