【技术实现步骤摘要】
本专利技术涉及文本生成图像，具体涉及一种基于孪生-词级判别器的文本生成图像方法。
技术介绍
1、文本生成图像任务不仅要求计算机能够理解文本描述中语义层次的信息，而且还要求其根据文本的语义信息生成与之相匹配且符合人类视觉感受的图像信息，这是自然语言和计算机视觉交叉领域中具有挑战性任务。近年来随着生成对抗网络的提出和快速发展，其强大的生成能力为文本生成图像任务提供了新的研究思路。
2、在基于生成对抗网络的文本生成图像任务中，生成器通常受到更多的关注，而判别器的研究相对较为忽视。判别器在生成对抗网络(gan)中扮演着至关重要的角色，通常使用条件判别器区分生成和真实图像以及文本描述是否匹配。因此，通过生成图像和真实图像之间以及图像和文本之间的两种对抗性损失来增强判别器的能力，从而更好地指导生成器生成符合文本描述的图像。而条件判别器的常用方法是分别从文本和图像中提取嵌入特征，然后融合两者特征，在此基础上直接训练判别器。但是，这种方法仅仅考虑到了文本描述中的全局句子特征对生成图像的影响，而文本中的单词和图像相关的子区域没有涉及到，容易错...
【技术保护点】
1.一种基于孪生-词级判别器的文本生成图像方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于孪生-词级判别器的文本生成图像方法，其特征在于：所述步骤S6中对于文本特征，从文本编码器中得到的单词特征w、和句子向量s，其中w和分别来自给定文本描述T和随机采用的不匹配给定文本描述T后编码得到的单词特征；
3.根据权利要求2所述的基于孪生-词级判别器的文本生成图像方法，其特征在于：所述步骤S1中三个阶段的生成损失和判别损失定义为：
4.根据权利要求3所述的基于孪生-词级判别器的文本生成图像方法，其特征在于：生成器和判别器的最终目
【技术特征摘要】
1.一种基于孪生-词级判别器的文本生成图像方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于孪生-词级判别器的文本生成图像方法，其特征在于：所述步骤s6中对于文本特征，从文本编码器中得到的单词特征w、和句子向量s，其中w和分别来自给定文本描述t和随机采用的不匹配给定文本描述t后编码得到的单词特征；
3.根据权利要求2所述的基于孪生-词级判别器的文本生成图像方法，其特征在于：所述步骤s1中三个阶段的生成损失和判别损失定义为：
4.根据权利要求3所述的基于孪生-词级判别器的文本生成图像方法，其特征在于：生成器和判别器的最终目标函数定义为：
【专利技术属性】
技术研发人员：杨帆，彭敦陆，杨吴辰，徐一鸣，陈楠，范文杰，周雪，
申请(专利权)人：南通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。