基于多次GAN与语义循环一致的零样本草图检索方法技术

本发明专利技术涉及一种基于多次GAN与语义循环一致的零样本草图检索方法，包括：获取测试样本集和训练样本集；构建语义循环一致模块；构建连续对抗性模块；将语义循环一致模块和连续对抗性模块组成多次GAN与语义循环一致网络，将训练样本集输入多次GAN与语义循环一致网络中，进行训练；将待检索的二值草图图像输入多次GAN与语义循环一致网络，进行零样本草图检索，得到排名靠前的自然图像作为检索结果。本发明专利技术利用零样本学习草图检索算法将数据集扩充，增加网络泛化性；本发明专利技术使用了语义循环一致模块和连续对抗性模块的结合，减弱了二值草图图像与自然图像匹配的需求。图图像与自然图像匹配的需求。图图像与自然图像匹配的需求。

【技术实现步骤摘要】
基于多次GAN与语义循环一致的零样本草图检索方法


[0001]本专利技术涉及图像处理及图像检索
，尤其是一种基于多次GAN与语义循环一致的零样本草图检索方法。

技术介绍

[0002]从庞大的图像数据库中检索出相关信息的主流方法是基于查询图像或查询文本，与基于文本查询的图像检索相比，基于图像查询的图像检索相对容易，因为基于文本的查询可能是模糊的、不完整的和语言相关的。因此研究人员将目光转向了草图查询，而不是文字描述，使用草图作为查询更方便，更加形象，因为形状比文本描述更容易记忆。
[0003]基于草图查询的图像检索被称为基于草图的图像检索，以往的方法是通过对齐二值草图图像与自然图像对来学习从二值图像到自然图像的映射，使用成对的监督信息是为了增强多种模态数据的相关性，从而达到学习过程以语义为指导的目的。然而，在实际的应用场景中很难获得草图图像与自然图像成对的训练数据，并且特征融合会影响从高维空间中提取足够多的有用信息。另一方面，由于新类别的自然图像种类的爆炸性增长，很难获得每个新类别的类别描述信息，在真正的使用场景中，辅助信息起到的作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多次GAN与语义循环一致的零样本草图检索方法，其特征在于：该方法包括下列顺序的步骤：(1)获取测试样本集和训练样本集；(2)构建语义循环一致模块；(3)构建连续对抗性模块；(4)将语义循环一致模块和连续对抗性模块组成多次GAN与语义循环一致网络，将训练样本集输入多次GAN与语义循环一致网络中，对多次GAN与语义循环一致网络进行训练；(5)将测试样本集中提取待检索的二值草图图像，将待检索的二值草图图像输入多次GAN与语义循环一致网络，进行零样本草图检索，得到排名靠前的自然图像作为检索结果。2.根据权利要求1所述的基于多次GAN与语义循环一致的零样本草图检索方法，其特征在于：所述步骤(1)具体包括以下步骤：(1a)从Sketchy图像数据集与TU
‑
BerLin草图检索数据库中选取25种类别的二值草图图像与自然图像作为测试样本集，其余类别的二值草图图像和自然图像作为训练数据集，在训练数据集中分别提取146004幅自然图像，以及146004幅自然图像对应的二值草图图像组成成对的训练样本；(1b)对146004幅自然图像和146004幅二值草图图像重新调整大小至256
×
256，调整大小后的146004幅自然图像和146004幅二值草图图像组成训练样本集。3.根据权利要求1所述的基于多次GAN与语义循环一致的零样本草图检索方法，其特征在于：在步骤(2)中，所述语义循环一致模块包括：自动编码模块，用于组合文本模型的真实的语义信息；语义信息生成模块，用于将真实的二值草图图像特征映射成真实的二值草图图像特征对应类别的语义信息；第一图像特征提取模块，采用预训练好的VGG16网络，第一图像特征提取模块包括用于提取真实的二值草图图像特征的第一二值草图图像特征提取模块，以及用于提取真实的自然图像特征的第一自然图像特征提取模块；二值草图图像特征生成模块，用于生成伪二值草图图像特征；自然图像特征生成模块，用于生成伪自然图像特征；分类模块，用于保证二值草图图像特征生成模块生成的伪二值草图图像特征具有鉴别性，用于保证自然图像特征生成模块生成的伪自然图像特征具有鉴别性；第一图像特征判别模块，包括第一二值草图图像特征判别模块与第一自然图像特征判别模块，其中，第一自然图像特征判别模块用于将伪自然图像特征与真实的自然图像特征进行对抗学习,第一二值草图图像特征判别模块用于将伪二值草图图像特征与真实的二值草图图像特征进行对抗学习；语义判别模块，将真实的语义信息与伪语义信息进行比较，判断伪语义信息的真假。4.根据权利要求1所述的基于多次GAN与语义循环一致的零样本草图检索方法，其特征在于：在步骤(3)中，所述连续对抗性模块包括：第二图像特征提取模块，采用预训练好的VGG16网络，第二图像特征提取模块包括用于提取真实的二值草图图像特征的第二二值草图图像特征提取模块，以及用于提取真实的自然图像特征的第二自然图像特征提取模块；
图像特征生成模块，用于将真实的二值草图的图像特征生成对应的伪自然图像特征，再将伪自然图像特征生成伪二值草图图像特征；第二图像特征判别模块，包括第二二值草图图像特征判别模块与第二自然图像特征判别模块，其中，第二自然图像特征判别模块用于将伪自然图像特征与真实的自然图像特征进行对抗学习,第二二值草图图像特征判别模块用于将伪二值草图图像特征与真实的二值草图图像特征进行对抗学习。5.根据权利要求1所述的基于多次GAN与语义循环一致的零样本草图检索方法，其特征在于：所述步骤(4)具体包括以下步骤：(4a)将语义循环一致模块和连续对抗性模块组成多次GAN与语义循环一致网络；(4b)使用第一图像特征提取模块对二值草图图像与自然图像进行特征提取，得到真实的二值草图图像特征和真实的自然图像特征；(4c)将提取的真实的二值草图图像特征x
i
与真实的自然图像特征y
i
通过语义信息生成模块生成伪语义信息s，语义判别模块将伪语义信息与真实的语义信息进行对抗学习；(4d)将生成的伪语义信息s...

【专利技术属性】
技术研发人员：王年，李明会，唐俊，朱明，张艳，鲍文霞，
申请(专利权)人：安徽大学，
类型：发明
国别省市：