一种基于相似性零样本哈希的跨模态检索方法技术

本发明专利技术公开了一种基于相似性零样本哈希的跨模态检索方法。提出了一种新的零样本哈希框架来充分挖掘监督语义信息，该框架将模态内相似性、模态间相似性、语义标签以及类属性联合起来，以指导零样本哈希码的学习。在该框架中，同时考虑了模态内相似性和模态间相似性。模态内相似性体现的是多模态数据的流形结构以及特征相似性，模态间相似性体现的是模态间的语义相关性。此外，将语义标签与类属性嵌入到哈希码中，为每个实例学习更具判别性的哈希码。然而，由于类属性的嵌入，在哈希码中可以很好地捕捉可见类和不可见类之间的关系，从而可以将属性知识从可见类转移到不可见类中。本发明专利技术实现了对零样本跨模态数据更高精度的检索。明实现了对零样本跨模态数据更高精度的检索。明实现了对零样本跨模态数据更高精度的检索。

【技术实现步骤摘要】
一种基于相似性零样本哈希的跨模态检索方法


[0001]本专利技术涉及一种基于相似性零样本哈希的跨模态检索方法，属于跨模态哈希检索领域。

技术介绍

[0002]大多数现有的跨模态哈希检索方法都是在可见类数据集中进行研究。然而，随着多媒体数据的爆炸式增长，大量的新概念(不可见类)涌现出来。通过收集新概念的数据来重新训练现有的跨模态哈希模型是不可行的，因为这将会耗费大量的时间和空间。因此，提出一个训练数据不包含新概念，但它仍然可以处理新概念的跨模态哈希模型是必要的。然而，零样本学习可以识别从未见过的数据类别。即训练的分类器不仅仅能够识别出训练集中已有的数据类别，还可以对于来自未见过的类别的数据进行区分。这使得零样本学习成为了不可见类检索任务的研究热点。
[0003]在过去的几年中，零样本学习广泛应用于单模态检索任务中。一些研究者通过将标签投影到词嵌入空间，来实现潜在语义转移。一些研究者提出了一种基于非对称比率相似矩阵的零样本哈希，从而提高从可见类到看不可见类的知识转移能力。另一些研究者提出了一种用于多标签图像检索的零样本学习模型，该模型用实例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似性零样本哈希的跨模态检索方法，其特征在于：所述方法的具体步骤如下：Step1、获取跨模态数据集，并进行跨模态数据集的特征提取以及类属性的提取；Step2、跨模态数据集的处理：将现有的跨模态数据集处理为跨模态零样本数据集；Step3、进行目标函数学习：融合模态内相似性、模态间相似性、语义标签、类属性、哈希码以及哈希函数学习到同一个框架中，以此来获得目标函数，学习更具判别性的哈希码；Step4、进行目标函数的迭代更新：通过迭代更新Step3得到的目标函数中的变量矩阵，直到目标函数收敛或达到最大迭代次数，得到哈希函数以及训练集的哈希码；Step5：进行零样本跨模态检索：首先得到检索集对应的哈希码，然后，通过Step4得到的哈希函数求查询集的哈希码，放入检索集中进行查询，通过计算查询集与检索集中各样本间的汉明距离来获取查询结果，汉明距离最小者即为最终的查询结果。2.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述Step1中，进行类属性的提取，采用的是Glove方法为每个类别名提取一个对应的词向量，组成类属性矩阵。3.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述Step2的具体方法为：原始数据集首先被划分为训练集和查询集，然后从原始数据集的所有类中随机选取20％的类作为不可见类，其余的类为可见类；对于零样本跨模态检索场景来说，将原查询集中的不可见类对应的样本对作为新的查询集；将原训练集中可见类对应的样本对作为新的训练集；检索集由原训练集组成。4.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述Step3中的模态内相似性分为特征相似度和语义相似度，其中特征相似度通过Euclidean相似度来计算，语义相似度通过Jaccard相似度来衡量。5.根据权利要求1所述的基于相似性零样本哈希的跨...

【专利技术属性】
技术研发人员：舒振球，永凯玲，余正涛，高盛祥，毛存礼，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：