一种基于锚点图的跨模态哈希学习方法技术

一种基于锚点图的跨模态哈希学习方法，特征是该方法包括以下步骤：（1）使用基于锚点图技术设计的目标函数得到

A Cross-modal Hash Learning Method Based on Anchor Graph

A cross-modal hash learning method based on anchor graph is presented. The feature of this method is that it includes the following steps: (1) Obtaining the objective function based on anchor graph technology.

【技术实现步骤摘要】
一种基于锚点图的跨模态哈希学习方法
本专利技术涉及一种基于锚点图的跨模态哈希学习方法。
技术介绍
随着信息技术的迅速发展，人类社会已经步入大数据时代，时时刻刻都会有来自于不同领域、不同应用的海量数据产生。面对爆炸式增长的数据，如何从中快速地检索出所需要的信息，从而确保数据的有效使用，已经成为大数据时代亟待解决并且非常具有挑战性的问题。最近邻搜索，又称为相似性搜索，在诸如文档检索、物体识别和近似图像检测等诸多应用中扮演着重要的角色。在众多用于近似近邻搜索的方法中，基于哈希的搜索(检索)方法在近些年受到越来越多的关注。基于哈希的搜索方法能够将高维的特征数据映射成紧凑的二进制哈希编码并使得相似特征数据的哈希编码相同或者相似。例如，局部敏感哈希(LocalitySensitiveHashing，LSH)方法可以使高维空间中距离很近的两点，在经过哈希函数对这两点进行哈希编码后，它们的哈希编码有很大的概率是一样的，反之，若两点之间的距离较远，则它们的哈希编码相同的概率会很小。基于哈希的搜索方法具有存储要求低搜索效率高的优点。跨模态哈希检索主要用于解决不同模态数据之间的相互检索问题，例如，用图像搜索文本、或者用文本搜索图像等。跨模态哈希检索方法需要对不同模态的数据进行哈希编码，生成紧凑的二进制哈希编码，然后基于生成的二进制哈希编码完成不同模态数据之间的相互检索。Bronstein等人较早提出了跨模态哈希方法，他们提出的方法可以确保两个相关的数据点具有相似的哈希编码，反之具有不相似的哈希编码。但是他们的提出的这个方法仅仅注重保留模态间的相关性，而忽视了模态内相似性的保持。Kumar等人提出了一种称为跨视图哈希(Cross-ViewHashing，CVH)的方法将传统的谱哈希技术从单模态数据扩展到多模态数据，该方法可以学习一个能够保持所有模态局部结构的公共汉明空间。Zhu等人提出了线性跨模态哈希(LinearCross-ModalHashing，LCMH)方法。LCMH方法采用两阶段策略来学习跨模态哈希函数，即，首先使用锚点图将每个模态的数据进行低秩表示，然后通过学习哈希函数将每个锚点图空间的数据投影到一个公共的汉明空间。对于只学习一个公共汉明空间的跨模态哈希方法来说，它们不能够很好地同时刻画每个模态的局部结构。为了解决这个问题，Wang等人提出了线性桥接映射跨模态哈希(LearningBridgingMappingforCross-modalHashing，LBMCH)方法，LBMCH方法能够为每个模态学习一个可以实现局部结构保持的汉明空间，并且它能够自动地学习用于保持模态间语义一致性的桥接投影。为了有效地保持每个模态数据的局部结构，Zhai等人提出了一种参数化的局部多模态哈希(ParametricLocalMultimodalHashing，PLMH)方法。PLMH方法通过将每个实例的哈希投影矩阵参数化为一些哈希投影基的线性组合来实现局部性和计算效率的平衡。Yu等人提出了鉴别成对字典哈希(DiscriminativeCoupledDictionaryHashing，DCDH)方法，该方法首先联合使用不同模态的数据和类别信息来学习鉴别的成对字典，然后基于不同模态的数据在相应字典上的稀疏编码来学习哈希函数并将稀疏编码换成紧凑的二进制哈希编码。DCDH方法不仅可以保持模态内的相似性和模态间的相关性，还可以使多模态数据的稀疏表示具有很好的可解释性。Zhen等人提出了多模态潜在二进制嵌入(MultimodalLatentBinaryEmbedding，MLBE)方法，该方法使用概率生成模型来编码每个模态数据内部的相似性和不同模态数据间的相关性。但是MLBE方法不需要哈希编码的不同比特之间相互独立，这使得哈希编码的不同比特具有很高的冗余。Zhang等人提出了协同子空间图哈希(CollaborativeSubspaceGraphHashing，CSGH)方法，该方法是一种两阶段协同学习架构，它首先使用每个模态特定的变换矩阵将相应模态的数据投影到潜在子空间，然后通过一个共享变换矩阵将每个模态的子空间连接成一个公共汉明空间。CSGH方法分别通过拉普拉斯正则和基于图的相关性约束来考虑特定模态的近邻结构和模态间的相关性。跨模态哈希检索方法的目的是将不同模态的高维特征数据映射到低维汉明空间，以实现基于汉明空间的二进制哈希编码完成快速且准确的信息检索。跨模态哈希检索方法，因为其基于二进制哈希编码完成检索任务，其检索时效可以得到很好的保证。但是，对于检索任务来说，检索的准确性是另外一个方面的重要问题。当将数据从原始的高维特征空间映射到低维汉明空间时，原始数据的信息会不可避免地受到损失。因此，在进行哈希学习时，特别是基于大规模数据集进行哈希学习时，如何充分地保留原始特征的有益信息是跨模态哈希学习方法需要充分考虑的重要问题。当前，不少跨模态哈希学习方法基于数据点的图结构来完成模态内相似性和模态间相关性的保持。但是，当数据集的样本数量较大时，构建数据点的图结构需要很大的时间开销。因此，在基于数据点的图结构来保持特征数据中的有用信息时，设计能够快速有效地构建图结构的方案对于高效地进行跨模态哈希学习具有重要的意义。此外，对于每个模态的特征数据来说，不同的特征具有不同的鉴别能力，并且不同的特征之间存在冗余信息。因此，在哈希学习过程中注重对特征的选择利用对于实现更精准的哈希检索同样具有重要意义。
技术实现思路
本专利技术其目的就在于提供一种基于锚点图的跨模态哈希学习方法，解决了已有的跨模态哈希学习方法还未彻底解决在大规模数据集上基于图结构来保持特征数据中的有益信息的问题，以及将原始特征数据从高维特征空间映射到低维汉明空间时涉及到的鉴别特征选择问题，提出了一种基于锚点图的跨模态哈希学习方法并应用于包含图像模态和文本模态的跨模态检索任务。为实现上述目的而采取的技术方案是，一种基于锚点图的跨模态哈希学习方法，建立n个对象在图像模态和文本模态的特征分别为和其中，和分别表示第i个对象在图像模态和文本模态的特征向量，i＝1,2,…,n，d1和d2分别表示图像模态和文本模态特征向量的维数；同时假设图像模态和文本模态的特征向量都是经过零中心化预处理的，即满足假设和分别为图像模态和文本模态样本的邻接矩阵；矩阵A(1)中的元素和矩阵A(2)中的元素分别表示图像模态和文本模态中第i个样本与第j个样本之间的相似度；假设S∈{0,1}n×n为两个模态中样本之间的语义相关性矩阵，其中，Sij表示图像模态中第i个样本与文本模态中第j个样本的语义相关性；如果图像模态中第i个样本与文本模态中第j个样本是语义相关的(至少属于一个相同的类别)，则Sij＝1，否则Sij＝0；该方法包括以下步骤：(1)使用基于锚点图技术设计的目标函数得到n个对象在图像模态和文本模态的二进制哈希编码B1和B2，以及图像模态和文本模态的投影矩阵P1和P2；(2)鉴于目标函数的非凸性质，通过交替更新的方式求解目标函数中的未知变量B1、B2、P1和P2，即交替地求解如下三个子问题：固定B1和B2，求解P1和P2；固定B2、P1和P2，求解B1；固定B1、P1和P2，求解B2；(3)基于求解得到的图像模态和文本模态的投影本文档来自技高网...

【技术保护点】
1.一种基于锚点图的跨模态哈希学习方法，建立n个对象在图像模态和文本模态的特征分别为

【技术特征摘要】
1.一种基于锚点图的跨模态哈希学习方法，建立n个对象在图像模态和文本模态的特征分别为和其中，和分别表示第i个对象在图像模态和文本模态的特征向量，i＝1,2,…,n，d1和d2分别表示图像模态和文本模态特征向量的维数；同时假设图像模态和文本模态的特征向量都是经过零中心化预处理的，即满足假设和分别为图像模态和文本模态样本的邻接矩阵；矩阵A(1)中的元素和矩阵A(2)中的元素分别表示图像模态和文本模态中第i个样本与第j个样本之间的相似度；假设S∈{0,1}n×n为两个模态中样本之间的语义相关性矩阵，其中，Sij表示图像模态中第i个样本与文本模态中第j个样本的语义相关性；如果图像模态中第i个样本与文本模态中第j个样本是语义相关的(至少属于一个相同的类别)，则Sij＝1，否则Sij＝0；特征在于，该方法包括以下步骤：(1)使用基于锚点图技术设计的目标函数得到n个对象在图像模态和文本模态的二进制哈希编码B1和B2，以及图像模态和文本模态的投影矩阵P1和P2；(2)鉴于目标函数的非凸性质，通过交替更新的方式求解目标函数中的未知变量B1、B2、P1和P2，即交替地求解如下三个子问题：固定B1和B2，求解P1和P2；固定B2、P1和P2，求解B1；固定B1、P1和P2，求解B2；(3)基于求解得到的图像模态和文本模态的投影矩阵P1和P2，为查询样本和检索样本集中的样本生成二进制哈希编码；(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。2.根据权利要求1所述的一种基于锚点图的跨模态哈希学习方法，其特征在于，所述步骤(1)中的基于锚点图技术设计的目标函数形式如下：其中，α、β、γ和λ为非负的平衡因子，k为二进制哈希编码的长度，1n×1表示元素全部为1的列向量，L(1)、L(2)和L均为拉普拉斯矩阵，tr(·)表示矩阵的迹，||·||F表示矩阵的Frobenius范数，(·)T表示矩阵的...

【专利技术属性】
技术研发人员：董西伟，邓安远，胡芳，贾海英，周军，孙丽，杨茂保，王海霞，
申请(专利权)人：九江学院，
类型：发明
国别省市：江西,36