一种基于子空间混合超图学习的交叉模态检索方法技术

一种基于子空间混合超图学习的交叉模态检索方法，基于典型相关性分析的交叉模态公共子空间学习；通过公共子空间的映射来计算模态内部和模态之间的相似度；通过不同模态内部和模态之间的相似度计算混合关系矩阵；通过对关系矩阵的提炼构建混合超图模型；最后采用超图学习进行交叉模态检索和样例排序。本发明专利技术实例针对交叉模态的异构差异性，以及样本之间的高阶关系，将超图模型结合交叉模态公共子空间学习，应用到交叉模态检索中，使模型能够同时考虑模态间的相似度和模态内部的相似度，同时兼顾多个样本之间的高阶关系，提高最终的交叉模态检索的查准率和查全率。本发明专利技术有效地提高了交叉模态检索的性能，能大大提高交叉模态检索的准确率和召回率。

A cross modal retrieval algorithm based on subspace mixed hypergraph learning

A cross modal subspace search algorithm based on mixed hypergraph learning, learning public cross modal subspace correlation analysis based on the mapping of public space; to calculate the similarity between internal modal and modal; through the similarity between different modal and modal calculation of internal mixing relation matrix; based on refinement relation matrix to construct a hybrid hypergraph model; finally using hypergraph learning cross modal retrieval and sample sort. According to the difference of heterogeneous cross modal of the examples, and between samples of high order, the hypergraph model combined with cross modal subspace learning is applied to the public, cross modal retrieval, the model can also consider the inter modal similarity and modal similarity, taking into account the higher-order relationships between multiple samples, improve cross modal final retrieval precision and recall. The invention effectively improves the performance of cross modal retrieval, and greatly improves the accuracy and recall rate of cross modal retrieval.

【技术实现步骤摘要】
一种基于子空间混合超图学习的交叉模态检索算法
本专利技术属于计算机
，具体涉及一种基于子空间混合超图学习的交叉模态检索算法。
技术介绍
当前，多模态检索问题已经吸引了大量学者的关注。由于在互联网中存在着大量的多媒体数据，如图像、文本、视频等等，也就因此对于一个目标的语义描述提供了多种多样的表达方式。例如对于猫的描述形式可以包含：一段关于猫的描述的文字，一段猫的录制视频，一段猫叫声的录音，或者是一些关于猫的照片。而多模态检索问题就是针对这种多模态之间的交叉检索，即用图片去检索相关的文本，或者用文本去检索相关的图片。针对两种模态之间的检索，称之为交叉模态检索。然而由于不同语义表现形式内在的异构性差异，如何去度量不同语义表现形式之间的相似度依然是一个极具挑战的科研课题。不仅如此，当前的方法基本上是以对于对之间的关系为基础，考虑交叉模态检索的，即衡量样本之间的关系都是考虑两两之间的关系，如何利用超过两个之间的关系即高阶关系，提高交叉模态检索依然是一个空白的研究点。近些年，一大批研究工作主要集中在消除不同模态之间的异构差异性。这些工作主要可以被分成两大类：基于子空间学习的方法和交叉模态哈希方法。子空间学习方法试图通过学习一个隐含的公共子空间，使不同模态都能够被投影到公共子空间，在子空间中由于模态的维度相同，因此能够消除不同模态之间的异构差异性，并且他们之间的相似度能够直接度量。子空间学习方法又可以分成有监督的和无监督的。无监督方法，例如典型相关性分析(CCA)，最小二乘(PLS)以及局部保留投影等方法直接将原始空间的数据映射到公共子空间中，并且不同模态之间的关系最大化。而有监督方法则是通过利用标签信息，是具有相同标签的不同模态数据在子空间中尽量靠近，反之则远离。有监督的子空间学习方法，能够在一定程度上优于无监督的方法，然而标签信息的获取是一项代价昂贵的活动，因此近些年半监督的方法也有学者研究并提出。交叉模态哈希结合了多模态分析和哈希技术，通过投影不同模态的数据进入一个统一的哈希空间。在哈希空间中，不同模态的数据用哈希编码表示，降低了数据处理的空间复杂度和存储开销。并且哈希编码之间的相似度能够通过汉明距离直接计算，降低了相似度计算的时间复杂度。然而不管是基于交叉模态哈希的方法还是子空间学习的方法，它们大多数在衡量样本之间的关系时，仅仅考虑了两两之间的关系，而忽视了更多样本之间的高阶关系。为了获取更多样本之间的高阶关系，超图学习已经被广泛应用于聚类、分类和信息检索领域。超图和普通图之间的区别在于：超图一条边能够连接两个以上数量的节点，而普通图的边仅仅连接两个顶点。正因为如此，通过超图能够将样本之间的高阶关系嵌入在超图的边中。通过已有的一些工作，我们发现超图有利于研究多个样本之间的高阶关系，而不仅仅是两两之间的关系。例如普通图通过一条边的权重能够度量两个点之间的相似度，而超图通过超边能够度量3个或者更多节点之前的相似性，这就为交叉模态检索提供了研究样本之间高阶关系的可能性。因此本专利技术利用超图来研究样本之间的高阶关系，专利技术一种基于子空间混合超图学习的交叉模态检索算法。消除异构模态之间的差异性，同时考虑模态内部和模态之间的相似度关系，计算混合相似度关系矩阵，以此构建混合超图模型，进而能够通过超图学习进行交叉模态的检索和结果排序。
技术实现思路
随着互联网中多模态数据量的逐渐增多，多模态检索成为越来越重要的多媒体应用。本专利技术针对两个模态之间的交叉检索，探究一种基于子空间混合超图学习的交叉模态检索算法，试图通过子空间学习，消除不同模态之间的异构差异性，通过考虑模态内部和模态之间的相似度关系，构建混合超图模型，通过超图学习进行交叉模态检索，提高交叉模态检索的准确率和召回率。算法包括以下步骤：步骤1：基于典型相关性分析的公共子空间学习；步骤2：计算模态内部和模态间相似度；步骤3：计算混合邻接矩阵；步骤4：构建超图；步骤5：基于超图学习的交叉模态检索、重排序。附图说明图1是基于子空间混合超图学习的交叉模态检索算法(CHLS)流程图。图2(a)是Wiki数据集上图片检索准确率对比图。图2(b)是Wiki数据集上文本检索准确率对比图。图2(c)是Wiki数据集上图片检索召回率对比图。图2(d)是Wiki数据集上文本检索召回率对比图。图3(a)是MIRFlickr数据集上图片检索准确率对比图。图3(b)是MIRFlickr数据集上文本检索准确率对比图。图3(c)是MIRFlickr数据集上图片检索召回率对比图。图3(d)是MIRFlickr数据集上文本检索召回率对比图。具体实施方式下面结合附图和技术方案，进一步说明本专利技术的具体实施方式。图1为基于子空间混合超图学习的交叉模态检索算法的流程图。本专利技术以文本和图片两种模态作为交叉模态检索的样本。首先需要对不同模态进行特征提取，对于文本数据采用隐含狄利克雷分布(LDA)进行特征提取，对于图片模态，采用卷及神经网络(CNN)进行特征学习。获得两种模态的各自特征表示之后，下一步就是采用典型相关性分析进行公共子空间学习，将原始图片和文本模态映射到同一个维度空间下，使其之间的相似度能够直接度量，消除不同模态之间的异构差异性。在子空间中能够进行相似度的直接度量，通过计算模态内部和模态之间的相似度，构建混合关系矩阵，进而构建一个混合超图。最后通过混合超图学习进行交叉模态检索。一种基于子空间混合超图学习的交叉模态检索算法，步骤如下：步骤1、基于典型相关性分析的公共子空间学习；步骤2、计算模态内部和模态间相似度；步骤3、计算混合邻接矩阵；步骤4、构建超图；步骤5、基于超图学习的交叉模态检索、重排序。步骤1、基于典型相关性分析的公共子空间学习；在多媒体数据中，一个目标物体通常能有多种表现形式，如图像、文本、视频等，构成了多媒体的多模态数据表示。多模态数据如图像和文本由于存在着异构差异性，尽管表示的语义可能相似，但是图像和文本间由于这种异构差异性，图像和文本之间的相似度则不能直接度量，给交叉模态检索带来了挑战。为此需要将图像和文本这两种模态数据通过一定的方式，映射到相同维度的公共子空间下，方便相似度度量。本专利利用典型相关性分析(CanonicalCorrelationAnalysis，CCA)来学习多模态的公共子空间。给定图像和文本的样本集d1≠d2，对于xi和yi，CCA通过最大化相关系数进行投影矩阵的学习。子空间投影数据可以表示为其中最大化关系表示如公式(1)：其中，Σxx和Σyy是单模态内部协方差矩阵，Σxy＝Σyx是模态间的协方差矩阵，Wx,Wy投影矩阵。最终的目标函数表示如公式(2)，通过优化公式(2)就能够获得投影矩阵，便能够将原始空间的多模态数据映射到公共子空间中，进行相似度度量。对于交叉模态数据集中的每一对样本在子空间中的投影可以表示为令子空间表示数据将用于后续的步骤进行混合超图学习和交叉模态检索重排序等步骤。通过子空间的学习，成功将异构的多模态数据映射到了同一子空间想下，消除了异构差异性，同时CCA最大化保留了交叉模态样本对之间的关联性，能够很好的应用于交叉模态检索。步骤2、计算模态内部和模态间相似度；本专利利用超图学习多模态样本之间的相关性，构建超图的首要步骤就是寻找合适的点构成本文档来自技高网...

【技术保护点】
一种基于子空间混合超图学习的交叉模态检索算法，其特征在于，步骤如下：步骤1、基于典型相关性分析的公共子空间学习在多媒体数据中，一个目标物体的多种表现形式构成多媒体的多模态数据表示；多模态数据图像和文本间由于存在着异构差异性，因此，二者的相似度不能直接度量；为方便图像和文本的相似度度量，将图像和文本映射到相同维度的公共子空间下，交叉模态检索算法利用典型相关性分析CCA来学习多模态数据的公共子空间；令

【技术特征摘要】
1.一种基于子空间混合超图学习的交叉模态检索算法，其特征在于，步骤如下：步骤1、基于典型相关性分析的公共子空间学习在多媒体数据中，一个目标物体的多种表现形式构成多媒体的多模态数据表示；多模态数据图像和文本间由于存在着异构差异性，因此，二者的相似度不能直接度量；为方便图像和文本的相似度度量，将图像和文本映射到相同维度的公共子空间下，交叉模态检索算法利用典型相关性分析CCA来学习多模态数据的公共子空间；令表示图像和文本的集合，表示图像特征，表示文本特征，通常由于两种数据类型之间的异构差异性，会使d1≠d2；对于一个文本和图像对，即xi和yi，CCA通过最大化相关系数进行投影矩阵的学习；公共子空间投影数据表示为和其中最大化关系表示如公式(1)：其中，Σxx和Σyy分别是图像和文本单模态内部协方差矩阵，Σxy＝Σyx是图像和文本模态间的协方差矩阵，Wx,Wy分别是图像和文本的投影矩阵；最终的目标函数表示如公式(2)，通过优化公式(2)获得投影矩阵，便将原始空间的多模态数据映射到公共子空间中，进行相似度度量；因此对于交叉模态数据集中的每一对图像和文本在公共子空间中的投影表示为其中一个图像经过CCA投影之后的特征表示为文本的特征表示为如此两种模态数据的特征就处在同一空间下，并且维度相同，进行距离的度量；为了方便区分，给投影之后的数据重新命名，令用表示在子空间中的图像和文本特征，他们将被用于混合超图学习以及交叉模态检索；通过公共子空间的学习，将异构的多模态数据映射到同一公共子空间下，消除了异构差异性，同时CCA最大化保留了交叉模态样本对之间的关联性，很好的应用于交叉模态检索；步骤2、计算模态内部和模态间相似度本交叉模态检索算法利用超图学习多模态样本之间的相关性，构建超图的首要步骤就是寻找合适的点构成超边；首先计算样本相似度，然后利用相似度矩阵获得样本的k个最近的邻居构成超边；然而当前已有的跨模态检索方法通常只考虑模态间的相似度，忽略了模态内部的相似度，因此本交叉模态检索算法额外考虑了模态内部相似度，通过模态内部的邻居分布信息，补充完善样本的关联性度量，从而提高跨模态检索准确率；1)模态内部相似度通过构建图片模态内部相似度，与直接通过跨模态返回的图片相似度高的图片也作为检索结果返回；将公共子空间下的多模态数据样本看成一个顶点，即将x′i当做顶点vi，那么模态x′内部数据x′i和x′j之间的相似度Sxx(i,j)可以表示为公式(3)：其中，σ是所有顶点间距离的中值；对于模态y′内部的相似度计算也是如此；2)模态间相似度模态间的相似度，通过公共子空间学习后，被映射到公共子空间中的两个模态之间的相似度矩阵计算公式与公式(3)相同...

【专利技术属性】
技术研发人员：陈志奎，钟芳明，钟华，鲁飞，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21