多标签核化典型相关分析检索方法技术

本发明专利技术属于计算机检索技术领域，具体涉及一种多标签核化典型相关分析检索方法。主要步骤为：(S1)选择文本和视觉图像，构建文本、视觉图像和标签的配对数据，并选择配对数据的样本；(S2)计算标签的语义相似性矩阵；(S3)将语义相似性矩阵应用于核化典型相关分析来求取多模态共享子空间；(S4)分别求取视觉图像与文本在多模态共享子空间投影表示；(S5)进行检索，获取跨模态子空间的检索结果。本发明专利技术通过对多媒体文档中多标签形式的高层语义信息加以利用同时应用KCCA来挖掘不同模态之间非线性的相关关系，学习到了更适合于跨模态检索任务的不同模态的更具有区分性的公共子空间，得到了很好的检索效果。

【技术实现步骤摘要】
多标签核化典型相关分析检索方法
本专利技术属于计算机检索
，具体涉及一种多标签核化典型相关分析检索方法。
技术介绍
跨模态信息检索是一个具有挑战性的研究课题，查询和结果属于不同的模态，跨模态信息检索即多模态信息之间的相互检索，例如图像检索文本，文本检索图像。由于“语义鸿沟”的存在，不能直接对其进行比较。因此，此任务中的关键问题是如何测量多个模态之间的距离或相似性。现有技术中通过学习一个共享子空间来对齐这两个特征空间，以便不同的模态之间可以比较。在现有方法中，典型相关分析(CanonicalCorrelationAnalysis，简称CCA)[1]显示出了其简单性和效率，其通过最大化两个模态投影之间的相关性来学习共享子空间。CCA已经成为许多跨模态检索方法的主力。已经提出了CCA的许多扩展用于近年来的交叉模式检索的任务。虽然CCA由于其简单性和效率而受欢迎，但它具有若干缺点。CCA依赖于模态之间的一一对应的配对关系，并未利用多媒体文档中存在的高层语义标签信息，这导致其不能得到更好地适合于跨模态检索任务子空间。最近，已经提出了使用标签信息的一些CCA的扩展方法。然而，大多数这些工作本文档来自技高网...

【技术保护点】
一种多标签核化典型相关分析检索方法，其特征在于，包括以下步骤：(S1)选择文本和视觉图像，构建文本、视觉图像和标签的配对数据，并选择配对数据的样本；配对数据的样本表示为{(t

【技术特征摘要】
1.一种多标签核化典型相关分析检索方法，其特征在于，包括以下步骤：(S1)选择文本和视觉图像，构建文本、视觉图像和标签的配对数据，并选择配对数据的样本；配对数据的样本表示为{(t1,p1,z1),...,(ti,pi,zi),...,(tN,pN,zN)}，其中zi是配对数据的第i个样本的标签向量，Tw＝[t1,t2,...,tN]∈Rdt×N，Tw是文本样本的矩阵表示，dt文本样本的维度，P＝[p1,p2,...,pN]∈Rdp×N，P是视觉图像样本的矩阵表示，dp表示视觉图像样本的维度；Z＝[z1,z2,...,zN]∈RC×N，其中Z表示标签矩阵，C为标签的维度，N为配对数据的样本数；(S2)计算标签的语义相似性矩阵；设f(·)为计算任意两个标签向量之间相似性的函数，则语义相似性矩阵S：(S3)将语义相似性矩阵应用于核化典型相关分析来求取多模态共享子空间；为获取学习共同的多模态共享子空间，将ml-KCCA公式化为：其中，ρ为相关系数，Kt和Kp分别表示N对样本的N×N核矩阵，η用于控制语义相似性矩阵的影响系数，α,β表示投影向量；根据和将求解α,β过程转化为求解特征值问题如下：B-1Aw＝λw(4)其中，λ为特征值，w＝[αβ]T，根据值最大的D个特征值，求出对应的一系列的向量(α1,β1),...,(αD,βD)；根据(α1,β1),...,(αD,βD)，将新的文本输入tx投影到α指定的单个文本输入上：

【专利技术属性】
技术研发人员：白亮，贾玉华，王昊冉，郭金林，谢毓湘，于天元，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南,43