基于判别性关联最大化哈希的跨模态检索方法技术

本发明专利技术提出了一种基于判别性关联最大化哈希的跨模态检索方法，包括：对训练数据集进行多模态提取，得到训练多模态数据集；对于训练多模态数据集，构造该数据集上的基于判别性关联最大化哈希的目标函数；求解所述目标函数，得到图像、文本的投影到公用的海明空间的投影矩阵、图像文本对的联合哈希码；对于测试数据集，投影到所述公用的海明空间，并通过哈希函数量化为训练集样本的哈希码；基于哈希码进行跨模态检索。本发明专利技术提高了跨媒体检索的效率和准确度。

【技术实现步骤摘要】
基于判别性关联最大化哈希的跨模态检索方法
本专利技术涉及数据检索领域，具体涉及一种基于判别性关联最大化哈希的跨模态检索方法。
技术介绍
随着科学技术的发展，互联网中涌入了大量的多模态数据。为了从互联网中检索到有用的信息，兴起了一系列信息检索技术。传统信息检索技术基于单模态，即输入的查询数据和检索得到的结果是同模态。这使得信息检索非常具有局限性，因此我们希望将单模态的信息检索扩展到跨模态的信息检索，即给定一张图片，检索到与该图片相关的文字描述，反之同理。因为不同模态的数据具有不同的特性，因此几乎不可能直接度量二者的相似性，这是跨模态方法的主要挑战。为了解决这一问题，最常用的方法就是子空间学习法。典型相关分析(CCA)是一种通用的无监督子空间学习法，它将不同模态的数据投影到同一空间，同时将两个模态之间的关系最大化。CCA方法旨在将两个不同模态的数据之间的关系最大化，而偏最小二乘(PLS)是从协方差的角度解决跨媒体检索的问题。广义的多模态分析(GMA)使用了类别标记作为监督信息，它是CCA方法在有监督领域的扩展。上面提到的跨媒体检索方法在处理大规模数据时往往需要消耗大量的时间和存储空间。为本文档来自技高网...

【技术保护点】
一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，包括以下步骤：步骤1：获取训练数据集，其中每个样本都包括成对的图像和文本两个模态数据；步骤2：对训练数据集进行多模态提取，得到训练多模态数据集O

【技术特征摘要】
1.一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，包括以下步骤：步骤1：获取训练数据集，其中每个样本都包括成对的图像和文本两个模态数据；步骤2：对训练数据集进行多模态提取，得到训练多模态数据集Otrain；步骤3：对于训练多模态数据集Otrain，构造该数据集上的基于判别性关联最大化哈希的目标函数；步骤4：求解所述目标函数，得到图像、文本的投影到公用的海明空间的投影矩阵W1和W2、图像文本对的哈希码B；步骤5：获取测试数据集，并对其进行多模态提取，得到测试多模态数据集Otest；步骤6：对于测试多模态数据集Otest，根据步骤3求得的投影矩阵W1和W2，将测试数据集中每个样本的图像或文本投影到所述公用的海明空间，并通过哈希函数量化为哈希码；步骤7：进行跨模态检索，基于哈希码，在所述训练数据集中检索与测试集中待检索样本相关的另一模态的对象；所述步骤3中目标函数为：其中，分别是图像和文本的数据特征矩阵，是标记矩阵；λ，μ1，μ2，β，α是平衡参数，γ是正则化参数。2.如权利要求1所述的一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，所述步骤3包括：步骤3-1：设训练多模态数据子集Otrain每个数据样本为其中，是图像的特征向量，是文本的特征向量，yi∈{0,1}c是类别标记，N是样本个数；将两个模态的数据从原始的异构空间投影到公用的海明空间中，并使一个样本中成对的图像和文本之间的关联最大化：步骤3-2：对文本模态数据进行线性判别分析处理，并使其特性传递到图像模态数据：步骤3-3：将两个模态数据特征转换为哈希码，将通过哈希函数得到哈希码的量化损失最小化：步骤3-4：加入类别标记作为监督信息，对哈希码进行分类：步骤3-5：增加正则化项防止过拟合，其定义为：1步骤3-6：将步骤3-1至3-5整...

【专利技术属性】
技术研发人员：张化祥，卢旭，万文博，刘丽，郭培莲，任玉伟，孙建德，王强，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37