一种基于深度学习的跨模态哈希检索方法技术

一种基于深度学习的跨模态哈希检索方法，假设

A Cross-modal Hash Retrieval Method Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的跨模态哈希检索方法
本专利技术涉及一种基于深度学习的跨模态哈希检索方法。
技术介绍
伴随着科学技术和社会生产力的快速发展，大数据时代悄然而至。所谓大数据是指在一定的时间范围内无法使用常规的软件工具进行捕捉、管理和处理的数据集合。IBM提出大数据具有5V特点，即：Volume(数据量大)、Variety(种类和来源多样化)、Value(数据价值密度相对较低，而有时却又弥足珍贵)、Velocity(数据增长速度快)、Veracity(数据的质量)。大数据也可以认为是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的信息资产。信息检索是数据处理的一个重要方面，而面对大数据，如何有效地进行信息检索成为大数据时代亟待解决并且非常具有挑战性的问题。对于大规模数据检索，哈希检索方法扮演着重要的角色。哈希检索方法将对象的高维特征映射到汉明空间中，生成一个低维的哈希编码来表示一个对象，它降低了检索系统对计算机内存空间的要求，提高了检索速度，能更好地适应海量检索的要求。哈希检索的主要思想是把高维向量表示的数据投影到汉明空间，在汉明空间中进行K近邻(K≥1)的检索。为了使汉明空间中的K近邻与原始空间保持一致，哈希学习算法需要满足局部保持特性，即，保持数据投影前后的相似性。局部敏感哈希(LocalitySensitiveHashing，LSH)方法可以使高维空间中距离很近的两点，在经过哈希函数对这两点进行哈希编码后，它们的哈希编码有很大的概率是一样的，反之，若两点之间的距离较远，则它们的哈希编码相同的概率会很小。跨模态哈希检索主要用于解决不同模态数据之间的相互检索问题，例如，用图像检索文本、或者用文本检索图像等。跨模态哈希检索方法需要对不同模态的数据进行哈希编码，生成紧凑的二进制哈希编码，然后基于生成的哈希编码完成不同模态数据之间的相互检索。Ding等人提出了集体矩阵分解哈希(CollectiveMatrixFactorizationHashing，CMFH)方法。CMFH方法可以利用集体矩阵分解从每个实例的不同模态学习统一的哈希编码。为了在基于矩阵分解的跨模态哈希方法中有效地使用类别信息并保持局部几何结构，进而达到有效提升由矩阵分解得到的潜在语义特征鉴别能力的目的，Tang等人提出了有监督矩阵分解哈希(SupervisedMatrixFactorizationHashing，SMFH)方法。SMFH方法在进行哈希编码学习时，不仅考虑模态之间标记信息的一致性，还考虑模态内部局部几何结构的一致性。针对不少有监督跨模态哈希方法训练时间复杂度过高的问题，Zhang等人提出了称为语义相关性最大化(SemanticCorrelationMaximization，SCM)的有监督跨模态哈希方法。SCM方法可以将语义标记信息无缝地集成到哈希学习过程中。上述的基于浅层学习结构的跨模态哈希算法所使用的手工特征可能不能与哈希编码学习到达最优的兼容性。为了解决这个问题，Jiang等人提出了深度跨模态哈希(DeepCross-modalHashing，DCMH)方法。DCMH方法是一种基于深度学习架构的端到端的跨模态哈希方法，它能够将特征学习和哈希编码学习有效地集成在一个学习框架中。为了在端到端的学习架构中提升深度特征表示的量化能力(Quantizability)，使得深度特征表示可以被更有效地量化，Cao等人通过将量化引入到用于跨模态检索的端到端深度学习架构中，提出了集体深度量化(CollectiveDeepQuantization，CDQ)方法。CDQ方法通过精心设计的混合网络和损失函数为两个模态联合学习深度特征表示和量化器。CDQ方法的混合网络包含：一个由多个卷积-池化(Convolution-Pooling)层构成的用于提取图像特征表示的图像网络，一个由多个全连接(Fully-Connected)层构成的用于提取文本特征表示的文本网络，两个用于生成最优低维特征表示的全连接瓶颈(Fully-ConnectedBottleneck)层，一个用于捕获跨模态相关性的自适应交叉熵损失，以及一个用于控制哈希质量和量化能力的集体量化损失。此外，CDQ方法还可以学习模态共用的量化器码本，通过该码本可以实质性地增强两个模态之间的关联性。为了在用于跨模态检索的端到端的深度学习架构中有效地捕获不同模态之间的本质关系，Yang等人提出了成对关系导向的深度哈希(PairwiseRelationshipGuidedDeepHashing，PRDH)方法。PRDH方法从模态内的角度和模态间的角度通过集成不同类型的成对约束来学习更能反映模态间本质关系的哈希编码。此外，PRDH方法通过在深度学习架构中引入去相关约束来增强哈希编码每一比特的鉴别能力。跨模态哈希检索需要将对象在不同模态的高维特征数据映射到低维汉明空间，以实现基于汉明空间的二进制哈希编码快速、准确地完成跨模态信息检索任务。现有的跨模态哈希检索方法大多数是基于浅层学习结构的方法，这些方法虽然可以基于哈希检索技术快速地完成检索任务，但是浅层的学习结构使得原始特征中的鉴别信息不能够很好地被挖掘。深度学习技术在诸如分类任务、物体检测任务中已经展现出了优异的特征学习能力，并且现有的基于深度学习技术的跨模态哈希检索方法也表明深度学习技术对于提升跨模态检索任务的性能是有益的。因此，设计基于深度学习技术的跨模态哈希检索方法，对于完成大数据情境下的跨模态检索任务具有重要的意义和价值。
技术实现思路
本专利技术其目的就在于提供一种基于深度学习的跨模态哈希检索方法，解决了现有的基于浅层学习结构的跨模态哈希检索方法不能够很好地挖掘原始特征中的鉴别信息的问题。为实现上述目的而采取的技术方案是，一种基于深度学习的跨模态哈希检索方法，假设n个对象的图像模态的像素特征向量集为其中，vi表示第i个对象在图像模态的像素特征向量；令表示这n个对象在文本模态的特征向量，其中，ti表示第i个对象在文本模态的特征向量；将n个对象的类别标记向量表示为其中，c表示对象类别的数量；对于向量yi来说，如果第i个对象属于第k类，则令向量yi的第k个元素为1，否则，向量yi的第k个元素为0；该方法包括以下步骤：(1)使用基于深度学习技术设计的目标函数得到图像模态和文本模态共享的二进制哈希编码B，图像模态和文本模态的深度神经网络参数θv和θt，以及图像模态和文本模态的投影矩阵Pv和Pt；(2)使用交替更新的方式求解目标函数中的未知变量B、θv、θt、Pv和Pt，即交替的求解如下三个子问题：固定B、Pv和Pt，求解θv和θt；固定B、θv和θt，求解Pv和Pt；固定θv、θt、Pv和Pt，求解B；(3)基于求解得到的图像模态和文本模态的深度神经网络参数θv和θt，以及投影矩阵Pv和Pt，为查询样本和检索样本集中的样本生成二进制哈希编码；(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。其中，所述步骤(1)中的基于深度学习技术设计的目标函数形式如下：其中，γ1和γ2为非负平衡因子，B＝[b1,b2,…,bn]T∈{-1,+1}n×k，和为投影矩阵，θv和本文档来自技高网...

【技术保护点】
1.一种基于深度学习的跨模态哈希检索方法，假设

【技术特征摘要】
1.一种基于深度学习的跨模态哈希检索方法，假设个对象的图像模态的像素特征向量集为，其中，表示第个对象在图像模态的像素特征向量；令表示这个对象在文本模态的特征向量，其中，表示第个对象在文本模态的特征向量；将个对象的类别标记向量表示为，其中，表示对象类别的数量；对于向量来说，如果第个对象属于第类，则令向量的第个元素为1，否则，向量的第个元素为0；其特征在于，该方法包括以下步骤：（1）使用基于深度学习技术设计的目标函数得到图像模态和文本模态共享的二进制哈希编码，图像模态和文本模态的深度神经网络参数和，以及图像模态和文本模态的投影矩阵和；（2）使用交替更新的方式求解目标函数中的未知变量、、、和，即交替的求解如下三个子问题：固定、和，求解和；固定、和，求解和；固定、、和，求解；（3）基于求解得到的图像模态和文本模态的深度神经网络参数和，以及投影矩阵和，为查询样本和检索样本集中的样本生成二进制哈希编码；（4）基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；（5）使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。2.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法，其特征在于，所述步骤（1）中的基于深度学习技术设计的目标函数形式如下：，（1）其中，和为非负平衡因子，，和为投影矩阵，和为深度神经网络参数，和分别为个对象在图像模态和文本模态的深度特征，并且矩阵和矩阵的第列的向量分别为和，为拉普拉斯矩阵用于保持模态内一致性和模态间的一致性，为全部元素为1的列向量，表示矩阵的Frobenius范数，表示矩阵的迹，表示矩阵的转置。3.根据权利要求1所述的一种基于深度学习的跨模态哈希检索方法，其特征在于，所述步骤（2）中的使用交替更新的方式求解目标函数中的未知变量、、、和，具体为，交替地求解如下三个子问题：（1）固定、和，求解和；当...

【专利技术属性】
技术研发人员：董西伟，邓安远，周军，杨茂保，孙丽，胡芳，贾海英，王海霞，
申请(专利权)人：九江学院，
类型：发明
国别省市：江西,36