基于监督语义耦合一致的跨模态哈希检索方法及系统技术方案

本发明专利技术公开了一种基于监督语义耦合一致的跨模态哈希检索方法及系统，该方法包括：提取各模态数据库中模态样本数据的特征，构建样本库集合；求取样本库集合中各模态样本的哈希编码；提取待检索模态数据的特征，并根据该特征求取待检索模态数据的哈希编码；对比待检索模态数据的哈希编码与各模态样本的哈希编码，对比结果符合预设条件的模态样本即作为待检索模态数据的检索结果。本发明专利技术不仅考虑了高层语义关系，同时还考虑了各个模态之间的内联耦合性，使得各个模态不仅能够监督学习到自身的哈希码，同时也能够保持各个模态间的语义一致性。本发明专利技术能够有效提升哈希码的判别力度和紧凑鲁棒性，加速模态间的检索速率，提升跨模态检索的准确率。

Cross modal hash retrieval method and system based on supervised semantic coupling consistency

【技术实现步骤摘要】
基于监督语义耦合一致的跨模态哈希检索方法及系统
本专利技术属于电子商务，多媒体智能及数据挖掘
，特别涉及一种基于监督语义耦合一致的跨模态哈希检索方法及系统。
技术介绍
随着网络智能媒体技术的快速发展，信息检索也呈现多元化形态，而多元化检索的需求不仅仅涉及到传统单一模态情景下的内容检索，也涉及到多模态之间互相关的内容检索，通过多模态信息检索能够更加全面的展现检索内容所包含的数据信息。如：可利用检索的文本信息，产生对应语义相关性的图像信息、视频信息、语音信息等各种模态数据信息。而不同模态之间的信息关联性需在检索前，进行相应的信息挖掘，从而诞生了通过利用一种模态的信息内容来搜索与之关联的其他模态数据的方法，称为跨模态检索技术。为了能够将各模态下的信息建立相互关联性，通过构建一种公共子空间的方式，通过利用投影映射转换将各个模态下的数据特征信息进行相似性度量，实现各个模态下关联度较大的特征具有内联性，既而有效解决跨模态数据信息的检索。如：论文“RasiwasiaN,PereiraJC,CovielloE,etal.ANewApproachtoCross-ModalMultimediaRetrieval.”中提出了一种相关分析CCA方法，通过构建投影矩阵进行最大化度量各个模态数据特征信息间的相似性；论文“PutthividhyaD,AttiasHT,NagarajanSS.Topicregressionmulti-modalLatentDirichletAllocationforimageannotation.”中通过借鉴狄利克雷模型，构建了基于主题回归模型的跨模态检索方法，其分别对不同模态进行独自学习该模态的潜在主题信息，结合回归模型来建立各个模态间的潜在主题关系，能够较好的刻画不同模态间的语义关联性，但是这类方法通常对模态的主体分布要求有较强的假设，为此在实际应用过程中具有一定的局限性。鉴于不同模态的类型不一致且分布在各种空间中，当前主流方法是通过学习不同模态类型特征的中间的公共空间，并在共同空间中对各个模态特征进行相似性度量，以此实现跨模态的检索；然而大多数算法都忽略了模态特征表示的语义关联性，即没有充分考虑到各个模态间的语义信息以及各模态自身的内联信息，导致模态特征类别辨析度不强，降低查询的精准性和鲁棒性。
技术实现思路
本专利技术的目的在于提供一种能使得各个模态不仅能够监督学习到自身的哈希码，同时也能够保持各个模态间的语义一致性的跨模态哈希检索方法及系统。实现本专利技术目的的技术解决方案为：一种基于监督语义耦合一致的跨模态哈希检索方法，包括以下步骤：步骤1，提取各模态数据库中模态样本数据的特征，构建样本库集合；步骤2，求取样本库集合中各模态样本的哈希编码；步骤3，提取待检索模态数据的特征，并根据该特征求取待检索模态数据的哈希编码；步骤4，对比待检索模态数据的哈希编码与各模态样本的哈希编码，对比结果符合预设条件的模态样本即作为待检索模态数据的检索结果。进一步地，步骤1所述提取各模态数据库中模态样本数据的特征，构建样本库集合，具体包括：步骤1-1，针对每一模态，构建其对应的数据特征提取模型，并对该模型进行训练；步骤1-2，利用训练后的模型提取对应模态样本数据的特征；步骤1-3，根据提取的特征构建样本库集合{P_marry,Q_marry,Y_marry}，其中P_marry＝[p1,p2,p3…,ps]为第一模态数据特征矩阵，Q_marry＝[q1,q2,q3…,qs]为第二模态数据特征矩阵，Y_marry＝[y1,y2,y3…,ys]为标签数据特征矩阵。进一步地，步骤2所述求取样本库集合中各模态样本的哈希编码，具体包括：步骤2-1，构建各模态对应的线性分离器损失函数；针对第一模态数据特征矩阵中的样本pi，假设其转化后的哈希二位码为以及对应的标签为yi，由此构建第一模态线性分离器损失函数：式中，为样本库集合中第一模态样本数据对应的哈希编码矩阵，k为哈希码的位数，W1为第一模态的线性分离器，μ为第一模态线性分离器的正则化参数；针对第二模态数据特征矩阵中的样本qi，假设其转化后的哈希二位码为以及对应的标签为yi，由此构建第二模态线性分离器损失函数：式中，为样本库集合中第二模态样本数据对应的哈希编码矩阵，k为哈希码的位数，W2为第二模态的线性分离器，μ为第二模态线性分离器的正则化参数；步骤2-2，定义第一模态和第二模态的邻近区域相似性矩阵分别为和式中，Nm(p)为第一模态特征数据p的m近邻集合，Nm(q)为第二模态特征数据q的m近邻集合；由此构建模态近邻约束损失函数：式中，ν为模态近邻约束损失函数的约束平衡参数；步骤2-3，利用矩阵运算将模态近邻约束损失函数转换为：式中，tr(·)为矩阵的迹，步骤2-4，利用映射矩阵F1、F2分别将第一模态和第二模态特征转换为对应的哈希编码矩阵：B1＝F1P_marry，B2＝F2Q_marry由此构建各个模态相互间的耦合语义一致性损失函数：式中，λ、θ均为耦合语义一致性损失函数的平衡参数；步骤2-5，结合上述步骤2-1至步骤2-4，构建全局损失函数：步骤2-6，求解所述全局损失函数，获取参数B1，B2，F1，F2，W1,W2的值；步骤2-7，进一步求取符号函数sign(B1)和sign(B2)，分别获得样本库集合中第一模态、第二模态对应的离散哈希编码矩阵。进一步地，步骤2-7求解所述全局损失函数，获取参数B1,B2,F1,F2,W1,W2的值，采用的求解方式为：求解某一参数时，固定其余参数，进行迭代更新优化求解，直至收敛。进一步地，步骤3所述提取待检索模态数据的特征，并根据该特征求取待检索模态数据的哈希编码，具体过程包括：假设待检索模态数据的特征为d，根据步骤2-7获得的F1或F2求取待检索模态数据的哈希编码：B＝F1d或F2d之后进一步求取待检索模态数据的离散哈希编码：b＝sign(B)＝sign(F1d)或sign(F2d)。进一步地，步骤4所述对比待检索模态数据的哈希编码与各模态样本的哈希编码，对比结果符合预设条件的模态样本即作为待检索模态数据的检索结果，具体包括：求取待检索模态数据的哈希编码与各模态样本的哈希编码的汉明距离；将小于预设阈值的汉明距离对应的模态样本作为待检索模态数据的检索结果。一种基于监督语义耦合一致的跨模态哈希检索系统，所述系统包括：样本库构建模块，用于提取各模态数据库中模态样本数据的特征，构建样本库集合；第一求取模块，用于求取样本库集合中各模态样本的哈希编码；第二求取模块，用于提取待检索模态数据的特征，并根据该特征求取待检索模态数据的哈希本文档来自技高网...

【技术保护点】
1.一种基于监督语义耦合一致的跨模态哈希检索方法，其特征在于，所述方法包括以下步骤：/n步骤1，提取各模态数据库中模态样本数据的特征，构建样本库集合；/n步骤2，求取样本库集合中各模态样本的哈希编码；/n步骤3，提取待检索模态数据的特征，并根据该特征求取待检索模态数据的哈希编码；/n步骤4，对比待检索模态数据的哈希编码与各模态样本的哈希编码，对比结果符合预设条件的模态样本即作为待检索模态数据的检索结果。/n

【技术特征摘要】
1.一种基于监督语义耦合一致的跨模态哈希检索方法，其特征在于，所述方法包括以下步骤：
步骤1，提取各模态数据库中模态样本数据的特征，构建样本库集合；
步骤2，求取样本库集合中各模态样本的哈希编码；
步骤3，提取待检索模态数据的特征，并根据该特征求取待检索模态数据的哈希编码；
步骤4，对比待检索模态数据的哈希编码与各模态样本的哈希编码，对比结果符合预设条件的模态样本即作为待检索模态数据的检索结果。


2.根据权利要求1所述的基于监督语义耦合一致的跨模态哈希检索方法，其特征在于，步骤1所述提取各模态数据库中模态样本数据的特征，构建样本库集合，具体包括：
步骤1-1，针对每一模态，构建其对应的数据特征提取模型，并对该模型进行训练；
步骤1-2，利用训练后的模型提取对应模态样本数据的特征；
步骤1-3，根据提取的特征构建样本库集合{P_marry,Q_marry,Y_marry}，其中P_marry＝[p1,p2,p3…,ps]为第一模态数据特征矩阵，Q_marry＝[q1,q2,q3…,qs]为第二模态数据特征矩阵，Y_marry＝[y1,y2,y3…,ys]为标签数据特征矩阵。


3.根据权利要求2所述的基于监督语义耦合一致的跨模态哈希检索方法，其特征在于，步骤2所述求取样本库集合中各模态样本的哈希编码，具体包括：
步骤2-1，构建各模态对应的线性分离器损失函数；
针对第一模态数据特征矩阵中的样本pi，假设其转化后的哈希二位码为以及对应的标签为yi，由此构建第一模态线性分离器损失函数：






式中，为样本库集合中第一模态样本数据对应的哈希编码矩阵，k为哈希码的位数，W1为第一模态的线性分离器，μ为第一模态线性分离器的正则化参数；
针对第二模态数据特征矩阵中的样本qi，假设其转化后的哈希二位码为以及对应的标签为yi，由此构建第二模态线性分离器损失函数：






式中，为样本库集合中第二模态样本数据对应的哈希编码矩阵，k为哈希码的位数，W2为第二模态的线性分离器，μ为第二模态线性分离器的正则化参数；
步骤2-2，定义第一模态和第二模态的邻近区域相似性矩阵分别为和



式中，Nm(p)为第一模态特征数据p的m近邻集合，Nm(q)为第二模态特征数据q的m近邻集合；
由此构建模态近邻约束损失函数：






式中，ν为模态近邻约束损失函数的约束平衡参数；
步骤2-3，利用矩阵运算将模态近邻约束损失函数转换为：






式中，tr(·)为矩阵的迹，
步骤2-4，利用映射矩阵F1、F2分别将第一模态和第二模态特征转换为对应的哈希编码矩阵：
B1＝F1P_marry，B2＝F2Q_marry
由此构建各个模态相互间的耦合语义一致性损失函数：



式中，λ、θ均为耦合语义一致性损失函数的平衡参数；
步骤2-5，结合上述步骤2-1至步骤2-4，构建全局损失函数：



步骤2-6，求解所述全局损失函数，获取参数B1,B2,F1,F2,W1,W2的值；
步骤2-7，进一步求取符号函数sign(B1)和sign(B2)，分别获得样本库集合中第一模态、第二模态对应的离散哈希编码矩阵。


4.根据权利要求3所述的基于监督语义耦合一致的跨模态哈希检索方法，其特征在于，步骤2-7求解所述全局损失函数，获取参数B1,B2,F1,F2,W1,W2的值，采用的求解方式为：求解某一参数时，固定其余参数，进行迭代更新优化求解，直至收敛。


5.根据权利要求3或4所述的基于监督语义耦合一致的跨模态哈希检索方法，其特征在于，步骤3所述提取待检索模态数据的特征，并根据该特征求取待检索模态数据的哈希编码，具体过程包括：
假设待检索模态数据的特征为d，根据步骤2-7获得的F1或F2求取待检索模态数据的哈希编码：
B＝F1d或F2d
之后进一步求取待检索模态数据的离散哈希编码：
b＝sign(B)＝sign(F1d)或sign(F2d)。

【专利技术属性】
技术研发人员：杨帆，丁晓剑，刘禹锋，刘健，曹杰，
申请(专利权)人：南京财经大学，
类型：发明
国别省市：江苏;32