一种基于局部敏感哈希算法和神经网络的跨媒体检索方法技术

本发明专利技术公开了一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其涉及跨媒体检索技术领域，该方法包括局部敏感哈希和哈希函数学习两个阶段，在局部敏感哈希阶段，通过局部敏感哈希算法将图像数据映射到m个哈希表G＝[g

A method of cross media retrieval based on local sensitive hash algorithm and neural network

The invention discloses a cross media retrieval method of local sensitive Hashi algorithm and neural network based on the cross media retrieval technology, the method includes local sensitive Hashi and Hashi function learning in two stages, in the local Hashi sensitive stage, the image data is mapped to the M table G = [g Hashi by local sensitive Kazakhstan Greek algorithm

【技术实现步骤摘要】
一种基于局部敏感哈希算法和神经网络的跨媒体检索方法
本专利技术涉及跨媒体检索
，特指一种基于局部敏感哈希算法和神经网络的跨媒体检索方法。
技术介绍
在跨媒体大数据时代，无时无刻不在产生的海量多模态信息带来了巨大的跨媒体检索需求，如用文本来搜索图像或视频，反之亦然。例如，维基百科上的一个词条通常包含文本描述和示例图像，这些信息的检索需要构建跨媒体索引与学习方法。与传统的单一媒体检索相比，跨媒体检索的核心问题是如何挖掘不同媒体表示的相同或相关语义对象之间的关联。目前在世界范围内，针对该跨媒体检索的核心问题提出了众多的解决方法。已有的跨媒体检索方法主要分为两类，一类是基于主题的方法：文献[1]通过主题比例分析对不同模态的数据之间的相关性进行建模；文献[2]通过CORR-LDA挖掘图像与文本标注之间在主题层次的关系；文献[3]将马尔可夫随机域与传统LDA方法结合，提出了用简短的文字检索图像的有向和无向概率图的组合模型(MDRF)；文献[4]提出一种用以利用多个媒体类型的微博信息来进行获得社会事件的可视化总结的多媒体社会事件自动摘要框架。另一类是基于子空间的方法：这一类的方法的核心是寻求使不同模态数据相关性最大化的子空间[5]。Sharma等人提出了一种通用的多模态特征提取框架技术，称为广义的多视角分析GMA[6]。文献[7]提出的T-VCCA模型中引入语义的观点，以提高子空间中不同类别的多模态数据分类准确率。文献[8]提出了一种Bi-CMSRM方法，从优化双向列表排序问题的角度构建了适用于跨媒体检索的计算模型。[1]BleiDM,NgAY,JordanMI.Latentdirichletallocation[J].theJournalofmachineLearningresearch,2003,3:993-1022.[2]BleiDM,JordanMI.Modelingannotateddata[C]//Proceedingsofthe26thannualinternationalACMSIGIRconferenceonResearchanddevelopmentininformationretrieval.ACM,2003:127-134.[3]JiaY,SalzmannM,DarrellT.Learningcrossmodalitysimilarityformultinomialdata[C]//ComputerVision(ICCV),2011IEEEInternationalConferenceon.IEEE,2011:2407-2414.[4]BianJ,YangY,ZhangH,etal.MultimediaSummarizationforSocialEventsinMicroblogStream[J].IEEETransactionsonMultimedia,2015,17(2):216-228.[5]HardoonDR,SzedmakS,ShaweTaylorJ.Canonicalcorrelationanalysis:Anoverviewwithapplicationtolearningmethods[J].Neuralcomputation,2004,16(12):2639-2664.[6]AbhishekSharma,AbhishekKumar,HDaume,andDavidWJacobs.2012.Generalizedmulti-viewanalysis:Adiscriminativelatentspace.InIEEEConferenceonComputerVisionandPatternRecognition.2160–2167.[7]YunchaoGong,QifaKe,MichaelIsard,andSvetlanaLazebnik.2013.AMulti-ViewEmbeddingSpaceforModelingInternetImages,Tags,andTheirSemantics.InternationalJournalofComputerVision(2013),1–24.WuF,LuX,ZhangZ,etal.Cross-mediasemanticrepresentationviabi-directionallearningtorank[C]//Proceedingsofthe21stACMinternationalconferenceonMultimedia.ACM,2013:877-886.现有的跨媒体检索方法均存在同样的技术缺陷，即仅仅只考虑了跨媒体检索方法本身而忽略了对文档集的一些可行的优化处理，由于文档集中存在大量与查询不相关的文档，因此在进行精确查询之前对文档集进行预处理，提高文档集中相关文档所占比例对提高检索效率来说具有重要意义。
技术实现思路
针对现有的跨媒体检索方法所存在的技术问题，本专利技术提出一种能够提高检索的精确性的基于局部敏感哈希算法与神经网络的跨媒体检索方法。本专利技术的具体技术方案是：一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，所述跨媒体检索方法包括以下步骤：1)建立FCMR(FastCross-MediaRetrieval，FCMR)模型，所述FCMR模型的训练过程包括局部敏感哈希阶段和哈希函数学习阶段；2)利用局部敏感哈希函数与神经网络学习到的哈希函数将所有文本与图像映射到汉明空间建立索引；3)进行跨媒体检索查询，包括文本查询和图像查询。作为本专利技术的优选技术方案，本专利技术所述步骤1)中，所述局部敏感哈希阶段包括采用局部敏感哈希算法将图像数据映射到哈希桶，具体包括通过局部敏感哈希算法将图像数据映射到m个哈希表G＝[g1,g2,...,gm]∈Rk×m的哈希桶内，其中G为m个哈希表的集合，gj表示第j个哈希表，k是哈希桶对应哈希码的长度。作为本专利技术的优选技术方案，本专利技术所述步骤1)中，所述哈希函数学习阶段包括采用神经网络算法学习将文本数据映射到哈希桶的哈希函数Ht，具体包括通过神经网络算法学习将文本数据分别映射到m个哈希表内其对应的哈希桶内的哈希函数Ht＝(Ht(1),Ht(2),...,Ht(m))，Ht(j),(1≤j≤m)表示学习到的对应于第j个哈希表的哈希函数。作为本专利技术的优选技术方案，本专利技术所述步骤3)中，所述文本查询为给定一个查询文本，通过哈希函数Ht(j)将该查询文本映射到m个哈希表中的哈希桶内，则这些哈希桶内存储的图像文件就组成了该查询文本的最近邻，将与查询文本落在相同的哈希桶中的图像样本作为候选结果集，进而在该查询文本的最近邻范围内进行精确地检索，计算查询文本与候选结果集中的图像之间的距离并进行精确的检索排名；所述图像查询为给定一个查询图像，通过局部敏感哈希函数将该查询图像映射到m个哈希表中的哈希桶内，则这些哈希桶内存储的文本文件就组成了该查询图像的最近邻，进而在该查询图像的最近邻范围里进行精确检索。作为本专利技术的优选技术方案，本专利技术所述局部敏感哈希函数定义如下：其中，超平面向量符合multiGaussianN(0,1)分布；定义一系列哈希函数h1,h2,...,hn随机选取其中的k个函数组成函数g(x)，设本文档来自技高网...

【技术保护点】
一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其特征在于，所述跨媒体检索方法包括以下步骤：1)建立FCMR(Fast Cross‑Media Retrieval，FCMR)模型，所述FCMR模型的训练过程包括局部敏感哈希阶段和哈希函数学习阶段；2)利用局部敏感哈希函数与神经网络学习到的哈希函数将所有文本数据与图像数据映射到汉明空间建立索引；3)进行跨媒体检索查询，包括文本查询和图像查询。

【技术特征摘要】
1.一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其特征在于，所述跨媒体检索方法包括以下步骤：1)建立FCMR(FastCross-MediaRetrieval，FCMR)模型，所述FCMR模型的训练过程包括局部敏感哈希阶段和哈希函数学习阶段；2)利用局部敏感哈希函数与神经网络学习到的哈希函数将所有文本数据与图像数据映射到汉明空间建立索引；3)进行跨媒体检索查询，包括文本查询和图像查询。2.根据权利要求1所述的一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其特征在于，所述步骤1)中，所述局部敏感哈希阶段包括采用局部敏感哈希算法将图像数据映射到哈希桶，具体包括通过局部敏感哈希算法将图像数据映射到m个哈希表G＝[g1,g2,...,gm]∈Rk×m的哈希桶内，其中R表示实数域，G为m个哈希表的集合，gj表示第j个哈希表，k是哈希桶对应哈希码的长度。3.根据权利要求2所述的一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其特征在于，所述步骤1)中，所述哈希函数学习阶段包括采用神经网络算法学习将文本数据映射到哈希桶的哈希函数Ht，具体包括通过神经网络算法学习将文本数据分别映射到m个哈希表内其对应的哈希桶内的哈希函数Ht＝(Ht(1),Ht(2),...,Ht(m))，Ht(j),(1≤j≤m)表示学习到的对应于第j个哈希表的哈希函数。4.根据权利要求3所述的一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其特征在于，所述步骤3)中，所述文本查询为给定一个查询文本，通过哈希函数Ht(j)将该查询文本映射到m个哈希表中的哈希桶内，则这些哈希桶内存储的图像文件就组成了该查询文本的最近邻，将与查询文本落在相同的哈希桶中的图像样本作为候选结果集，进而在该查询文本的最近邻范围内进行精确地检索，计算查询文本与候选结果集中的图像之间的距离并进行精确的检索排名；所述图像查询为给定一个查询图像，通过局部敏感哈希函数将该查询图像映射到m个哈希表中的哈希桶内，则这些哈希桶内存储的文本文件就组成了该查询图像的最近邻，进而在该查询图像的最近邻范围里进行精确检索。5.根据权利要求3所述的一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其特征在于，所述局部敏感哈希函数定义如下：其中，超平面向量符合multiGaussianN(0,1)分布；定义一系列哈希函数h1,h2,...,hn，随机选取其中的k个函数组成函数g...

【专利技术属性】
技术研发人员：白亮，贾玉华，郭金林，谢毓湘，于天元，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南,43