The invention relates to a cross-media hashing method and system for serialized multi-feature guidance. The method consists of the following steps: 1. Establishing the database of images and texts, and extracting the features of images and texts at different scales. 2. The different scale features of images and texts are input into two loop neural networks in the given order, and the hash codes of images and texts are calculated. 3. The network parameters are optimized by the inter-scale Association constraint function and the inter-media and intra-media hash constraint function to realize the inter-scale association mining and the learning of hash function. 4. In the retrieval stage, different scale features of the query image or text are extracted, and corresponding hash codes are generated according to the same method in Step 2 to achieve cross-media hash retrieval. The invention can mine the association relationship among different media at various scales to realize the learning of hash function, and achieves higher retrieval accuracy than the existing methods.
【技术实现步骤摘要】
一种序列化多特征指导的跨媒体哈希检索方法和系统
本专利技术涉及图像和文本之间的跨媒体哈希检索，具体涉及一种序列化多特征指导的跨媒体哈希检索方法和系统。
技术介绍
跨媒体检索是一种高度灵活的检索方式，用户可以使用任意一种媒体，检索其他媒体类型的相关数据。随着互联网数据的增加，检索效率逐渐成为实际应用中的重要需求。跨媒体哈希检索是指将多媒体数据映射到统一汉明空间中，利用较短的汉明编码，既能大大提升跨媒体检索速度，又能极大地压缩所需的存储空间，具有重要的应用价值。传统文本或图像哈希检索方法在面对跨媒体检索任务时，遇到了“异构鸿沟”的难题，即不同媒体类型的数据分布在不同特征空间中，无法直接进行相似性度量。现有方法往往通过关联学习，突破“异构鸿沟”带来的检索难题。例如Song等人提出IMH方法(Song,Jing-kuan,etal.Inter-mediahashingforlarge-scaleretrievalfromheterogeneousdatasources.Proceedingsofthe2013ACMSIGMODInternationalConference...
【技术保护点】
1.一种序列化多特征指导的跨媒体哈希检索方法，包括以下步骤：(1)建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征；(2)将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码；(3)通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习；(4)在检索阶段，提取待查询图像或文本的不同尺度特征，并按步骤(2)中相同的方法生成对应的哈希码，通过哈希码实现跨媒体哈希检索。
【技术特征摘要】
1.一种序列化多特征指导的跨媒体哈希检索方法，包括以下步骤：(1)建立图像和文本的数据库，分别提取图像和文本在多种尺度下的特征；(2)将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，并计算图像和文本的哈希码；(3)通过尺度间关联约束函数和媒体间、媒体内哈希约束函数对网络参数进行优化，实现尺度间关联挖掘和哈希函数的学习；(4)在检索阶段，提取待查询图像或文本的不同尺度特征，并按步骤(2)中相同的方法生成对应的哈希码，通过哈希码实现跨媒体哈希检索。2.如权利要求1所述的方法，其特征在于，步骤(1)中的图像特征向量为：VGG-19网络的POOL-5、FC-6、FC-7层特征，分别代表底层基元尺度特征、中层概念尺度特征和高层语义尺度特征；文本特征为：文本词袋特征和使用主成份分析方法对每一句的词袋特征降维拼接的句子词袋特征，分别代表单词尺度特征和句子尺度特征。3.如权利要求1所述的方法，其特征在于，步骤(2)中采用基于循环神经网络的深度模型，将图像、文本的不同尺度特征按设定的顺序分别输入到两路循环神经网络，计算哈希码；其中同一尺度的特征能够多次输入网络，且每一个尺度的特征都会对应生成一定长度的哈希码，其长度由预先的参数定义，最终的哈希码为上述流程得到的哈希码拼接得到；图像和文本第k个输入的尺度特征生成的哈希码长度需要保持一致，以便于实现尺度间关联的挖掘。4.如权利要求1所述的方法，其特征在于，步骤(3)中采用的尺度间关联约束函数为：其中，losscorr表示尺度间关联约束总损失，ht(x),hi(y)分别指图像和文本所有尺度特征生成的完整的文本哈希码和图像哈希码；指第k个输入的尺度特征生成的文本、图像哈希码；Fcorr表示尺度间关联约束函数，定义为：Fcorr(x,y)＝1-cos(x,y)，其中x,y分别表示图像和文本生成的哈希码，cos表示余弦距离函数。5.如权利要求1所述方法，其特征在于，步骤(3)中采用的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。