基于双空间学习的跨媒体检索方法技术

本发明专利技术公开了一种基于双空间学习的跨媒体检索方法。该方法包括：首先提取不同模态的多媒体数据的特征，利用双空间学习方法学习得到两个映射矩阵，将不同模态的数据映射到同一个空间；对于测试样本集，将其分为两部分：查询数据集和目标数据集，使用学习得到的映射矩阵将两个数据集的数据映射到统一空间，然后度量查询数据和目标数据之间的距离，并得到与查询数据距离最近的目标数据。本发明专利技术可以将不同模态的多媒体数据映射入统一空间进行度量，且在映射的同时进行了特征选择，提高了检索的鲁棒性和准确性，具有良好的运用前景。

【技术实现步骤摘要】

本专利技术涉及模式识别
，特别是一种。
技术介绍
近些年来，随着Web2. O技术的兴起，互联网上的多媒体数据呈现出爆炸式的增长，用户需要从这些海量数据中检索自己想要的文章、图片、视频等内容。而现在的主流搜索引擎如百度、谷歌等，采用的搜索技术依然是基于关键字的，而这种搜索技术无法解决各个媒体之间存在的语义鸿沟。为了实现跨媒体检索，需要提供一种从一类多媒体数据检索另一类多媒体数据的综合检索方法。跨媒体检索方法的研究已经引起了国内外学术界的重视。目前国际上已经提出了一些方法来建模不同模态的多媒体数据之间的关系，现有方法可以分为两类1)将两个模态的多媒体数据映射到同一子空间，然后在这个学习到的子空间里度量不同模态的多媒体之间的相似性，以此来实现跨媒体检索。2)将一类模态的多媒体数据转换到另一种模态的多媒体数据的特征空间中进行不同模态数据的相似性度量，以此来实现跨媒体检索。然而，现有方法都忽略了另一个重要问题，即如何从不同模态的特征空间中同时选择出最相关和最有区分力的特征，这个问题称为双空间特征选择。为了在学习子空间的同时，进行双空间特征选择，本专利技术提出一种，该方法有效地实现了不本文档来自技高网...

【技术保护点】
一种基于双空间学习的跨媒体检索方法，其特征在于，该方法包括以下步骤：步骤S1，收集不同模态的多媒体数据样本，建立跨媒体检索知识数据库，并将所述数据库分为训练集和测试集；步骤S2，提取所述数据库中不同模态多媒体数据样本的特征向量；步骤S3，基于所述训练集中的不同模态数据的特征向量得到与所述不同模态分别对应的映射矩阵；步骤S4，根据所述测试集中多媒体数据样本的模态类别，利用所述步骤S3得到的映射矩阵将它们映射到同一空间；步骤S5，将映射到同一空间后的测试集中同一模态类别的多媒体数据作为查询集，另一模态类别的多媒体数据作为目标集；步骤S6，对于所述查询集中的一个多媒体数据，根据多媒体数据之间的相似度...

【技术特征摘要】
1.一种基于双空间学习的跨媒体检索方法，其特征在于，该方法包括以下步骤步骤Si，收集不同模态的多媒体数据样本，建立跨媒体检索知识数据库，并将所述数据库分为训练集和测试集；步骤S2，提取所述数据库中不同模态多媒体数据样本的特征向量；步骤S3，基于所述训练集中的不同模态数据的特征向量得到与所述不同模态分别对应的映射矩阵；步骤S4，根据所述测试集中多媒体数据样本的模态类别，利用所述步骤S3得到的映射矩阵将它们映射到同一空间；步骤S5，将映射到同一空间后的测试集中同一模态类别的多媒体数据作为查询集，另一模态类别的多媒体数据作为目标集；步骤S6，对于所述查询集中的一个多媒体数据，根据多媒体数据之间的相似度，得到所述目标集中与它最为相似的多媒体数据，从而得到跨媒体检索结果。2.根据权利要求1所述的方法，其特征在于，所述不同模态为双模态。3.根据权利要求2所述的方法，其特征在于，所述双模态为文本和图像。4.根据权利要求3所述的方法，其特征在于，对于文本多媒体数据样本，提取其隐狄雷克雷分布特征向量；对于图像多媒体数据样本，提取其尺度不变特征变换特征向量。5.根据权利要求1所...

【专利技术属性】
技术研发人员：王亮，谭铁牛，赫然，王开业，王威，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：