基于中级文本语义增强空间的模态独立检索方法和系统技术方案

本发明专利技术公开了一种基于中级文本语义增强空间的模态独立检索方法和系统，所述方法包括：获取成对的文本和图像底层特征，构建训练数据集和测试数据集；根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像。所述方法为图像检索文本和文本检索图像的检索任务分别学习映射矩阵，检索更有针对性，大大提高了检索的准确率。

【技术实现步骤摘要】
基于中级文本语义增强空间的模态独立检索方法和系统
本公开属于跨媒体检索
，尤其涉及一种基于中级文本语义增强空间的模态独立检索方法和系统。
技术介绍
随着社会的发展和网络的普及，网络上的多媒体数据，图片、视频、音频等呈现出指数级的增长，许多不同类型的多媒体数据会表达同一种语义，用户需要从这些海量的数据中检索到自己需要的信息。当前机器学习和模式识别理论的飞速发展，硬件的更新换代使得计算速度得到极大的提升，如何实现跨媒体数据的检索已成为亟需解决的问题。跨媒体检索是指提交任何类型的媒体类型的数据，获得不同媒体类型的相同语义的结果。目前的检索方式还主要局限在单一媒体检索，基于关键字的搜索源于文本检索，用户提供关键字，数据库通过关键词关联媒体数据，查询系统再根据关键字查找相关数据并返回信息，如当前主流的搜索引擎百度、搜狗、谷歌等采用的技术都是基于关键字搜索。基于内容的图像检索，一般需要提取图像的特征来描述一幅图像，然后查询系统通过特征来查找特征类似的图像数据。而当前的网络上尤其是社交媒体上充满了大量没有关键字的多媒体数据，类似上述的搜索方法对没有关键字或者跨越多媒体的检索无法有效的查询。由本文档来自技高网...

【技术保护点】
1.一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，包括以下步骤：获取成对的文本和图像底层特征，构建训练数据集和测试数据集；根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像。

【技术特征摘要】
1.一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，包括以下步骤：获取成对的文本和图像底层特征，构建训练数据集和测试数据集；根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像。2.如权利要求1所述的一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，所述中级文本语义空间的建立方法包括：根据每个类文本特征和所有文本特征的均值，计算文本特征的类内散度矩阵和类间散度矩阵；将所述类内散度矩阵和类间散度矩阵代入线性判别分析公式，得到线性判别分析的目标函数。3.如权利要求1所述的一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，所述计算图像文本对的相似度矩阵包括：根据语义标签计算图像文本对的相似度矩阵S＝{sij}2m×2m；定义STT和SII为单媒体相似矩阵，均为零矩阵，STI和SIT为跨媒体相似矩阵；定义对角矩阵D＝Diag(d1,1,d2,2,...,d2n,2n)，将S＝{sij}2m×2m表示为其中，SII＝STT，S＝ST，并进行归一化；最终相似度矩阵和LII＝LTT。4.如权利要求3所述的一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，定义sij是文本和图像的相似性矩阵，定义yi为第i个文本图...

【专利技术属性】
技术研发人员：张化祥，郑顺心，李静，吴泓辰，王琳，孙建德，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37