一种基于子空间的自步跨模态匹配方法组成比例

本发明专利技术公开一种基于子空间的自步跨模态匹配方法。该方法通过提取数据集中不同模态数据的特征向量；利用子空间自步学习得到训练集中与不同模态对应的不同映射矩阵，利用该映射矩阵将测试集中数据样本的不同模态类别映射到同一空间，使训练集与测试集的数据映射到统一空间，然后度量测试集中的查询数据和目标数据间的相似度从而得到跨模态匹配的结果。本发明专利技术可将不同模态的数据映射到统一空间度量，且在映射同时进行样本选择和特征学习，提高了匹配的鲁棒性和准确性。

【技术实现步骤摘要】

本专利技术涉及模式识别
，尤其是一种基于子空间的自步跨模态匹配方法。
技术介绍
现实中的数据往往具有多种模态。比如网页数据既包含图片信息，又包含文本信息；视频数据同时包含音频信息和图片信息。跨模态匹配的根本任务是以一种模态作为查询条件，匹配出与之相似的异质模态信息。传统跨模态匹配方法大多是监督学习方法，它们都是通过语义标签来减少异质模态之间的鸿沟，但是无法处理无标签信息，人工标记数据又是一个费时费力的工作。此外，有些无监督的方法没有考虑特征的判定性和相关性和样本间的语义相似性，无法满足人们的日常需求。因此亟需一种高效的无监督跨模态匹配方法。
技术实现思路
本专利技术目的在于解决上述技术问题而提供一种基于子空间的无监督自步跨模态匹配方法，能有效地跨越不同模态媒体之间的语义鸿沟，进而使得跨媒体搜索引擎返回的结果更加准确。本专利技术是这样实现的，一种基于子空间的自步跨模态匹配方法，包括步骤：S1，收集不同模态的数据样本建立跨模态数据库，并将所述跨模态数据库分为训练集和测试集；S2，提取所述跨模态数据库中不同模态数据样本的特征向量；S3，基于所述训练集中不同模态数据的特征向量，得到与所述不同模态分别对应的映射矩阵；S4，利用所述映射矩阵将所述测试集中数据样本的模态类别映射到同一空间；S5，将映射到同一空间的测试集中同一模态类别的数据作为查询集，另一模态类别的数据作为目标集；S6，通过度量数据间的相似度，在所述目标集中查询与所述查询集中的一个数据样本相匹配的数据，从而得到跨模态匹配的结果。根据本专利技术的方法，可以将不同模态的多媒体数据映射入统一空间进行度量，且在映射的同时进行了样本选择与特征学习，从而提高了检索的鲁棒性和准确性，具有良好的运用前景。附图说明图1是本专利技术提供的基于子空间的自步跨模态匹配方法的流程图；图2是在图像和文本两个模态下子空间匹配的具体模型图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。本专利技术通过学习两个映射矩阵，将不同模态的数据映射到同一个子空间中去，并在映射的同时进行样本选择和特征学习，并使用多模态图约束保持数据模态内和模态间的相似性；在学习到的子空间中度量不同模态的数据的相似性，以此来实现跨模态匹配。参见图1所示，一种基于子空间的自步跨模态匹配方法，包括以下步骤：步骤S1，收集不同模态的数据样本，建立跨模态数据库，并将所述跨模态数据库分为训练集和测试集；需要说明的是，本专利技术中所述不同模态可以为文本、图像等模态。为了便于说明，下面以文本和图像两个模态的数据为例进行解释本专利技术。具体的，将所述跨模态数据库分为训练集和测试集时，可根据实际需要进行划分，如可将所述跨模态数据库中的80％的数据划分为训练集，剩下的20％的数据划分为测试集，形成训练样本库与测试样本库。步骤S2，提取所述跨模态数据库中不同模态数据样本的特征向量，形成相应的不同模态数据特征库；本步骤中，不但要提取训练集的训练样本库中不同模态数据样本的特征向量，也要提取测试集的测试样本库中不同模态数据样本的特征向量，从而形成训练集与测试集的文本特征库与图片特征库；本专利技术中，对于文本数据库中的文本模态数据样本和图像数据库的图像模态数据样本，可分别使用LDA算法与SIFT算法进行特征提取；LDA算法即隐狄雷克雷分布(Latent Dirichlet Allocation,LDA)算法，SIFT算法即尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)算法。步骤S3，基于所述训练集中提取的不同模态数据的特征向量，通过子空间自步学习(即通过建立目标函数并通过迭代算法求解目标函数)，得到与所述不同模态分别对应的特征映射矩阵；对步骤S3详细介绍前，先介绍矩阵运算符：对于矩阵第i行和第j列分别为mi和mj，Mi,j是矩阵的第i行和第j列元素。矩阵M的Frobenius范数为矩阵M的迹为Tr(M)＝ΣiMi,i。假设有图片和文本两个特征集，其中di是第i个模态的维度，n是训练图像-文本对的数目。每一对图像-文本对具有相同的隐含内容，且属于相同类别，即硬配对约束，但每个图像-文本对的离散标签是未知的。所述步骤S3包括以下步骤：步骤S31，基于所述训练集中不同模态数据的特征向量建立目标函数： min U { a , b本文档来自技高网...

【技术保护点】
一种基于子空间的自步跨模态匹配方法，其特征在于，包括步骤：S1，收集不同模态的数据样本建立跨模态数据库，并将所述跨模态数据库分为训练集和测试集；S2，提取所述跨模态数据库中不同模态数据样本的特征向量；S3，基于所述训练集中不同模态数据的特征向量建立目标函数并求解目标函数，得到与所述不同模态分别对应的映射矩阵；S4，利用所述映射矩阵将所述测试集中数据样本的模态类别映射到同一空间；S5，将映射到同一空间的测试集中同一模态类别的数据作为查询集，另一模态类别的数据作为目标集；S6，通过度量数据间的相似度在所述目标集中查询与所述查询集中的一个数据样本相匹配的数据，从而得到跨模态匹配的结果。

【技术特征摘要】
1.一种基于子空间的自步跨模态匹配方法，其特征在于，包括步骤：S1，收集不同模态的数据样本建立跨模态数据库，并将所述跨模态数据库分为训练集和测试集；S2，提取所述跨模态数据库中不同模态数据样本的特征向量；S3，基于所述训练集中不同模态数据的特征向量建立目标函数并求解目标函数，得到与所述不同模态分别对应的映射矩阵；S4，利用所述映射矩阵将所述测试集中数据样本的模态类别映射到同一空间；S5，将映射到同一空间的测试集中同一模态类别的数据作为查询集，另一模态类别的数据作为目标集；S6，通过度量数据间的相似度在所述目标集中查询与所述查询集中的一个数据样本相匹配的数据，从而得到跨模态匹配的结果。2.根据权利要求1所述方法，其特征在于，所述不同模态为双模态。3.根据权利要求2所述方法，其特征在于...

【专利技术属性】
技术研发人员：赫然，孙哲南，李志航，梁坚，曹冬，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：天津;12