一种跨域对齐嵌入空间的零样本跨模态检索方法技术

本发明专利技术涉及跨模态检索技术领域，具体的说，是一种跨域对齐嵌入空间的零样本跨模态检索方法。所述的零样本跨模态检索方法先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。本发明专利技术利用一个多模态变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间而不是直接使用类别嵌入作为语义空间，并且避免了使用难以稳定训练的对抗生成网络，同时解决了“异构鸿沟”的问题。

A cross modal retrieval method of zero samples based on cross domain alignment of embedded space

【技术实现步骤摘要】
一种跨域对齐嵌入空间的零样本跨模态检索方法
本专利技术属于跨模态检索
，具体的说，涉及一种在多种媒体类型的数据之间进行检索的方法。
技术介绍
跨媒体检索是指用户通过输入任意媒体类型的查询数据，检索出所有媒体类型中的语义相关数据。随着互联网中文本、图像、视频等多媒体数据的日益增多，跨越不同模态的检索成为信息检索的新趋势。零样本跨模态检索的目标是在未见过的新的类别数据上进行跨模态检索。“异构鸿沟”问题导致不同媒体类型的数据分布和特征表示之间存在不一致性，因此难以直接度量多种媒体数据之间的相似性。现有方法的解决思路通常是建立一个共同子空间，将不同媒体类型的异构数据映射到这个共同子空间中得到统一表征，进而通过常用的距离度量方法来直接计算不同媒体数据之间的相似性，实现跨模态交叉检索。主要有两类方法：跨模态检索的传统方法、深度学习方法。1)跨模态检索的传统方法：传统方法主要通过统计分析的方式学习映射矩阵，通过分析不同模态数据特征之间的关联关系，学习一个能够最大化成对相关性的共同空间，将不同模态的特征映射到这个共同空间得到相同维度的向量本文档来自技高网...

【技术保护点】
1.一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。/n

【技术特征摘要】
1.一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间，然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束，经过整个网络训练后进行跨模态检索。


2.根据权利要求1所述的一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：在采用循环一致性约束机制进行循环一致性约束时，构建了回归器将不同模态数据的潜在嵌入映射到类别嵌入空间。


3.根据权利要求2所述的一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：具体包括以下步骤：
步骤S1:提取多模态数据特征；
步骤S2:构造变分自动编码器，在低维的潜在嵌入空间生成潜在嵌入，并采用跨模态重构机制进行数据重构；
步骤S3:在潜在嵌入空间，对重构后的不同模态数据采用跨域对齐机制进行跨域对齐；
步骤S4:构造回归器，将不同模态数据各自的潜在嵌入映射到共享的类别嵌入空间中，采用循环一致性约束机制进行循环一致性约束；
步骤S5:对整个网络进行训练；
步骤S6:跨模态检索数据。


4.根据权利要求3所述的一种跨域对齐嵌入空间的零样本跨模态检索方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21:为两个同一类别不同的模态数据和共享的类别标签嵌入各自构造一个变分自动编码器；
步骤S22:三个变分自动编码器为一组，共同组合构建一个多模态的变分自动编码器架构；同一组的三个变分自动编码器分别对应同一类别的A模态数据、B模态数据和以及A模态数据与B模态数据共享的类别标签嵌入；
步骤S23:每一个模态数据的变分自动编码器将本模态数据编码映射到潜在嵌入空间然后通过解码器将这些潜在嵌入解码重构回...

【专利技术属性】
技术研发人员：徐行，张明，林凯毅，杨阳，沈复民，贾可，申恒涛，
申请(专利权)人：成都考拉悠然科技有限公司，
类型：发明
国别省市：四川;51