当前位置: 首页 > 专利查询>中南大学专利>正文

一种基于关系网络的跨模态哈希检索方法、装置和设备制造方法及图纸

技术编号:43903920 阅读:16 留言:0更新日期:2025-01-03 13:14
本申请涉及一种基于关系网络的跨模态哈希检索方法、装置和设备,本方法首先获得样本对的图像特征向量和文本特征向量,并得到融合特征向量;然后通过关系网络从图像特征向量、文本特征向量以及融合特征向量中挖掘不同模态对象之间的关联关系,捕获对象样本之间的成对关系的核心共性;然后根据哈希网络计算每个样本对的第一哈希码和第二哈希码之间的第一相似度,根据第二相似度构建损失函数,最后基于损失函数对哈希检索模型的哈希网络进行反向优化。本方法将关系网络引入跨模态哈希检索,解决在将多模态数据的特征向量在获取相似度时存在损失模态语义特征相似性,导致跨模态数据检索准确率不足的问题,实现对多模态的数据进行高精度跨模态检索。

【技术实现步骤摘要】

本申请实施例涉及哈希检索,尤其涉及一种基于关系网络的跨模态哈希检索方法、装置和设备


技术介绍

1、在大数据时代,数据的生产、存储和流通达到了前所未有的规模和速度。这一背景下,各模态数据包括文本、图像等呈现出爆炸性增长,随之而来的则是数据异构的显著提升。由于不同模态包含关于同一对象的异构信息,这些异构信息在检索过程中不仅增加了计算负担,而且影响检索的效率和准确性。如何找到保留数据的关键语义和不同模态数据特征之间的相关性成为了跨模态检索的核心研究领域。

2、当下普遍使用的跨模态哈希检索方法依赖于通过假设不同模态中存在等量的信息来学习所有模态的共同表示。然而,大多数现有的跨模态哈希方法都假设在多模态表示学习过程中,能够从不同的模态中获得等量的信息,尝试将多模态信息投射到一个潜在的单一共享空间中,其中不同模态的是拥有直观对比性的。然后采用广泛使用的距离度量来计算不同模态哈希码的跨模态检索。但是由于跨模态样本之间的信息量是不平衡和不相等的,因此在公共空间中直接匹配不同模式的模态特定表示是不合适的。当将跨模态特征映射到低维空间时,这些方法往往会牺牲大量的本文档来自技高网...

【技术保护点】

1.一种基于关系网络的跨模态哈希检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于关系网络的跨模态哈希检索方法,其特征在于,所述计算每个样本对的向量组的所述第二相似度,包括:

3.根据权利要求2所述的基于关系网络的跨模态哈希检索方法,其特征在于,在所述根据每个样本对的向量组的所述第二相似度,构建用于约束所有样本对中的相似的哈希码之间的所述第一相似度小于不相似的哈希码之间的所述第一相似度的损失函数之前,所述方法还包括:

4.根据权利要求3所述的基于关系网络的跨模态哈希检索方法,其特征在于,所述损失函数包括:

>5.根据权利要求3...

【技术特征摘要】

1.一种基于关系网络的跨模态哈希检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于关系网络的跨模态哈希检索方法,其特征在于,所述计算每个样本对的向量组的所述第二相似度,包括:

3.根据权利要求2所述的基于关系网络的跨模态哈希检索方法,其特征在于,在所述根据每个样本对的向量组的所述第二相似度,构建用于约束所有样本对中的相似的哈希码之间的所述第一相似度小于不相似的哈希码之间的所述第一相似度的损失函数之前,所述方法还包括:

4.根据权利要求3所述的基于关系网络的跨模态哈希检索方法,其特征在于,所述损失函数包括:

5.根据权利要求3所述的基于关系网络的跨模态哈希检索方法,其特征在于,所述损失函数包括:

6.根据权利要求1所述的基于关系网络的跨模态哈希检索方法,其特征在于,所述融合每个样本对的文本特...

【专利技术属性】
技术研发人员:杨展王博轩龙军李逸楠陈云飞
申请(专利权)人:中南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1