一种基于无监督跨模态哈希算法的数据检索方法技术

技术编号:40382393 阅读:19 留言:0更新日期:2024-02-20 22:19
本发明专利技术公开了一种基于无监督跨模态哈希算法的数据检索方法,包括:利用预训练模型CLIP的图像编码器和文本编码器获取深度特征;将深度特征输入哈希网络中生成哈希码,将不同模态的深度特征进行融合后,得到融合特征的相似度矩阵;与单模态内的相似度矩阵结合,获得最终的相似矩阵,并训练哈希网络;基于不同模态间哈希码的汉明距离输出检索结果。本发明专利技术充分利用不同模态的特征,挖掘更丰富的语义相似信息,构造可靠的跨模态相似性矩阵,指导哈希网络的训练。此外,本发明专利技术使用融合哈希码重构策略,以降低实值哈希特征与离散二进制哈希码之间的量化损失。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体来说涉及一种基于无监督跨模态哈希算法的数据检索方法


技术介绍

1、跨模态检索与匹配任务主要应用于人工智能行业,特别是两种最常用的模态(图像,文本)的跨模态检索任务。随着信息时代的到来和互联网的飞速发展,文本、图像、音频、视频等多媒体数据呈现爆炸式增长。海量的多媒体数据对存储和跨模态语义检索提出了更高的要求。跨模态哈希因其紧凑的表示和高效的相似性计算成为一个热门话题。

2、跨模态哈希主要关注将原始多模态数据映射到一个公共的汉明空间,同时保持不同实例之间的语义相似性。现有的跨模态哈希方法,根据训练过程中是否使用深度神经网络,一般可分为浅层方法和深度方法。

3、浅层跨模态哈希方法通常使用手工设计的特征来学习二进制代码和哈希网络。基于是否利用监督信息,现有的浅层跨模态哈希方法大致可分为无监督学习和有监督学习。通常,无监督跨模态哈希通过训练数据的模态内和模态间相似性结构来生成哈希码或投影函数。相比之下,有监督跨模态哈希方法可以利用语义标签得到更精确的语义信息,在准确相似性语义信息的监督下,取得了更好的性能。...

【技术保护点】

1.一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述待检索的深度图像特征输入训练好的图像模态的哈希网络获取图像哈希码,将深度文本特征输入训练好的文本模态的哈希网络获取文本哈希码,包括根据以下公式生成松弛的实值哈希特征:

4.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述深度图像特征和深度文本特征聚合后,输入Tra...

【技术特征摘要】

1.一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述待检索的深度图像特征输入训练好的图像模态的哈希网络获取图像哈希码,将深度文本特征输入训练好的文本模态的哈希网络获取文本哈希码,包括根据以下公式生成松弛的实值哈希特征:

4.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述深度图像特征和深度文本特征聚合后,输入transformer编码器中生成融合哈希码,包括根据以下公式获取融合哈希特征:

【专利技术属性】
技术研发人员:李祎郭艳卿付海燕李梦栾
申请(专利权)人:大连理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1