【技术实现步骤摘要】
本专利技术涉及人工智能,具体来说涉及一种基于无监督跨模态哈希算法的数据检索方法。
技术介绍
1、跨模态检索与匹配任务主要应用于人工智能行业,特别是两种最常用的模态(图像,文本)的跨模态检索任务。随着信息时代的到来和互联网的飞速发展,文本、图像、音频、视频等多媒体数据呈现爆炸式增长。海量的多媒体数据对存储和跨模态语义检索提出了更高的要求。跨模态哈希因其紧凑的表示和高效的相似性计算成为一个热门话题。
2、跨模态哈希主要关注将原始多模态数据映射到一个公共的汉明空间,同时保持不同实例之间的语义相似性。现有的跨模态哈希方法,根据训练过程中是否使用深度神经网络,一般可分为浅层方法和深度方法。
3、浅层跨模态哈希方法通常使用手工设计的特征来学习二进制代码和哈希网络。基于是否利用监督信息,现有的浅层跨模态哈希方法大致可分为无监督学习和有监督学习。通常,无监督跨模态哈希通过训练数据的模态内和模态间相似性结构来生成哈希码或投影函数。相比之下,有监督跨模态哈希方法可以利用语义标签得到更精确的语义信息,在准确相似性语义信息的监督下,取得
...【技术保护点】
1.一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述待检索的深度图像特征输入训练好的图像模态的哈希网络获取图像哈希码,将深度文本特征输入训练好的文本模态的哈希网络获取文本哈希码,包括根据以下公式生成松弛的实值哈希特征:
4.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述深度图像特征和深度文本特
...【技术特征摘要】
1.一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述待检索的深度图像特征输入训练好的图像模态的哈希网络获取图像哈希码,将深度文本特征输入训练好的文本模态的哈希网络获取文本哈希码,包括根据以下公式生成松弛的实值哈希特征:
4.根据权利要求1所述的一种基于无监督跨模态哈希算法的数据检索方法,其特征在于,将所述深度图像特征和深度文本特征聚合后,输入transformer编码器中生成融合哈希码,包括根据以下公式获取融合哈希特征:
【专利技术属性】
技术研发人员:李祎,郭艳卿,付海燕,李梦栾,
申请(专利权)人:大连理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。