基于标签增强的监督多模态哈希检索方法及系统技术方案

技术编号:40316579 阅读:14 留言:0更新日期:2024-02-07 20:59
本发明专利技术公开了基于标签增强的监督多模态哈希检索方法及系统,属于人工智能及多媒体检索技术领域,本发明专利技术要解决的技术问题为如何更好地捕获多模态数据点之间的相似性信息,并在多模态检索任务中获得更好的性能和准确性,技术方案为:数据预处理:获取并整理图像模态和文本模态的公共数据集,并将每个公共数据集划分为训练数据集、测试数据集和检索数据集;提取数据深度特征:通过预训练网络模型分别对图像模态和文本模态的公共数据集的原始数据进行特征提取,获取图像模态深度特征以及文本模态深度特征;离线训练;变量更新优化;在线查询。该系统包括数据预处理单元、特征提取单元、离线训练单元、变量更新优化单元及在线查询单元。

【技术实现步骤摘要】

本专利技术涉及人工智能及多媒体检索,具体地说是一种基于标签增强的监督多模态哈希检索方法及系统


技术介绍

1、随着通信技术的革命性进步和互联网的广泛普及,人们可以通过多样化的在线平台和应用程序,轻松实现包括图片、音频、视频等多媒体数据的上传、下载和分享。然而,在实际应用中,随着多媒体数据的数据规模和数据量的不断增大,用户对于能够处理多种模态的相似度搜索技术的需求日益迫切。多模态哈希技术为处理大规模多媒体数据提供了一种前沿、有效的解决方案。这种技术可以将高维多模态特征转化为紧凑的二值哈希码,实现了高效的数据存储。同时,通过哈希码间的异或运算,可以快速、准确地实现相似性检索,极大提升了检索效率。多模态哈希技术具有广阔的应用前景,特别是在多媒体数据处理领域,为解决大规模数据的相似度搜索问题提供了新的思路。

2、现有的多模态哈希方法主要集中于无监督和监督两种学习方式。无监督多模态哈希方法主要利用数据间的相似性来学习哈希函数。无监督多模态哈希方法在处理无标签数据时具有较大的灵活性,但可能无法充分利用已有的标签信息来提高检索精度。监督多模态哈希方法则利用已本文档来自技高网...

【技术保护点】

1.一种基于标签增强的监督多模态哈希检索方法,其特征在于,该方法具体如下:

2.根据权利要求1所述的基于标签增强的监督多模态哈希检索方法,其特征在于,数据预处理具体如下:

3.根据权利要求1或2所述的基于标签增强的监督多模态哈希检索方法,其特征在于,提取数据深度特征具体如下:

4.根据权利要求3所述的基于标签增强的监督多模态哈希检索方法,其特征在于,离线训练具体如下:

5.根据权利要求4所述的基于标签增强的监督多模态哈希检索方法,其特征在于,变量更新优化是通过交替优化方法获取用于监督哈希码学习的增强标签矩阵用于将第v个模态的非线性嵌入映射到...

【技术特征摘要】

1.一种基于标签增强的监督多模态哈希检索方法,其特征在于,该方法具体如下:

2.根据权利要求1所述的基于标签增强的监督多模态哈希检索方法,其特征在于,数据预处理具体如下:

3.根据权利要求1或2所述的基于标签增强的监督多模态哈希检索方法,其特征在于,提取数据深度特征具体如下:

4.根据权利要求3所述的基于标签增强的监督多模态哈希检索方法,其特征在于,离线训练具体如下:

5.根据权利要求4所述的基于标签增强的监督多模态哈希检索方法,其特征在于,变量更新优化是通过交替优化方法获取用于监督哈希码学习的增强标签矩阵用于将第v个模态的非线性嵌入映射到共同的哈希码空间的正交旋转矩阵uv、用于高效检索的二值哈希码b以及用于增强语义相似性保留并融合不同模态间的互补特征的转换矩阵c;具体如下:

6.根据权利要求5所述的基于标签增强的监督多模态哈希检索方法,其特征在于,在线...

【专利技术属性】
技术研发人员:郑超群李雅芳左瑞帆鹿文鹏
申请(专利权)人:齐鲁工业大学山东省科学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1