用于零样本图像哈希的语义提示引导方法及装置制造方法及图纸

技术编号:46619081 阅读:0 留言:0更新日期:2025-10-14 21:14
本发明专利技术公开一种用于零样本图像哈希的语义提示引导方法及装置,属于信息检索技术领域。所述方法包括:获取待识别图像的语义属性提示矩阵和视觉表征矩阵;其中,所述语义属性提示矩阵基于待识别图像的文本图像属性得到;基于语义属性提示矩阵和视觉表征矩阵,生成文本视觉融合嵌入矩阵;其中,所述文本视觉融合嵌入矩阵中的元素表示第i个图像中具有第a个文本图像属性的置信度;通过计算每一元素的哈希码,得到所述待识别图像的哈希码。本发明专利技术可以获得对未知类更精确的标签预测。

【技术实现步骤摘要】

本专利技术属于信息检索,具体涉及一种用于零样本图像哈希的语义提示引导方法及装置


技术介绍

1、图像哈希技术因其在多媒体检索、基于内容的图像和文档搜索中的高效率而受到广泛关注。具体来说,哈希可以将高维数据映射为紧凑的二进制编码,以在二进制汉明空间中进行高效搜索,从而实现更短的检索时间和更少的计算开销。

2、在大数据时代,网络图像的爆炸式增长带来了一些新的概念,而传统的哈希算法无法将未知的数据推广到他们从未观察到的新类别。进来,研究人员关注零样本哈希(zero-shot hashing,zsh)。视觉属性在流行的图像数据集中普遍存在,它描述了不同类之间共享的对象的区分性视觉属性。由于其在分布外样本中具有强大的识别表征能力,因此广泛用于捕获零样本学习(zero-shot learning,zsl)任务中已知和未知概念的相似性。相比之下,zsh任务中的学习有区别的视觉特征,同时进行有效的视觉语义交互很少被探索。

3、尽管在利用视觉属性建立视觉属性、图像特征、类标签和二进制哈希编码之间的联系已经取得了相当大的成功,但仍然存在紧迫的局限性。首本文档来自技高网...

【技术保护点】

1.一种用于零样本图像哈希的语义提示引导方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于语义属性提示矩阵和视觉表征矩阵,生成文本视觉融合嵌入矩阵,包括:

3.一种用于零样本图像哈希的语义提示引导装置,其特征在于,所述装置包括:

4.根据权利要求3所述的装置,其特征在于,所述特征处理模块还用于:

5.根据权利要求3所述的装置,其特征在于,训练所述语义提示引导装置的过程包括:

6.根据权利要求5所述的装置,其特征在于,所述MLM损失其中,N是属性提示的数量,θ表示文本编码器的参数,ti是位置i处被...

【技术特征摘要】

1.一种用于零样本图像哈希的语义提示引导方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于语义属性提示矩阵和视觉表征矩阵,生成文本视觉融合嵌入矩阵,包括:

3.一种用于零样本图像哈希的语义提示引导装置,其特征在于,所述装置包括:

4.根据权利要求3所述的装置,其特征在于,所述特征处理模块还用于:

5.根据权利要求3所述的装置,其特征在于,训练所述语义提示引导装置的过程包括:

6.根据权利要求5所述的装置,其特征在于,所述mlm损失其中,n是属性提示的数量,θ表示文本编码器的参数,ti是位置i处被屏蔽的原始标记,t\i表示序列中的其他标记,p(ti|t\i)是...

【专利技术属性】
技术研发人员:龙晴晴李鹏江王鹏飞陈昊天周园春王学志孟珍
申请(专利权)人:中国科学院计算机网络信息中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1