一种基于语义图进化的跨模态哈希检索方法技术

技术编号:38716195 阅读:15 留言:0更新日期:2023-09-08 14:59
本发明专利技术公开一种基于语义图进化的跨模态哈希检索方法,包括:根据第一预设样本中图像模态和文本模态的特征,设计图聚类目标函数;根据所述图聚类目标函数得到全局多模态相似度关系稀疏图矩阵;设计图像深度哈希网络和文本深度哈希网络,并设计深度学习损失函数,包括哈希码和原始特征之间的一致性损失函数以及特征分布目标函数。本发明专利技术使得哈希学习能够在示例之间获得丰富的语义关联,更真实、更合理地表达实例之间的连接关系,精心限制了哈希空间的分布。空间的分布。空间的分布。

【技术实现步骤摘要】
一种基于语义图进化的跨模态哈希检索方法


[0001]本专利技术涉及计算机
更具体地,涉及一种基于语义图进化的跨模态哈希检索方法。

技术介绍

[0002]跨模态哈希检索旨在搜索其他不同模态的相关结果以获取某一个模态的查询结果,例如,使用文本描述检索数据库中的相关图片。这个领域的关键挑战是尽可能多地保存原始数据的相似信息,减少模态的异构信息带来的差异性。随着多媒体数据的爆炸式增长,哈希技术将相似样本原有的连续特征编码到具有相似二进制代码的公共哈希空间中,由于其存储量少、汉明距离计算复杂度低、检索速度快等优点被广泛应用于跨模态检索技术中。跨模态哈希检索的第一步是特征提取。该过程旨在将数据的多模态特征。许多早期的方法使用浅层结构和手工特征都有一些相同的缺点,即不能很好地探索不同模态之间的非线性相关性,也不能很好地分离特征提取和哈希码学习过程。因此,这些方法在实际应用中可能无法获得令人满意的性能。随着当今深度哈希网络的广泛使用,一些深度模型使用深度哈希网络提取更多语义相关特征,这有助于在端到端训练模型中学习哈希码。这些方法共享一个称为双塔网络的公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义图进化的跨模态哈希检索方法,其特征在于,包括:根据第一预设样本中图像模态和文本模态的特征,设计图聚类目标函数;根据所述图聚类目标函数得到全局多模态相似度关系稀疏图矩阵;设计图像深度哈希网络和文本深度哈希网络,并设计深度学习损失函数,包括哈希码和原始特征之间的一致性损失函数以及特征分布目标函数。2.根据权利要求1中所述的方法,其特征在于,所述图聚类目标函数2.根据权利要求1中所述的方法,其特征在于,所述图聚类目标函数2.根据权利要求1中所述的方法,其特征在于,所述图聚类目标函数其中,m为第一预设样本的数量,为第一预设样本中图像模态的特征,为第一预设样本中文本模态的特征;为第一预设样本中单个图像模态或文本模态的相似度诱导矩阵,和分别为第一预设样本中图像模态的相似度诱导矩阵和文本模态的相似度诱导矩阵;S
iH
为第i个样本的特征向量,为使用高斯核定义第i个样本特征和第j个样本特征的相似度,为模态融合稀疏图矩阵,w
H
为相似度诱导矩阵的权重值,L是Z的拉普拉斯矩阵,为c个聚类中心特征向量组成的特征矩阵,1是元素全为1的列向量,λ1和λ2是损失平衡超参数,i=1,2,3......m,j=1,2,3......m;H∈{I,T},H表示模态属性,I为图像模态,T为文本模态,若图像模态和文本模态下存在含义相同且大小一致的变量,则使用H作为该变量上标来简化表达,表示两个模态下对该变量的定义或操作一致;||
·
||
F
为矩阵的Frobenius范数,||
·
||2为矩阵的2范数,tr(
·
)为矩阵的迹,trans(
·
)为矩阵或列向量的转置,c为预设的聚类中心数量。3.根据权利要求1所述的方法,其特征在于,所述根据第一预设样本中图像模态和文本模态的特征,设计图聚类目标函数包括根据第一预设样本中图像模态和文本模态的特征生成第一预设样本中图像模态和文本模态的相似度诱导矩阵;通过对所述图聚类目标函数的交替求解,得到全局多模态相似度关系稀疏图矩阵。4.根据权利要求1所述的方法,其特征在于,所述根据所述图聚类目标函数得到全局多模态相似度关系稀疏图矩阵包括使用交替求解的方式求解所述图聚类目标函数中的未知变量,得到模态融合稀疏图矩阵包括(1)固定Z,D,w
H
,更新S
H
,因此所述图聚类目标函数的最后一项是常数,所述图聚类目标函数简化为求解相似性诱导矩阵S
H
的子问题:
进一步,更新文本模态和图像模态的过程是独立的,可以通过以下方式更新每个模态下的相似度诱导矩阵S
H
::(2)固定Z,D,S,更新w
H
,所述图聚类目标函数简化为关于模态权重w
H
的子问题:(3)固定D,S,w
H
,更新Z,求解所述图聚类目标函数等价为求解关于模态融合稀疏图矩阵Z的子问题:Z的子问题:其中Z
i
表示Z中的第i行,并定义d
i
={d
i1
,d
i2
,...,d
im
};(4)固定Z,S,w
H
,更新D,所述图聚类目标函数简化为关于聚类中心的特征矩阵D的子问题5.根据权利要求1所述的方法,其特征在于,所述设计图像深度哈希网络和文本深度哈希网络包括图像深度哈希网络和文本深度哈希网络均由两层全连接层构成,并在连接层之间插入Leaky

Rule层和Batch

Norm层;训练时,从第一预设样本中选取第...

【专利技术属性】
技术研发人员:赵阳李小君
申请(专利权)人:北京电子工程总体研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1