基于注意力的深度跨模态哈希检索方法、装置及相关设备制造方法及图纸

本发明专利技术实施例公开了基于注意力的深度跨模态哈希检索方法、装置及相关设备。该方法包括：获取图像模态样本、文本模态样本以及预置有注意力机制的哈希检索模型；通过所述哈希检索模型分别进行图像特征提取和文本特征提取，得到图像特征矩阵以及文本特征矩阵；根据图像特征矩阵以及文本特征矩阵计算图像哈希码和文本哈希码；基于所有图像哈希码以及所有文本哈希码，根据预设的哈希码损失函数分别计算图像哈希码损失和文本哈希码损失，优化所述哈希检索模型的模型参数，得到最优的哈希检索模型；通过最优的哈希检索模型进行哈希检索。该方法提高了检索速度及准确度。方法提高了检索速度及准确度。方法提高了检索速度及准确度。

【技术实现步骤摘要】
基于注意力的深度跨模态哈希检索方法、装置及相关设备


[0001]本专利技术实施例涉及检索
，尤其涉及一种深度跨模态哈希检索方法、装置及相关设备。

技术介绍

[0002]跨模态检索技术旨在根据已有的数据检索与之相匹配的不同模态的数据，例如通过文本信息在数据库中查找符合文字描述的图片信息。由于哈希码具有存储代价小，检索速度快等诸多优势，所以哈希方法也被广泛应用在跨模态检索任务中。
[0003]目前跨模态检索方法主要是使用深度神经网络来将特征学习和哈希学习结合起来。虽然加深网络的深度能有效的提高检索性能，但网络深度达到一定的深度之后就会出现网络退化、难以收敛等问题；另外由于不能分辨出网络中所提取特征的重要程度，这对检索模型的稳定性与性能提升造成了很大的障碍；同时现有技术方法中虽然包含各式对于跨模态哈希检索的损失优化方法，但并未能实现特征学习过程和哈希学习过程的有机衔接与高效复用。

技术实现思路

[0004]本专利技术实施例提供了一种基于注意力的深度跨模态哈希检索方法、装置及相关设备，旨在解决现有技术中对于检索数据的特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力的深度跨模态哈希检索方法，其特征在于，包括：获取图像模态样本、文本模态样本以及预置有注意力机制的哈希检索模型；通过所述哈希检索模型的残差网络模块及第一注意力模块对所述图像模态样本进行图像特征提取，得到图像特征矩阵；通过所述哈希检索模型的词袋模块及第二注意力模块提取所述文本模态样本的特征，得到文本特征矩阵；通过所述哈希检索模型的哈希层分别计算并存储所述图像特征矩阵及文本特征矩阵对应的哈希码，得到图像哈希码和文本哈希码；分别基于所有图像哈希码以及所有文本哈希码，根据预设的哈希码损失函数分别计算图像哈希码损失和文本哈希码损失，并根据图像哈希码损失和文本哈希码损失优化所述哈希检索模型的模型参数，得到最优的哈希检索模型；获取检索数据，并通过最优的哈希检索模型输出所述检索数据的检索哈希码，所述检索数据的模态为图像模态或文本模态；根据所述检索哈希码，从存储有与所述检索数据不同模态的存储数据中确定检索结果。2.根据权利要求1所述的深度跨模态哈希检索方法，其特征在于，所述通过所述哈希检索模型的残差网络模块及第一注意力模块对所述图像模态样本进行图像特征提取，得到图像特征矩阵包括：通过所述残差网络模块对所述图像模态样本进行特征提取，得到第一图像特征；利用所述第一注意力模块对所述第一图像特征进行特征提取，得到在预置个数的注意力通道中的注意力特征图像，并将各所述注意力通道中的注意力特征图像进行拼接，得到所述图像特征矩阵。3.根据权利要求1所述的深度跨模态哈希检索方法，其特征在于，所述通过所述哈希检索模型的词袋模块及第二注意力模块提取所述文本模态样本的特征，得到文本特征矩阵包括：通过所述词袋模块对所述文本模态样本进行词袋处理，得到词袋向量；将词袋向量输入配置有多通道的第二注意力模块进行特征提取，得到注意力特征矩阵，并将各个通道的注意力特征矩阵进行拼接，得到文本特征矩阵。4.根据权利要求1所述的深度跨模态哈希检索方法，其特征在于，所述损失函数由交叉熵损失函数和量化损失函数组成，所述交叉熵损失函数引入杰卡德相似系数。5.根据权利要求1所述的深度跨模态哈希检索方法，其特征在于，所述根据所述检索哈希码，从存储有与所述检索数据不同模态的存储数据中确定检索结果包括：计算所述存储数据的目标哈希码；计算所述检索哈希码与目标哈希码之间的汉明距离；按照汉明距离...

【专利技术属性】
技术研发人员：曹文明，柳兴华，曹桂涛，
申请(专利权)人：深圳大学，
类型：发明
国别省市：