一种基于频域解耦和视觉Mamba的深度哈希图像检索方法技术

本发明专利技术公开了一种基于频域解耦和视觉Mamba的深度哈希图像检索方法，主要涉及深度哈希图像检索领域；包括步骤：S1、将图像数据集及其所对应的类别标签信息分成训练集、测试集和检索集；S2、构建基于频域解耦和视觉Mamba的深度哈希图像检索架构；S3、训练模型；S4、将测试集和检索集图片输入模型；S5、计算哈希码与检索集哈希码之间的汉明距离；S6、将汉明距离向量中的数值排序；S7、重复S5与S6操作，得到测试集中每张图像的检索结果，计算平均检索精度评估模型性能；本发明专利技术实现了对特征的频域解耦，并自适应的增强不同层级特征信息所匮乏的频域分量，充分挖掘图像的底层语义信息，生成更加紧凑和强区分度的哈希码。

【技术实现步骤摘要】

本专利技术涉及深度哈希图像检索领域，具体是一种基于频域解耦和视觉mamba的深度哈希图像检索方法。

技术介绍

1、目前，现有的深度哈希图像检索框架通常都是将骨干网络提取到的图像深层特征直接作为哈希层的输入，或是利用额外的适配器优化深层特征，它们忽略了浅层特征与最终输出之间的联系，不利于网络全面把握图像的全局语义信息，导致最终得到的哈希码无法有效保持图像原有高维空间的相似结构；其次这些适配器大多使用类自注意力模块构建，因此增加了不可忽略的计算和存储开销，且这些注意力模块高度依赖cnn或是transformer网络，因此其迁移学习的效果在性能上表现并不理想；最后，以往的工作通常使用成对损失或是三元组损失来进行相似度度量学习，由于它们一次只能拉近或推远一组正负样本，因此只能局部地捕捉数据的相似性，需要通过反复多轮的学习才能得到合适的哈希函数，学习效率低下。此外，由于它们对图像类别的固有标签的忽视，面对多类别的复杂应用场景，往往无法准确区分哪些是需要关注的目标而导致最后生成的图像哈希码错误地倾向于某个类。

技术实现思路

<本文档来自技高网...

【技术保护点】

1.一种基于频域解耦和视觉Mamba的深度哈希图像检索方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于频域解耦和视觉Mamba的深度哈希图像检索方法，其特征在于，步骤S2中，基于频域解耦和视觉Mamba的深度哈希图像检索架构包括四个特征提取阶段，每个阶段提取到图像不同层次的特征，在每个阶段之外设置一个自适应频域解耦增强模块，每个自适应频域解耦增强模块选用不同的离散余弦变换滤波器解耦特征的频域分量增强弱频信息。

3.根据权利要求2所述的一种基于频域解耦和视觉Mamba的深度哈希图像检索方法，其特征在于，步骤S2中，自适应频域解耦增强模块的二维离散余弦变...

【技术特征摘要】

1.一种基于频域解耦和视觉mamba的深度哈希图像检索方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于频域解耦和视觉mamba的深度哈希图像检索方法，其特征在于，步骤s2中，基于频域解耦和视觉mamba的深度哈希图像检索架构包括四个特征提取阶段，每个阶段提取到图像不同层次的特征，在每个阶段之外设置一个自适应频域解耦增强模块，每个自适应频域解耦增强模块选用不同的离散余弦变换滤波器解耦特征的频域分量增强弱频信息。

3.根据权利要求2所述的一种基于频域解耦和视觉mamba的深度哈希图像检索方法，其特征在于，步骤s2中，自适应频域解耦增强模块的二维离散余弦变换公式为：

4.根据权利要求3所述的一种基于频域解耦和视觉mamba的深度哈希图像检索方法，其特征在于，步骤s2中，沿主对角线将滤波器等距离划分为m个区域，m的值与特征提取骨干网络的阶段数相等，首先设置m个二值掩码矩阵ms∈rh×w，其中s＝1,2,…,m，对于每个阶段需增强的区域以左上角顶点为上界，随着阶段数增加，下界逐渐向右下角移动，每次移动主对角线的距离，将此区域内的元素值设置为1，其他区域数值设置为0，二值掩码矩阵表示为：

5.根据权利要求4所述的一种基于频域解耦和视觉mamba的深度哈希图像检索方法，其特征在于，在对前一阶段特征进行频域增强...

【专利技术属性】
技术研发人员：程述立，陈佳仪，汪烈军，李永明，杜安钰，邹强，
申请(专利权)人：新疆大学，
类型：发明
国别省市：