【技术实现步骤摘要】
基于细粒度相似关系对比学习的哈希图像检索方法及网络
[0001]本专利技术属于图像处理
，涉及深度学习、图像检索技术，特别涉及基于细粒度相似关系对比学习的哈希图像检索方法及网络。
技术介绍
[0002]随着图像等社交数据的大量增长，进行快速的相似性搜索已成为大规模信息检索的最基本需求之一。哈希学习因其卓越的检索效率和较低的存储开销得到了广泛的关注，通过哈希学习，高维数据可以在不丢失其语义相似性的情况下转换为紧凑的二进制代码。目前哈希图像检索方法已经广泛应用在遥感图像检索、相似商品检索、监控图像人脸检索等多方面，推动了多领域的发展。
[0003]最近得益于对比学习这种自监督训练方法的发展，许多无监督哈希方法得到了很大的改进。基于对比学习的深度无监督哈希方法，通过约束模型对于同一图像的不同增强图像保持特征方面的一致性进行哈希编码的学习，由于其不依赖于有标签数据，适用范围广，已成为近两年研究的热点。
[0004]现有的基于对比学习的深度无监督图像哈希检索方法将图像作为一个整体来度量图像间的相似度，容易受到背景...
【技术保护点】
【技术特征摘要】
1.基于细粒度相似关系对比学习的哈希图像检索网络，其特征在于，包括两部分，分别是双层次相似关系保持模块和细粒度相似区域特征对比学习模块，所述双层次相似关系保持模块在全局和局部细粒度两个层面构建图像间的相似结构：以图像为单位，将全局特征映射成全局哈希编码，通过哈希编码间的余弦相似度构建全局相似结构，确定图像对之间的全局相似性；以图像块为单位，通过匹配图像块之间的细粒度特征相似度，构建图像对的局部细粒度相似结构，确定图像块之间的局部细粒度相似性；约束图像在全局相似度和局部细粒度相似度两个层次保持一致性，以学习出保持图像相似性的哈希编码；所述细粒度相似区域特征对比学习模块对来自同一图像的两张不同增强图像进行基于分块的共性区域特征互表达，降低不同增强图像正样本中的特征差异的影响，得到正样本监督信息，以学习出有图像判别性的哈希编码。2.根据权利要求1所述的基于细粒度相似关系对比学习的哈希图像检索网络，其特征在于，所述双层次相似关系保持模块包括ViT编码器、与ViT编码器结构相同的编码器、哈希网络，ViT编码器从两个输入图像中提取两组图像块特征，计算两组图像块特征之间的相似度，构造这两个输入图像之间的图像块相似度矩阵G；取图像块相似度矩阵G中每一行的最大值，共有n个行最大值，对行最大值取平均，对于一个包含N张图像的图像批，使用所有图像对之间的图像块相似度矩阵中行最大值取平均值的方法，构造局部细粒度相似矩阵；编码器对每个输入图像的图像块进行特征提取，得到对应的图像块特征，得到的图像块特征经过维度重塑和线性投影操作得到全局特征，经过哈希网络生成全局哈希编码，对于一个包含N张图像的图像批，通过计算两个图像对应的全局哈希编码的余弦相似度来确定两个图像之间的全局相似度，构造全局相似矩阵。3.根据权利要求1所述的基于细粒度相似关系对比学习的哈希图像检索网络，其特征在于，所述细粒度相似区域特征对比学习模块包括一个编码器、相似区域特征重加权模块和哈希网络，每个输入图像经过图像增强，生成增强图像对，增强图像对的图像块经过编码器提取相应的图像块特征，并通过相似区域特征重加权模块对特征重新加权得到保持局部细粒度相似性的调整后图像特征，调整后图像特征经过一个哈希网络得到哈希编码；对于一个包含N张图像的图像批，图像增强后将生成2N个增强图像，将增强图像得到的调整后图像特征对作为正样本对，剩余的2（N
‑
1）增强图像特征作为负样本对，进行局部细粒度相似性区域特征对比学习，得到有图像判别性的哈希编码。4.根据权利要求3所述的基于细粒度相似关系对比学习的哈希图像检索网络，其特征在于，所述相似区域特征重加权模块利用互注意力来寻找两个不同的增强图像之间相似的细粒度特征，然后对特征重新加权得到保持局部细粒度相似性的调整后图像特征。5.基于细粒度相似关系对比学习的哈希图像检索方法，其特征在于，包括：使用双层次相似关系保持模块进行双层次相似关系一致性保持学习的步骤，学习出保持图像相似性的哈希编码；使用细粒度相似区域特征对比学习模块进行细粒度相似区域特征对比学习的步骤，学习出有图像判别性的哈希编码。
6.根据权利要求5所述的基于细粒度相似关系对比学习的哈希图像检索方法，其特征在于，双层次相似关系一致性保持学...
【专利技术属性】
技术研发人员：黄磊，曹虎，王矶法，聂婕，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。