基于自监督对抗哈希算法的大规模图像检索方法技术

本发明专利技术提供了一种基于自监督对抗哈希算法的大规模图像检索方法。本发明专利技术提出了一种新的哈希学习框架，称为自监督对抗哈希；该框架主要利用基于图像旋转的自监督相似度量和生成对抗网络来学习区分性哈希码。本发明专利技术的神经网络模型主要包括一个获取哈希码的编码器、一个生成伪图像的生成器和一个区分真假图像的判别器；设计一个由近似语义相似性损失、特征损失和对抗性损失组成的损失函数来保持图像和哈希码之间的相似性。通过在整个模型中加入自监督特征，忽略底层语义信息，保持高层语义信息；特别是对于短hash码，可以更好地维护图像的高层语义信息。实验结果表明，本发明专利技术提供的图像检索方法与现有的检索方法相比，具有更好的图像检索性能。

【技术实现步骤摘要】
基于自监督对抗哈希算法的大规模图像检索方法
本专利技术属于深度学习
，具体涉及一种基于自监督对抗哈希算法的大规模图像数据检索方法。
技术介绍
哈希算法由于其低的存储要求和高的搜索效率，在解决大规模图像检索问题方面受到越来越多的关注；且根据是否使用图像标签可分为有监督哈希和无监督哈希，通常有监督的哈希方法比无监督的哈希方法性能更好。然而，在大多数情况下，数据集中没有对图像有用的标签信息，手动标记需要大量人力。针对该问题，已经有不少研究者尝试了改进方法。例如，Gidaris等人提出了一种基于图像旋转的自监督方法；然而，这会导致旋转前后图像的特征表示不同。虽然Misra等人解决了这个问题，但是他们没有将原始空间中相似图像的相似矩阵映射到特征空间。随着深度学习的兴起，深度学习算法可分为两类：有监督学习和无监督学习。有监督学习算法以其较高的精度受到人们的青睐。然而，手工标记的标签不容易获得，而且需要大量人力资源。因此，近年来，无监督学习算法受到越来越多的关注。自监督学习是无监督学习中的一种流行选择，它的流行是不可避免的。在所有主流的有监督学本文档来自技高网...

【技术保护点】
1.一种基于自监督对抗哈希算法的大规模图像检索方法，其特征在于，包括以下步骤：/nS1：获取图像数据，包括训练集和测试集；/nS2：利用训练集，对编码器进行优化；/nS3：将测试集图像数据旋转后输入到S2优化后编码器中得到哈希码；/nS4：计算所述S3得到的哈希码与所述S2训练集的哈希码的汉明距离，并按从小到大排序，输出前k个检索结果，完成检索。/n

【技术特征摘要】
1.一种基于自监督对抗哈希算法的大规模图像检索方法，其特征在于，包括以下步骤：
S1：获取图像数据，包括训练集和测试集；
S2：利用训练集，对编码器进行优化；
S3：将测试集图像数据旋转后输入到S2优化后编码器中得到哈希码；
S4：计算所述S3得到的哈希码与所述S2训练集的哈希码的汉明距离，并按从小到大排序，输出前k个检索结果，完成检索。


2.如权利要求1所述的大规模图像检索方法，其特征在于，所述S2中：所述编码器使用类似于VGG19的结构，包括五个卷积层、两个完全连接层和一个哈希层；再添加一个全连接层；利用图像邻域结构之间的关系，即哈希码与语义相似度矩阵之间的关系，提出以下目标函数来学习哈希码，以接近投影空间中的原始数据分布：



其中，L是哈希码的长度，编码器用于生成哈希码优化ls使原始空间中的相似图像在映射到哈希空间时具有相似的哈希码。


3.如权利要求1所述的大规模图像检索方法，其特征在于，所述S2中的编码器优化具体包括：
S2-1：得到训练集图像的特征向量，计算图像之间的余弦距离并排序，得到相似性排名；
S2-2：分析所述相似性排名并设置阈值，得到相似度矩阵；
S2-3：将训练集图像旋转后输入到所述编码器中得到哈希码；
S2-4：将所述哈希码输入到生成器中得到伪图像；
S2-5：将所述伪图像和真实图像同时输入到判别器中进行对抗训练；
S2-6：根据目标函数对所述编码器、生成器和判别器均进行优化；所述优化后的编码器、生成器和判别器构成了自监督对抗哈希算法。


4.如权利要求3所述的大规模图像检索方法，其特征在于，所述S2-1具体为：对于数据库点借使用k近邻KNN方法，从VGG模型的pool5层中提取特征向量并计算它们之间的余弦距离，按从小到大的顺序排序，得到相似性排名。


5.如权利要求3所述的大规模图像检索方法，其特征在于，所述S2-2中：根据每个图像的余弦相似性，将K1范围设置为其邻域，即得到初始矩阵S1，S1计算如下：



其中，xi和xj为图像的特征向量，K1-NN为xi的K1个最近邻居，在S1的基础上，比较S1中相应的列，并使用构造S2，如下所示：



其中，K2-NN为xi的K...

【专利技术属性】
技术研发人员：曹媛，刘峻玮，桂杰，许晓伟，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37