一种基于语义保护的紧凑的哈希码学习方法技术

本发明专利技术提供一种基于语义保护的紧凑的哈希码学习方法，先对数据集进行划分，得到测试样本集、训练样本集和图像库；然后构建深度哈希网络模型，在一般的卷积神经网络模型的最后一层全连接层添加一层隐含层(哈希层)，该层神经元个数为哈希码的长度，激活函数为tanh函数，并设计约束函数，保护图像的语义相似性，同时保证使得学习到的哈希码均匀分布且量化误差较小；接着通过训练好的模型提取查询图像和数据库图像的哈希码，并计算该图像的哈希码与数据库中所有图像的哈希码间的汉明距离；最后按照距离从小到大的顺序，对数据库中哈希码进行排序，顺序输出哈希码对应的原始图像，得到相似图像检索结果。本发明专利技术使得对大规模图像的检索更加准确有效。

【技术实现步骤摘要】
一种基于语义保护的紧凑的哈希码学习方法
本专利技术属于图像检索
，具体涉及一种基于语义保护的紧凑的哈希码学习方法，适用于大规模图像检索任务。
技术介绍
随着互联网、云计算、物联网等信息技术的迅速发展，以及移动数字媒体设备的普及，人们可以随时随地生产、分享、传播着各种信息，图像也成为人们获取信息的重要媒介之一，影响并改变着人们的生活。基于图像检索技术的商业应用也层出不穷，如百度识图、淘宝图像、谷歌引擎等。然而，海量的图像给数据的管理和分析带来了一定的困难，图像特征维度高、存储量大、检索速度慢等，是图像检索面临的一系列问题。如何快速而精准地从大规模图像中检索到用户需要的目标对象成为计算机视觉的研究热点之一，并有着广泛的商业应用。由于哈希特征存储空间小、检索效率等特性，基于哈希的最近邻搜索成为了大规模图像检索主流的选择。将原始空间中高维的数据通过哈希函数映射成低维的二进制哈希码，同时保证数据在汉明空间的表示尽可能地保持原空间中的近邻关系，可以有效降低大数据环境下的存储空间，并提高查询分析效率。按照是否与数据有相关，哈希算法可以分为两类：数据无关性哈希和数据相关性哈希。数据无关性哈希算法的映射函数是人工设计或者随机生成的；数据相关性哈希算法根据数据结构和标签等信息学习哈希函数，按照是否依赖标签信息，数据相关性哈希算法又可以分为无监督、半监督和有监督三类。数据无关性哈希算法采用随机映射的方法或人工设计哈希函数，如局部敏感哈希(LSH，Locality-sensitivehashing)、移动不变性核哈希(SIKL，Shiftinvariantkernelhashing)。由于哈希函数的设计没有考虑数据的结构和标签信息，造成数据在原始空间和汉明空间中语义上的差距。为了解决上述问题，数据相关性哈希算法被提出，包括无监督、半监督、有监督三类。该类算法目标是学习到依赖数据和针对具体任务的哈希函数，将数据编码成有效的、紧凑的、保护数据相似性的哈希码表示，如谱哈希(SH，SpectralHashing)、迭代量化哈希(ITQ，IterativeQuantization)、局部约束线性编码(LLC，Locality-constrainedLinearCoding)、图哈希(AGH，HashingwithGraph)、半监督哈希(SSH，Semi-supervisedhashing)、基于监督的核哈希算法(KSH，Kernel-basedsupervisedhashing)等。近年来，深度学习在计算机视觉等相关领域取得很好的实验及应用效果。深度学习的目标就是从复杂的数据中学习到健壮的、有丰富表达能力的语义信息，而哈希算法可以将高维的图像特征映射成低维的二进制码，实现高效的大规模检索任务，因此一些研究者便将深度卷积神经网络与哈希技术相结合，对深度哈希算法进行研究，同时学习图像的特征表示和二进制哈希码，并取得了很好的实验效果。但是由于二进制哈希码是离散值，无法直接使用梯度下降算法对深度神经网络进行训练和优化，现有的深度哈希算法的一般做法是，首先学习一组连续的实数值，然后采用sgn函数将实数值量化成二进制码，这种分步量化的方法会导致量化误差较大，影响图像检索结果的精确度。在2017年ICCV会议中，清华大学发表的名为“HashNet:DeepLearningtoHashbyContinuation”论文提出一种基于连续的学习方法，可以直接学习二进制码。HashNet为降低量化误差提供了一种新的思路，直接学习二进制码，减少了分步量化的误差，但是没有考虑到二进制码均匀分布等问题。为了解决上述问题，本专利技术对基于HashNet对深度哈希算法进行研究并改进，进一步降低量化误差，同时保证二进制码均匀分布和保护图像的语义相似性。
技术实现思路
本专利技术要解决的技术问题为：克服现有技术的不足，提供一种基于语义保护的紧凑的哈希码学习方法，本专利技术要解决的技术问题为：克服现有的深度哈希技术的两个方面的不足：(1)首先学习一组连续的实数值，然后采用sgn函数将实数值量化成二进制码，这种分步量化的方法会导致量化误差较大；(2)没有考虑到二进制码均匀分布的问题。为了解决上述问题，本专利技术提出了一种基于语义保护的紧凑的哈希码学习方法，使用成对(pairs-wise)的图像对进行网络的训练，采用权重化的最大似然函数作为目标约束，并设计损失函数，使得学习到的哈希码均匀分布且量化误差较小。本专利技术包括以下步骤：第一步，划分数据集：采集图像并构建图像数据集，图像数据集中的每张图像，作为一个样本均包括对应的类别样本标签；将图像数据集分成两个部分，一部分作为测试样本集，另一部分作为图像数据库，并从所述图像数据库中随机抽取一小部分作为训练样本集，计算训练样本集中两两图像(即图像对)的样本类别标签之间的相似度；第二步，构建深度哈希网络模型：采用卷积神经网络，卷积神经网络由多个卷积层和全连接层组成，每个卷积层和全连接层都由多个神经元组成，前一层的输出作为后一层的输入，并由激活函数得到后一层的输出；在卷积神经网络的最后一层全连接层后添加一层隐含层即哈希层，从而构建深度哈希网络模型；所述哈希层神经元个数为哈希码的长度，激活函数采用双曲正切函数tanh，并设计约束函数，保护图像的语义相似性的同时，保证学习到的实数值接近1或者-1，从而降低了采用阶跃函数sgn将实数值量化成二进制哈希码时的信息损失，并保证学习到的实数值为1或者-1的概率相等，使得到的二进制哈希码均匀分布；第三步，将训练样本集中的图像对输入到深度哈希网络模型中，并在深度哈希网络模型中前向传播，计算损失；然后，采用反向传播算法调整深度哈希网络模型的参数，得到预训练好的深度哈希网络模型，并提取图像数据库中所有图像的哈希码；第四步，从测试样本集中选取任意一张图像，通过训练好的深度哈希网络模型提取所选图像的哈希码，然后计算所选图像的哈希码与图像数据库中图像的哈希码间的汉明距离；第五步，根据得到的汉明距离，按照距离从小到大的顺序，对图像数据库中图像哈希码进行排序，顺序输出哈希码对应的原始图像，最终得到图像检索结果。所述第一步中的划分数据集，具体如下：(1)图像数据集采用的是公开标准数据集MS-COCO，将图像数据集分成两个部分，分别是测试样本集和图像数据库，其中测试样本集为从图像数据集中随机选择的5000张图像，其余的图像作为图像数据库；(2)从图像数据库中随机抽取10000张图像作为训练样本集；(3)计算训练样本集两两样本类别标签之间的相似度。所述训练样本集两两样本类别标签之间的相似度的计算方法为：设xi和xj分别表示图像i和图像j，则xi和xj之间的相似度cij表示为：式中，yi和yj分别表示图像i和图像j的标签，yi∩yj表示yi和yj的交集，yi∪yj表示yi和yj的并集。所述第三步中，构建深度哈希网络模型具体如下：(1)从caffe官网上下载预训练好的AlexNet网络模型；(2)更改AlexNet网络模型结构，在AlexNet网络模型中最后一层全连接层后添加哈希层，并用tanh函数作为激活函数；(3)设计约束函数，保护图像的语义相似性，同时保证使得学习到的实数值尽可能为1或者-1，且为1或者-1的概率相等；所述步骤本文档来自技高网...

【技术保护点】
1.一种基于语义保护的紧凑的哈希码学习方法，其特征在于，包括以下步骤：第一步，划分数据集：采集图像并构建图像数据集，图像数据集中的每张图像，作为一个样本均包括对应的类别样本标签；将图像数据集分成两个部分，一部分作为测试样本集，另一部分作为图像数据库，并从所述图像数据库中随机抽取一小部分作为训练样本集，计算训练样本集中两两图像(即图像对)的样本类别标签之间的相似度；第二步，构建深度哈希网络模型：采用卷积神经网络，卷积神经网络由多个卷积层和全连接层组成，每个卷积层和全连接层都由多个神经元组成，前一层的输出作为后一层的输入，并由激活函数得到后一层的输出；在卷积神经网络的最后一层全连接层后添加一层隐含层即哈希层，从而构建深度哈希网络模型；所述哈希层神经元个数为哈希码的长度，激活函数采用双曲正切函数tanh，并设计约束函数，保护图像的语义相似性的同时，保证学习到的实数值接近1或者‑1，从而降低了采用阶跃函数sgn将实数值量化成二进制哈希码时的信息损失，并保证学习到的实数值为1或者‑1的概率相等，使得到的二进制哈希码均匀分布；第三步，将训练样本集中的图像对输入到深度哈希网络模型中，并在深度哈希网络模型中前向传播，计算损失；然后，采用反向传播算法调整深度哈希网络模型的参数，得到预训练好的深度哈希网络模型，并提取图像数据库中所有图像的哈希码；第四步，从测试样本集中选取任意一张图像，通过训练好的深度哈希网络模型提取所选图像的哈希码，然后计算所选图像的哈希码与图像数据库中图像的哈希码间的汉明距离；第五步，根据得到的汉明距离，按照距离从小到大的顺序，对图像数据库中图像哈希码进行排序，顺序输出哈希码对应的原始图像，最终得到图像检索结果。...

【技术特征摘要】
1.一种基于语义保护的紧凑的哈希码学习方法，其特征在于，包括以下步骤：第一步，划分数据集：采集图像并构建图像数据集，图像数据集中的每张图像，作为一个样本均包括对应的类别样本标签；将图像数据集分成两个部分，一部分作为测试样本集，另一部分作为图像数据库，并从所述图像数据库中随机抽取一小部分作为训练样本集，计算训练样本集中两两图像(即图像对)的样本类别标签之间的相似度；第二步，构建深度哈希网络模型：采用卷积神经网络，卷积神经网络由多个卷积层和全连接层组成，每个卷积层和全连接层都由多个神经元组成，前一层的输出作为后一层的输入，并由激活函数得到后一层的输出；在卷积神经网络的最后一层全连接层后添加一层隐含层即哈希层，从而构建深度哈希网络模型；所述哈希层神经元个数为哈希码的长度，激活函数采用双曲正切函数tanh，并设计约束函数，保护图像的语义相似性的同时，保证学习到的实数值接近1或者-1，从而降低了采用阶跃函数sgn将实数值量化成二进制哈希码时的信息损失，并保证学习到的实数值为1或者-1的概率相等，使得到的二进制哈希码均匀分布；第三步，将训练样本集中的图像对输入到深度哈希网络模型中，并在深度哈希网络模型中前向传播，计算损失；然后，采用反向传播算法调整深度哈希网络模型的参数，得到预训练好的深度哈希网络模型，并提取图像数据库中所有图像的哈希码；第四步，从测试样本集中选取任意一张图像，通过训练好的深度哈希网络模型提取所选图像的哈希码，然后计算所选图像的哈希码与图像数据库中图像的哈希码间的汉明距离；第五步，根据得到的汉明距离，按照距离从小到大的顺序，对图像数据库中图像哈希码进行排序，顺序输出哈希码对应的原始图像，最终得到图像检索结果。2.根据权利要求1所述的一种基于语义保护的紧凑的哈希码学习方法，其特征在于：所述第一步中的划分数据集，具体如下：(11)图像数据集采用的是公开标准数据集MS-COCO，将图像数据集分成两个部分，分别是测试样本集和图像数据库，其中测试样本集为从图像数据集中随机选择的5000张图像，其余的图像作为图像数据库；(12)从图像数据库中随机抽取10000张图像作为训练样本集；(13)计算训练样本集两两样本类别标签之间的相似度。3.根据权利要求1或2所述的一种基于语义保护的紧凑的哈希码学习方法，其特征在于：所述训练样本集两两样本类别标签之间的相似度的计算方法为：设xi和xj分别表示图像i和图像j，则x...

【专利技术属性】
技术研发人员：祝晓斌，王倩，张新明，李珊珊，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：北京,11