基于卷积神经网络的无监督哈希快速图片检索系统及方法技术方案

本发明专利技术提出一种基于卷积神经网络的无监督哈希快速图片检索系统及方法。该系统及方法利用现有的哈希算法结构，基于数据增强技术提出了一个高效的无监督哈希模型用于快速图像检索领域。通过数据增强方法，为无标签数据构建三元组训练样本，通过三元组损失函数、最小量化误差损失函数和最大熵损失函数驱使网络充分利用每张图片的信息，学习到一系列更具有表达能力的参数以提高快速图片检索的准确性。本发明专利技术是一种能够利用无标签数据学习网络的哈希快速图片检索方法，利用数据增强构建表达能力更强的三元组训练样本训练网络，显著提升了快速图片检索的准确性。

Unsupervised hash fast picture retrieval system and method based on convolutional neural network

The invention provides an unsupervised hash fast picture retrieval system and a method based on a convolution neural network. The system and method propose an efficient unsupervised hash model for fast image retrieval using existing hashing algorithms and data enhancement techniques. Enhancement method by data as unlabeled data to construct three tuple driven network training samples, make full use of each picture information through the three tuple loss function, the minimum quantization error loss function and the maximum entropy loss function, learning to a series of more expressive parameters in order to improve the accuracy of fast image retrieval. The invention relates to a fast image hash can use unlabeled data to learn network retrieval method, enhance the building more powerful group of three training samples to train the network using data, significantly improves the accuracy of fast image retrieval.

【技术实现步骤摘要】
基于卷积神经网络的无监督哈希快速图片检索系统及方法
本专利技术涉及计算机视觉和图像处理领域，具体地，涉及一种基于卷积神经网络的无监督哈希快速图片检索系统及方法。
技术介绍
随着现有多媒体内容的爆炸性增长，如何加快图像检索速度受到了广泛的关注。哈希作为一个可以通过多个映射方程将一个高维的特征向量转换为一个紧凑的并且表达能力强的二进制码的算法，在快速图像检索领域取得了不小的成功。近几年来，随着深度卷积神经网络的快速发展，许多的基于卷积神经网络的哈希算法被提出并且展示了巨大的前景。特别地，由于现有的有标签数据的缺乏和以及标记图片所需的人力物力，基于无标签数据的无监督哈希算法得到了广泛的关注。最早的无监督哈希算法主要是基于限制波尔兹曼机(RBMs)的编码算法。然而，RBMs的训练过程是很复杂的而且需要进行预训练，从而使得RBMs在实际应用中并不是很有效的。最近，数据增强技术也被用来增强深度网络的表达能力，并且实现了至今为止最好的检索效果。在利用数据增强技术中，K.Lin等人通过对训练图片进行不同程度的旋转并且通过最小化参考图片和旋转图片所对应的哈希码的距离来学习一个深度网络用来产生输入图片的哈希码。然而，仅仅优化参考图片和旋转图片之间的旋转不变性意味着对整个网络的学习过程来讲只提供了训练正样本，从而并不能保证学习到的模型可以针对不同的图片产生具有辨识能力的二进制哈希码。目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。
技术实现思路
针对现有技术中存在的上述不足，本专利技术的目的是提供一种基于卷积神经网络的无监督哈希快速图片检索系统及方法，以解决现有方法中训练数据不平衡以及训练不协调的问题。为实现上述目的，本专利技术是通过以下技术方案实现的。根据本专利技术的一个方面，提供了一种基于卷积神经网络的无监督哈希快速图片检索系统，包括如下模块：无监督训练数据模块，用于基于无标签训练原始图片，构建三元组训练样本；构建卷积神经网络模块，用于将三元组训练样本输入至现有的深度卷积神经网络，训练适合图片检索任务的卷积神经网络；计算图片距离模块：用于计算三元组训练样本内各图片之间的距离；无监督学习模块，用于优化卷积神经网络以供图片检索，根据计算图片距离模块计算得出的图片距离，通过三元组损失函数模块、最小量化误差模块以及最小量化误差模块优化卷积神经网络参数；三元组损失函数模块：用于控制同类图片与不同类图片经过哈希映射后的距离差别；最小量化误差模块，用于降低图片检索在图片特征向量量化前后的误差值，以便在加快图片检索速度的同时保持图片检索的准确性；最大信息熵模块，用于增大图片特征向量所携带的信息量，以增强图片特征向量的表达能力，提升图片检索的准确性；图片特征提取及相似度计算模块，用于把训练好的卷积神经网络投入实际图片检索任务中，通过学习到的卷积神经网络提取输入图片对应的二进制哈希码并经过相似度计算模块筛选出最相似的图片。优选地，所述构建卷积神经网络模块通过将现有的深度卷积神经网络的损失层去掉，替换成无监督学习模块、最小量化误差模块和最大信息熵模块，并在损失层前面加入哈希映射模块，将三元组训练样本输入至深度卷积神经网络，训练适合图片检索任务的卷积神经网络。根据本专利技术的另一个方面，提供了一种基于卷积神经网络的无监督哈希快速图片检索方法，包括以下步骤：步骤S1，将训练原始图片p经过不同角度的旋转得到旋转图片p+，再任意选择一张随机匹配图片p-，从而构成一个三元组训练样本(p,p+,p-)；步骤S2，将现有的深度卷积神经网络f转换成图片检索所需的卷积神经网络f″；步骤S3，将步骤S1中得到的三元组训练样本(p,p+,p-)分别先缩放再裁剪后，输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中；步骤S4，利用三元组损失函数、最小量化误差损失函数和最大熵损失函数对卷积神经网络f″进行反向传播训练更新卷积神经网络f″中的网络参数；步骤S5，对一张新来的访问图片q，输入至卷积神经网络f″中，并将图片q的图像特征向量输出值进行量化得到对应的二进制哈希码H(q)；步骤S6，计算哈希码H(q)与本地数据库中所有的哈希码的汉明距离并进行排序，认为汉明距离越小的两个二进制码对应的图片越相似，并通过哈希码H(q)与本地数据库中每个哈希码的汉明距离排序挑选出相似度最高的图片作为检索到的图片。优选地，步骤S1具体包括以下步骤：对所有给出的无标签训练原始图片p，分别顺时针旋转5°、顺时针旋转10°、逆时针旋转5°和逆时针旋转10°，使得每张训练原始图片p都有四张不同的旋转图片p+，再对每一张训练原始图片p随机匹配一张图片p-，这样就构建了训练所需的三元组训练样本(p,p+,p-)。优选地，步骤S2包括如下子步骤：步骤S21，对现有的深度卷积神经网络f进行修改，去掉深度卷积神经网络f最后的损失层，形成初步卷积神经网络f′；步骤S22，构建哈希映射模块，即在初步卷积神经网络f′的最后按顺序加入一层全连接层和一层激活函数层，构成图片检索所需的卷积神经网络f″。优选地，步骤S3具体包括如下步骤：三元组训练样本(p,p+,p-)分别先缩放到256像素×256像素大小，再随机从中裁剪224像素×224像素大小的部分，输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中。优选地，步骤S4具体包括如下子步骤：步骤S41，将步骤S1中得到的三元组训练样本(p,p+,p-)分别送入到卷积神经网络f″，得到三元组训练样本中的每张图片所对应的图片特征向量f(p)，f(p+)，f(p-)；步骤S42，计算训练原始图片p与旋转图片p+之间的距离D(p,p+)＝‖f(p)-f(p+)‖2；计算训练原始图片p与训练原始图片p-之间的距离D(p,p-)＝‖f(p)-f(p-)‖2；步骤S43，利用步骤S42中得到的三元组训练样本中图片之间的距离，整个卷积神经网络f″通过三元损失函数loss(D(p,p+),D(p,p-))、最小量化误差损失函数lossmq和最大信息熵损失函数lossme更新网络参数；其中：所述三元损失函数loss(D(p,p+),D(p,p-))为：loss(D(p,p+),D(p,p-))＝max{0,m+D(p,p+)2-D(p,p-)2}；m表示一个超参数，用来控制同类图片与不同类图片经过哈希映射后的距离差别；所述最小量化误差损失函数lossmq为：所述最大信息熵损失函数lossme为：M是哈希码的长度，N是训练样本的个数，μm是所有训练样本对应的二进制哈希码的第m维的平均值，hn(m)是第n个训练样本对应的二进制哈希码的第m维的值；步骤S44，通过门槛函数对卷积神经网络f″输出的图片特征向量进行量化，门槛函数的量化规则为：优选地，步骤S22中，加入的全连接层中神经元的个数等于三元组训练样本中的每张图片所对应的哈希码的比特数。优选地，在步骤S43中：利用三元组损失函数，使得训练原始图片p与旋转图片p+映射到哈希空间中的距离尽可能近，而训练原始图片p与随机匹配图片p-映射到哈希空间中的距离尽可能远；针对量化误差问题，设计最小量化误差损失函数来控制深度卷积神经网络f的输出，使得网络的输出尽可能的分布在0和1的附近，从而保证图片特征量化前后检索效率的本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的无监督哈希快速图片检索系统，其特征在于，包括如下模块：无监督训练数据模块，用于基于无标签训练原始图片，构建三元组训练样本；构建卷积神经网络模块，用于将三元组训练样本输入至现有的深度卷积神经网络，训练适合图片检索任务的卷积神经网络；计算图片距离模块：用于计算三元组训练样本内各图片之间的距离；无监督学习模块，用于优化卷积神经网络以供图片检索，根据计算图片距离模块计算得出的图片距离，通过三元组损失函数模块、最小量化误差模块以及最小量化误差模块优化卷积神经网络参数；三元组损失函数模块：用于控制同类图片与不同类图片经过哈希映射后的距离差别；最小量化误差模块，用于降低图片检索在图片特征向量量化前后的误差值，以便在加快图片检索速度的同时保持图片检索的准确性；最大信息熵模块，用于增大图片特征向量所携带的信息量，以增强图片特征向量的表达能力，提升图片检索的准确性；图片特征提取及相似度计算模块，用于把训练好的卷积神经网络投入实际图片检索任务中，通过学习到的卷积神经网络提取输入图片对应的二进制哈希码并经过相似度计算模块筛选出最相似的图片。

【技术特征摘要】
1.一种基于卷积神经网络的无监督哈希快速图片检索系统，其特征在于，包括如下模块：无监督训练数据模块，用于基于无标签训练原始图片，构建三元组训练样本；构建卷积神经网络模块，用于将三元组训练样本输入至现有的深度卷积神经网络，训练适合图片检索任务的卷积神经网络；计算图片距离模块：用于计算三元组训练样本内各图片之间的距离；无监督学习模块，用于优化卷积神经网络以供图片检索，根据计算图片距离模块计算得出的图片距离，通过三元组损失函数模块、最小量化误差模块以及最小量化误差模块优化卷积神经网络参数；三元组损失函数模块：用于控制同类图片与不同类图片经过哈希映射后的距离差别；最小量化误差模块，用于降低图片检索在图片特征向量量化前后的误差值，以便在加快图片检索速度的同时保持图片检索的准确性；最大信息熵模块，用于增大图片特征向量所携带的信息量，以增强图片特征向量的表达能力，提升图片检索的准确性；图片特征提取及相似度计算模块，用于把训练好的卷积神经网络投入实际图片检索任务中，通过学习到的卷积神经网络提取输入图片对应的二进制哈希码并经过相似度计算模块筛选出最相似的图片。2.根据权利要求1所述的基于卷积神经网络的无监督哈希快速图片检索系统，其特征在于，所述构建卷积神经网络模块通过将现有的深度卷积神经网络的损失层去掉，替换成无监督学习模块、最小量化误差模块和最大信息熵模块，并在损失层前面加入哈希映射模块，将三元组训练样本输入至深度卷积神经网络，训练适合图片检索任务的卷积神经网络。3.一种基于卷积神经网络的无监督哈希快速图片检索方法，其特征在于，包括以下步骤：步骤S1，将训练原始图片p经过不同角度的旋转得到旋转图片p+，再任意选择一张随机匹配图片p-，从而构成一个三元组训练样本(p,p+,p-)；步骤S2，将现有的深度卷积神经网络f转换成图片检索所需的卷积神经网络f″；步骤S3，将步骤S1中得到的三元组训练样本(p,p+,p-)分别先缩放再裁剪后，输入到三路并行的结构完全相同并且共享参数的卷积神经网络f″中；步骤S4，利用三元组损失函数、最小量化误差损失函数和最大熵损失函数对卷积神经网络f″进行反向传播训练更新卷积神经网络f″中的网络参数；步骤S5，对一张新来的访问图片q，输入至卷积神经网络f″中，并将图片q的图像特征向量输出值进行量化得到对应的二进制哈希码Η(q)；步骤S6，计算哈希码Η(q)与本地数据库中所有的哈希码的汉明距离并进行排序，认为汉明距离越小的两个二进制码对应的图片越相似，并通过哈希码Η(q)与本地数据库中每个哈希码的汉明距离排序挑选出相似度最高的图片作为检索到的图片。4.根据权利要求3所述的基于卷积神经网络的无监督哈希快速图片检索方法，其特征在于，步骤S1具体包括以下步骤：对所有给出的无标签训练原始图片p，分别顺时针旋转5°、顺时针旋转10°、逆时针旋转5°和逆时针旋转10°，使得每张训练原始图片p都有四张不同的旋转图片p+，再对每一张训练原始图片p随机匹配一张图片p-，这样就构建了训练所需的三元组训练样本(p,p+,p-)。5.根据权利要求3所述的基于卷积神经网络的无监督哈希快速图片检索方法，其特征在于，步骤S2包括如下子步骤：步骤S21，对现有的深度卷积神经网络f进行修改，去掉深度卷积神经网络f最后的损失层，形成初步卷积神经网络f′；步骤S22，构建哈希映射模块，即在初步卷积神经网络f′的最后按顺序加入一层全连接层和一层激活函数层，构...

【专利技术属性】
技术研发人员：王延峰，张娅，黄杉杉，熊意超，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31