一种基于极少训练样本的深度图像哈希方法技术

本发明专利技术提供一种基于极少训练样本的深度图像哈希方法，该方法在已有的传统哈希方法的和基于深度学习的哈希方法都是在大量训练样本的前提下来进行设计的，而在真实的生产环境中，得到大量标记训练样本的成本很高，所以在在极少训练样本下，如果能得到一个效果相对较好的图像哈希模型是具有非常大的实用价值的。

【技术实现步骤摘要】
一种基于极少训练样本的深度图像哈希方法
本专利技术涉及图像检索和计算机视觉领域，更具体地，涉及一种基于极少训练样本的深度图像哈希方法。
技术介绍
近年来，随着大数据和信息技术突飞猛进的发展，每一天产生的图像数据无法估计，如何在这浩瀚的图像数据中搜索到自己想要的图像显的尤为重要。同时信息检索技术也得很大的发展和应用，在信息检索领域中比较重要的技术之一就是图像哈希。对于图像哈希技术来说，从实现角度上可分为传统图像哈希和基于深度学习的图像哈希(deephashing)。近年来，随着深度学习的飞速发展，深度哈希已经成为了目前最领先的图像哈希方法。深度哈希模型具有强大的表征能力，同时需要大量的训练样本来学习整个深度神经网络。但是在现实环境中，往往很难得到大量的训练样本，因此就出现了一个问题：当某些训练样本很少的时候，该如何设计一个效果相对较好的哈希模型？这就是专利技术专利要解决的问题，因此提出了一种从已有先验知识中学习极少新样本的深度哈希方法(few-shothashing)。
技术实现思路
本专利技术提供一种可得到一个效果相对较好的图像哈希模型基于极少训练样本的深度图像哈希方法。为了达到上述技术效果，本专利技术的技术方案如下：一种基于极少训练样本的深度图像哈希方法，包括以下步骤：S1：任务定义及数据划分；S2：构建triplet-based通用深度哈希模型；S3：基于通用深度哈希模型构建支持记忆体；S4：通过双向长短期记忆子网络和支持记忆体学习极少样本的特征表示；S5：训练极少样本下的深度图像哈希模型，并对极少样本的测试集进行检索测试。进一步地，所述步骤S1的具体过程是：S11：以cifar100数据集为例，给出few-shothashing的具体定义。将cifar100划分为2部分，第一部分有80类，每一类有充足的500张训练图片，记作S(supportset)；另外一部分有20类，每一类只有少量的3张(或者5张、10张..)训练样本，该部分记作L(learningset)。的目的是训练一个深度哈希模型，使得属于这20类的图片能够在整个100类的图像数据库里进行相对有效的检索。进一步地，所述步骤S2的具体过程是：S21：针对深度图像哈希的任务，首先需要构建特征学习子网络，即深度卷积网络(CNN)。卷积网络由卷积层、激活层和池化层堆叠而成，具有强大的特征表达能力；S22：经过卷积子网络后，每一张图片转换为一个语义特征向量，然后，特征向量后面加一个输出神经元数量为q的全连接层和相应的sigmod激活函数层。这样，每一个图像就转换为q维的、范围在0～1之间的实数向量，即哈希向量；S23：得到哈希向量后，通过三元组损失函数(tripletrankingloss)进行约束，三元组损失函数的目的就通过学习，让相似图片的近似哈希向量之间的距离要远远小于不相似图片的哈希向量之间的距离；S24：训练triplet-based的通用深度哈希网络，得到通用深度哈希模型。进一步地，所述步骤S3的具体过程如下：S31：从前面任务定义中，的数据集有2部分，一部分是S(supportset),另一部分是关心的、也是训练样本极少的L(learningset)，S中每一类有充足的训练样本，可以对应于已经见过或者学习过的事物；L中训练样本很少，对应于新见到的事物；S32：用训练好的triplet-based通用深度哈希模型对S的样本进行特征提取。具体为：将样本I[i][j](1≤i≤s,1≤j≤n,s为S的种类数，n为每一类的样本数)依次输入到通过深度哈希模型,得到每一张图片的语义维特征；S33：将所有的特征排列为M[i][j]，具体为:每一行i相同，表示该行的特征向量属于同一类，不同列表示该类第j个样本特征向量，M,即为的支持记忆体(supportmemory)；进一步地，所述步骤S4的具体过程如下：S41：在每一个迭代中,支持会按照指定顺序对每一类特征弹出一个特征向量，记作ft，1≤t≤s。S42：双向长短期记忆子网络(BLSTM)的正向和反向展开为s个timestep。S43：令fl作为双向长短期记忆子网络的时不变(non-time-varying、static)的输入xstatic，令ft作为双向长短期记忆子网络的时变(time-varying)的输入xt；S44：经过双向长短期记忆子网络和支持记忆体的交互，得到极少新样本的最终特征表示S45：对新的特征表示用三元组损失函数进行约束。进一步地，所述步骤S5的具体过程如下：S51：用随机梯度下降的方法对整个网络进行训练。S52：L的测试集在整个图像数据库中进行检索，并计算测试结果。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术在已有的传统哈希方法的和基于深度学习的哈希方法都是在大量训练样本的前提下来进行设计的，而在真实的生产环境中，得到大量标记训练样本的成本很高，所以在在极少训练样本下，如果能得到一个效果相对较好的图像哈希模型是具有非常大的实用价值的。附图说明图1为triplet-based通用深度哈希网络示意图；图2为本专利技术的整体网络结构图；图3为双向长短期记忆子网络网络结构图；图4为SUN数据集上的NDCG实验结果；图5为CIFAR-10数据集上的NDCG实验结果；图6为CIFAR-100数据集上的NDCG实验结果。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1下面结合附图和实施例对本专利技术的技术方案做进一步的说明。1、任务定义及数据划分深度神经网络在一个新的训练样本到来时，会从头到尾更新整个网络，如果新的训练样本很少，则必然会发生过拟合，效果变的很差。但是发现，当人类看到新事物的时候，往往会联想到之前看到过的事物，比如一个孩子第一次看到老虎，他可能从记忆中搜索，发现这个新事物与之前经常见过的猫很相似，所以，他见过老虎一次，可能就记住了老虎的样子。从中受到启发，并且应用到了图像哈希问题上：如果某些事物的训练图片非常少，比如每一类只有3张、5张，可以能通过已有的其他事物的大量样本去学习一个“先验知识”(priorknowledge)或者是“支持记忆”(supportmemory)，然后从这些先验知识中去学习新样本，称之为few-shothashing。下面以cifar100数据集为例，给出few-shothashing的具体定义。将cifar100划分为2部分，第一部分有80类，每一类有充足的500张训练图片，记作S(supportset)；另外一部分有20类，每一类只有少量的3张(或者5张、10张..)训练样本，该部分记作L(learningset)。的目的是训练一个深度哈希模型，使得属于这20类的图片能够在整个100类的图像数据库里进行相对有效的检索。2、构建triplet-based通用深度哈希模型深度哈希模型广泛应用在图像检索领域，如“以图搜图”，“淘宝相似商品查找”等等。而且，深度哈希模型是few-shothashing模型的基础部分，所以首先来阐述本文中本文档来自技高网...

【技术保护点】
1.一种基于极少训练样本的深度图像哈希方法，其特征在于，包括以下步骤：S1：任务定义及数据划分；S2：构建triplet‑based通用深度哈希模型；S3：基于通用深度哈希模型构建支持记忆体；S4：通过双向长短期记忆子网络和支持记忆体学习极少样本的特征表示；S5：训练极少样本下的深度图像哈希模型，并对极少样本的测试集进行检索测试。

【技术特征摘要】
1.一种基于极少训练样本的深度图像哈希方法，其特征在于，包括以下步骤：S1：任务定义及数据划分；S2：构建triplet-based通用深度哈希模型；S3：基于通用深度哈希模型构建支持记忆体；S4：通过双向长短期记忆子网络和支持记忆体学习极少样本的特征表示；S5：训练极少样本下的深度图像哈希模型，并对极少样本的测试集进行检索测试。2.根据权利要求1所述的基于极少训练样本的深度图像哈希方法，其特征在于，所述步骤S1的具体过程是：以cifar100数据集为样本，将cifar100划分为2部分，第一部分有80类，每一类有充足的500张训练图片，记作S；另外一部分有20类，每一类只有少量的3张或者5张、10张训练样本，该部分记作L，目的是训练一个深度哈希模型，使得属于这20类的图片能够在整个100类的图像数据库里进行相对有效的检索。3.根据权利要求2所述的基于极少训练样本的深度图像哈希方法，其特征在于，所述步骤S2的具体过程是：S21：针对深度图像哈希的任务，首先需要构建特征学习子网络，即深度卷积网络，卷积网络由卷积层、激活层和池化层堆叠而成，具有强大的特征表达能力；S22：经过卷积子网络后，每一张图片转换为一个语义特征向量。然后，特征向量后面加一个输出神经元数量为q的全连接层和相应的sigmod激活函数层，每一个图像就转换为q维的、范围在0～1之间的实数向量，即哈希向量；S23：得到哈希向量后，通过三元组损失函数(tripletrankingloss)进行约束，三元组损失函数的目的就通过学习，让相似图片的近似哈希向量之间的距离要远远小于不相似图片的哈希向量之间的距离；S24：训练triplet-...

【专利技术属性】
技术研发人员：耿立冰，潘炎，印鉴，赖韩江，潘文杰，
申请(专利权)人：中山大学，广州中大南沙科技创新产业园有限公司，
类型：发明
国别省市：广东,44