一种多标签图像的二值向量生成方法及图像语义相似度查询方法技术

本发明专利技术公开了一种多标签图像的二值向量生成方法及图像语义相似度查询方法。本发明专利技术利用训练数据集对卷积神经网络模型进行训练，直至该卷积神经网络模型的损失值趋于稳定；然后利用训练后的卷积神经网络模型对图像数据库中的图片进行计算，得到每张图片的二值向量并进行存储；利用训练后的卷积神经网络模型计算待查询图片的二值向量，并将其与存储的二值向量进行相似度计算，根据相似度计算结果返回与该待查询图片最相似的若干图片。本发明专利技术大大提高了图像的存储效率和查询效率；而且可以根据与查询图片的多级语义相似度对目标图片进行排序。

【技术实现步骤摘要】
一种多标签图像的二值向量生成方法及图像语义相似度查询方法
本专利技术主要应用于图像检索领域，涉及一种多标签图像的二值向量生成方法及针对多标签图像语义特征的相似度查询方法。
技术介绍
近年来，随着网络技术的快速发展，每天都有成千上万的图片上传至互联网中，如何从海量的图片中根据不同用户需求快速准确地检索出相关图片已经成为研究的热点和难点。比如，基于内容的图像检索需要检索出和查询图片内容相似的目标图片，这里的“相似”指视觉或者语义相似。面向图像语义特征的哈希算法将图像高维原始特征映射到低维二进制特征的同时保留了图像语义信息，因此受到广泛关注。目前主流的面向图像语义特征的哈希算法利用深度学习技术能够同时提取图像语义特征并学习哈希函数，但仍有以下局限：(1)绝大多数的哈希算法只能简单区分相似和不相似的图片，对于含有多级语义相似度的多标签图像效果不佳。(2)面向多标签图像的哈希算法无法有效区分相似度不同的多标签图片。
技术实现思路
针对现有技术中存在的技术问题，本专利技术的目的在于提供一种多标签图像的二值向量生成方法及大规模多标签图像语义相似度查询方法。本专利技术基于卷积神经网络模型，通过精心设计的损失函数学习模型参数，实现同时提取图像原始特征并学习哈希函数，最终输出的图像二进制编码具有以下性质：●由1、-1组成，同时提高了存储和查询效率；●可以根据与查询图片的多级语义相似度对目标图片进行排序；●在图像特征编码较短的情况下，仍能根据语义相似度有效区分目标图片，特别是返回结果前几条的准确率较主流算法更高。本专利技术的技术方案为：一种多标签图像的二值向量生成方法，其步骤包括：1)利用训练数据集对卷积神经网络模型进行训练，直至该卷积神经网络模型的损失值趋于稳定；其中，每次训练时的训练数据集包括N对图片，对于第i对图片Ii，1、Ii，2，设图片Ii，1的标签数量为ni，1，第i对图像中图片Ii，1与图片Ii，2共同关联的标签数量为ni，2，计算所述损失值的损失函数η为其中，ni，1＝ni，2时，yi＝0，否则yi＝1；Ones代表元素全为1的向量，||·||1表示向量的第一范数，表示向量间的欧式距离，|·|表示对向量每位元素进行绝对值操作，α是用来控制量化损失大小的参数，w为卷积神经网络模型的哈希层的权重向量，f(I；w)为卷积神经网络模型输出的图片I的k位二值向量，m是指汉明距离阈值参数；2)利用训练后的卷积神经网络模型计算图片的二值向量。一种多标签图像语义相似度查询方法，其步骤包括：1)利用训练数据集对卷积神经网络模型进行训练，直至该卷积神经网络模型的损失值趋于稳定；其中，每次训练时的训练数据集包括N对图片，对于第i对图片Ii，1、Ii，2，设图片Ii，1的标签数量为ni，1，第i对图像中图片Ii，1与图片Ii，2共同关联的标签数量为ni，2，计算所述损失值的损失函数η为其中，ni，1＝ni，2时，yi＝0，否则yi＝1；Ones代表元素全为1的k位向量，||·||1表示向量的第一范数，表示向量间的欧式距离，|·|表示对向量每位元素进行绝对值操作，α是用来控制量化损失大小的参数，w为卷积神经网络模型的哈希层的权重向量，f(I；w)为卷积神经网络模型输出的图片I的k位二值向量，m是指汉明距离阈值参数；2)利用训练后的卷积神经网络模型对图像数据库中的图片进行计算，得到每张图片的二值向量并进行存储；3)利用训练后的卷积神经网络模型计算待查询图片的二值向量，并将其与步骤2)得到的二值向量进行相似度计算，根据相似度计算结果返回与该待查询图片最相似的若干图片。进一步的，利用最小批次梯度下降法训练该卷积神经网络模型，使其能够最小化所述损失函数的值。进一步的，该卷积神经网络模型包括依次连接的第一卷积层、最大池化层、第二卷积层、最大池化层、第三卷积层、第四卷积层、第五卷积层、最大池化层、第一全连接层、第二全连接层和哈希层。进一步的，所述哈希层的哈希函数为h(x；w)＝sign(f(x；w))；其中，f(x；w)＝wTf′(x)，f′(x)为第二全连接层的输出向量；所述哈希层设有k个节点，每一节点设置一权重，这些权重构成权重向量w。进一步的，α＝0.01。进一步的，根据待查询图片的二值向量与步骤2)得到的二值向量的汉明距离，确定所述相似度。本专利技术主要包括以下内容：1)基于卷积神经网络模型设计了一种可以同时进行图像语义特征提取和哈希函数学习的框架。利用该框架，本专利技术可以将多标签图像映射到二值向量并保留图像间的多级语义相似度。2)精心设计了一种基于图像标签对的损失函数。基于该损失函数可以对模型各层参数进行学习。与现有技术相比，本专利技术的积极效果为：本专利技术大大提高了图像的存储效率和查询效率；而且可以根据与查询图片的多级语义相似度对目标图片进行排序。本专利技术在图像特征编码较短的情况下，仍能根据语义相似度有效区分目标图片，特别是返回结果前几条的准确率较主流算法更高。附图说明图1为本专利技术的框架结构图。具体实施方式下面结合附图和实施例对本专利技术进一步说明。一：哈希函数定义哈希函数h(x；w)：h(x；w)＝sign(f(x；w))(1)f(x；w)＝wTf′(x)，w为哈希层的权重向量，f′(x)为全连接层七的输出向量。哈希层由一个全连接层构成，哈希层节点个数和最终需要生成的二值向量位数k相等，k值预先设定好。二：损失函数通过优化损失函数的方式，实现卷积神经网络模型各层参数的学习。用于训练模型的训练数据集中，每张图像对应不同的标签，标签为人工标注得到，训练时会依据图像的标签信息对图像的相似程度进行判断。设第i对图片Ii1,Ii2分别与p1,p2个标签关联，令Ii1的标签数量为ni1，则ni1＝|p1|，令Ii1,Ii2共同关联的标签数量为ni2，则ni2＝|p1∩p2|，当ni1＝ni2时，令变量yi＝0，否则yi＝1，针对Ii1,Ii2的损失函数定义如下：DH(·,·)为两个二值向量的汉明距离，m为阈值参数(m>0，后文会详细介绍m的取值)。损失函数由两部分组成，以加号为分隔。n1＝n2时，y＝0，此时本专利技术认为两张图片非常相似，在损失函数中的体现为只要两张图像二值特征存在差异，本专利技术就实施惩罚；n1≠n2时，y＝1，此时本专利技术认为两张图片一般相似或者不相似，在损失函数中的体现为两张图像的相似度不同，其二值特征向量间的汉明距离应该随之变化。当N对图片作为训练集时，本专利技术最终需要最小化的损失函数为：三：损失函数的转化等式(2)中的汉明距离以离散的方式呈现，难以直接进行优化求解，为此本专利技术对等式(2)进行了转化。具体地，本专利技术将等式(2)中的汉明距离转化为欧氏距离，同时，为了使得卷积神经网络模型的输出f(I；w)逼近1或者-1，本专利技术引入了量化损失。此时，对等式(2)的优化可以近似为对以下公式的优化：损失函数由三部分组成，以加号为分隔，前两部分作用与等式(2)相同，第三部分的作用是使图片特征向量的每一位逼近1或-1，其中Ones代表元素全为1的向量，向量的长度为k(和输出的二值向量长度相同)，表示向量间的欧式距离，||·||1表示向量的第一范数，|·|表示对向量每位元素进行绝对值操作，α(0＜α≤1)是用来控制量化损失大小的参数。将等式(4)带入等式本文档来自技高网...

【技术保护点】
1.一种多标签图像的二值向量生成方法，其步骤包括：1)利用训练数据集对卷积神经网络模型进行训练，直至该卷积神经网络模型的损失值趋于稳定；其中，每次训练时的训练数据集包括N对图片，对于第i对图片Ii，1、Ii，2，设图片Ii，1的标签数量为ni，1，第i对图像中图片Ii，1与图片Ii，2共同关联的标签数量为ni，2，计算所述损失值的损失函数η为

【技术特征摘要】
1.一种多标签图像的二值向量生成方法，其步骤包括：1)利用训练数据集对卷积神经网络模型进行训练，直至该卷积神经网络模型的损失值趋于稳定；其中，每次训练时的训练数据集包括N对图片，对于第i对图片Ii，1、Ii，2，设图片Ii，1的标签数量为ni，1，第i对图像中图片Ii，1与图片Ii，2共同关联的标签数量为ni，2，计算所述损失值的损失函数η为其中，ni，1＝ni，2时，yi＝0，否则yi＝1；Ones代表元素全为1的向量，||·||1表示向量的第一范数，表示向量间的欧式距离，|·|表示对向量每位元素进行绝对值操作，α是用来控制量化损失大小的参数，w为卷积神经网络模型的哈希层的权重向量，f(I；w)为卷积神经网络模型输出的图片I的k位二值向量，m是指汉明距离阈值参数；2)利用训练后的卷积神经网络模型计算图片的二值向量。2.一种多标签图像语义相似度查询方法，其步骤包括：1)利用训练数据集对卷积神经网络模型进行训练，直至该卷积神经网络模型的损失值趋于稳定；其中，每次训练时的训练数据集包括N对图片，对于第i对图片Ii，1、Ii，2，设图片Ii，1的标签数量为ni，1，第i对图像中图片Ii，1与图片Ii，2共同关联的标签数量为ni，2，计算所述损失值的损失函数η为其中，ni，1＝ni，2时，yi＝0，否则yi＝1；Ones代表元素全为1的k位向量，||·||1表示向量的第一范数，表示向量间的欧...

【专利技术属性】
技术研发人员：吴大衍，叶明臻，李波，古晓艳，王伟平，孟丹，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11