一种基于形状回归的草图图像检索方法技术

本发明专利技术公开了一种基于形状回归的草图图像检索方法，所述方法包括以下步骤：使用ImageNet图像数据预训练的VGG19网络作为初始化网络；使用Gb边界提取方法，生成草图近似；将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序。本发明专利技术通过引入形状回归损失，利用经过预训练的卷积神经网络，对草图域和图像域进行学习，实现基于形状回归的草图图像检索。

【技术实现步骤摘要】
一种基于形状回归的草图图像检索方法
本专利技术涉及图像检索、计算机视觉
，尤其涉及一种基于形状回归的草图图像检索方法。
技术介绍
随着互联网技术的飞速发展和多媒体设施的迅速普及，互联网上数字图像数量在飞速增长。如何对数字图像进行高效的查找成为了当下迫切的需求。对图像进行高效检索在人们的日常生活中以及在医学、公共安全及国防、电影工业、数字图书馆、遥感、农业等领域中发挥着重要作用。因此，图像检索技术受到了国内外学者的广泛关注，成为了当下的研究热点。图像检索最初的研究方向主要是基于文本的图像检索技术。基于文本的图像检索即使用文本方式对图像的特征进行描述。随着计算机计算能力的提升，基于内容的图像描述方式逐渐普及。基于内容的图像检索通过对图像内容的分布进行描述来获取图像特征，通过此特征进行检索匹配。图像中纹理、颜色、形状等复杂性是图像检索技术的巨大挑战之一。输入图像和输出检索结果之间的映射匹配关系的构建成为了图像检索的重点研究方向。以图搜图的图像检索中，用户需要找到一幅和检索意图非常相似的真实图像，这对于普通用户来说也是一个难以获得的输入。更加简单的输入模态，比如简单线条组成的形状，会是一个更加符合用户检索习惯的应用场景，对于检索意图的描述也更加清晰、简单、直观。因此，基于草图的图像检索(Sketch-basedImageRetrieval,SBIR)应运而生。近年来，平板电脑、智能手机等触摸屏设备逐渐普及，使用这些触摸屏设备，人们可以方便的对草图进行绘制，这也为基于草图的图像检索技术提供了广阔的平台和应用前景。传统的SBIR方法使用一些通用特征来描述草图和图像轮廓。许多经典的特征提取方式经过微调就可以应用于草图图像检索任务中。Hu等人提出了基于梯度场的草图特征描述符，然后将它们与词袋模型相结合来进行检索。他们还引入了一个名为Flickr15k的数据集来评估算法，现在这个数据集广泛用于SBIR评估。Zhou等人首先检测图像显著性区域，然后基于该区域的特征进行相似性匹配。上述方法都侧重于为草图和图像轮廓提取相同的特征。然而为两个域设计的公共特征可能不如为某个域设计单独的特征更加具有可分辨性。深层特征成功应用于诸如图像识别等许多应用。最近在SBIR任务中深度学习方法也被成功应用。许多基于卷积神经网络(ConvolutionalNeuralNetwork，简称CNN)的SBIR框架被提出。Qi等人引入了孪生网络来对草图和图像边缘进行匹配。联合网络可以缩小属于同一个类的实例特征之间的距离，并将属于不同类的其他实例特征之间的距离拉远。三重CNN使用正样本和负样本作为训练数据来构建样本之间的相似性关系。最近在SBIR上也采用了深度哈希的方法。Liu等人将深度网络模型和哈希方法结合在一起，在训练跨域相似性的同时显著加快了SBIR的速度。专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：首先，现有技术的算法没有充分考虑图像和轮廓之间的对应关系，其次，基于草图的图像检索的关键信息是形状信息，现有的算法只考虑了特征的区分性，即仅从特征相似性角度考虑草图和图像的关系，并没有强调形状信息，而形状信息是草图和图像的内在一致性的体现。
技术实现思路
本专利技术提供了一种基于形状回归的草图图像检索方法，本专利技术通过引入形状回归损失，利用经过预训练的卷积神经网络，对草图域和图像域进行学习，实现基于形状回归的草图图像检索，详见下文描述：一种基于形状回归的草图图像检索方法，所述方法包括以下步骤：使用ImageNet图像数据预训练的VGG19网络作为初始化网络；使用Gb边界提取方法，生成草图近似；将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序。进一步地，在网络训练完成后，所述初始化网络具备同时输出有效的草图特征和图像特征的能力，更好地关联图像特征和草图特征。具体实现时，所述形状回归损失将形状信息引入图像特征，促进草图特征与其对应的图像形状的关联性信息的挖掘，提取鲁棒的图像和草图特征。进一步地，所述形状回归损失项的回归目标是从Gb轮廓中提取的形状信息，用于增强网络保留形状信息的能力。具体实现时，调整Gb轮廓图的大小为8×8来降低由于大分辨率引入的形状误差影响，调整大小后的轮廓图被映射成一个一维形状向量，大小为64维。同时，形状回归损失嵌入层的维度也调整为64维，与上述形状向量的大小相匹配。所述网络整体的损失函数设计为：L(p,y,t,v)＝Lcls(p,y)+λLreg(t,v)其中，第一个损失项Lcls(p,y)＝-logpy，是真实类别y的对数分类损失，py为输入图像或轮廓属于真实类别的概率；第二个损失项λLreg(t,v)是基于形状信息的回归损失，t表示目标形状向量，从Gb轮廓中提取得到，v表示网络预测的形状信息输出，超参数λ表示两个损失项之间的权重比。进一步地，两个损失项之间的权重比λ值设为1，形状回归损失项使用欧式距离作为回归的距离度量函数，具体设计如下：本专利技术提供的技术方案的有益效果是：1、本专利技术引入了形状回归损失，不仅充分考虑了图像和轮廓之间的对应关系，而且充分挖掘了图像和形状之间的一致性关系；2、本专利技术能够将草图和图像映射到相同的特征空间，充分提取具有分辨性的特征，从而提升了检索特征的有效性，获得了较高的检索准确率。附图说明图1为一种基于形状回归的草图图像检索方法的流程图；图2为本专利技术在Flickr15k数据集上的三个检索实例的示意图；图3为本专利技术提出的方法基于Flickr15k数据集的检索平均准确率与其他方法的对比图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。草图图像检索是利用草图和图像之间的共性来进行相似度匹配的检索技术。传统方法主要从特征相似性角度考虑草图和图像的关系，忽略了形状信息，而形状信息是草图和图像的内在一致性的体现。实施例1本专利技术实施例提出了一种基于形状回归的草图图像检索方法。考虑到草图和图像的关系-形状的内在一致性，创新性的引入了形状回归损失，使图像特征中包含相应的形状信息，参见图1，具体实现步骤如下：101：使用大规模数据预训练的网络作为初始化网络；102：提取Gb(广义边界)形状轮廓，作为草图近似；103：实现域迁移，将草图和图像映射到相同的特征空间；104：引入形状回归损失，设计损失函数；105：用网络提取草图和图像的特征，进行特征匹配和排序。综上所述，本专利技术实施例引入了形状回归损失，成功将草图和图像映射到了相同的特征空间，充分挖掘了图像和形状之间的一致性关系，获得了较高的检索准确率。实施例2下面结合具体的实例对实施例1中的方案进行进一步地介绍，本专利技术实施例使用ImageNet图像数据预训练的VGG19网络用作初始化网络。使用Gb边界提取方法用于生成草图近似。然后将Gb轮廓图像和原始图像送到预训练网络中进行微调。在网络原始的分类softmax损失基础上，增加了形状回归损失，这有助于挖掘图像和形状之间的潜本文档来自技高网...

【技术保护点】
1.一种基于形状回归的草图图像检索方法，其特征在于，所述方法包括以下步骤：使用ImageNet图像数据预训练的VGG19网络作为初始化网络；使用Gb边界提取方法，生成草图近似；将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序。

【技术特征摘要】
1.一种基于形状回归的草图图像检索方法，其特征在于，所述方法包括以下步骤：使用ImageNet图像数据预训练的VGG19网络作为初始化网络；使用Gb边界提取方法，生成草图近似；将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序。2.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，在网络训练完成后，所述初始化网络具备同时输出有效的草图特征和图像特征的能力，更好地关联图像特征和草图特征。3.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，所述形状回归损失将形状信息引入图像特征，促进草图特征与其对应的图像形状的关联性信息的挖掘，提取鲁棒的图像和草图特征。4.根据权利要求1所述的一种基于形状回归的草图图像检索方法，其特征在于，所述形状回归损失项的回归目标是从Gb轮...

【专利技术属性】
技术研发人员：雷建军，宋宇欣，侯春萍，郑凯夫，彭勃，牛力杰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12