一种基于顶层权值的图像卷积特征的生成方法技术

本发明专利技术公开了一种基于顶层权值的图像卷积特征的生成方法，从互联网下载图片，构成图片训练集；训练卷积神经网络的模型；用训练好的卷积神经网络的模型分别提取图片的不同层的深度卷积特征；利用得到的深度卷积特征计算顶层的卷积权重图；用顶层的卷积权重图作用到从浅层到高层的卷积特征得到新的卷积特征；得到图片的增加了卷积全值的深度特征；通过对检索图片和被检索图片数据集分别提取顶层卷积权重的特征，求两者之间的相似距离，做最后的相似度匹配，得到最终的检索结果。与现有技术相比，本发明专利技术不仅适用于商品在中间区域，而是适用商品在任何位置，新的顶层权重特征相比于之前的高斯权重要更有效更准确，能够保证图片特征的鲁邦性和准确率。

【技术实现步骤摘要】

本专利技术涉及图像检索，视觉内容自动表达，尤其涉及一种自动获取图片内容的区域权重的方法。
技术介绍
在计算机视觉和多媒体领域中，特别是随着电商数字图片的急速增长，在当前的趋势下，无论是从学术界还是在工业界对于图片的检索任务都是一个非常重要和极具挑战性的任务。在计算机视觉领域，图片的更好表达是近几年研究的主要驱动力。当人们看到一个商品图片时，人们的注意力一般会落在商品所在的区域，通过相关技术可将图片所对应的位置特征加强，从而达到突出商品信息而弱化周边噪声的效果。这样得到的图片特征对于检索匹配会有很好的性能提升。例如用手机随便拍了一张别人穿着的衣服，这样有噪声的真实图片在电商的数据集中进行同款衣服的匹配时会遇到的主要技术难点是：真实图片的衣服可能会有物体扭曲，周边噪声点很多，图片质量差等问题；而电商的数据集中的同款图片一般是专业制作的商业图片。如果借用街拍图片作为检索图片，由于存在很大的视觉差异性，会很难匹配到同款的电商图片。在过去的几年中已经涌现出了各种各样的图像描述方法。特别是最近几年随着深度学习在计算机智能领域的异军突起，利用深度学习的网络特征进行图片的特征表示成为了一种主流方向。最开始的时候，大家一般用深度网络的全连接层作为图片的特征表示。直至近期，研究者开始探究卷积层的特征作为图片特征表示。在之前的工作中有人提出，在深度特征上增加高斯权值。该方法主要依据是一般图片中的物体都在中心区域。因此可以通过高斯权值的方法加强中间区域的重要性。如何通过提取更好的、更加鲁邦的特征来弥合这两者之间的差异，是本专利技术的研究方向。主要参考文献:(1)、A.BabenkoandV.Lempitsky.《聚集局部深度特征的图像检索》，国际计算机视觉大会,pp.3304-3311，2015；(2)、K.He,X.Zhang,S.Ren,andJ.Sun.《深度卷积网络的空间金字塔池化用于视觉分类》模式分析与机器智能汇刊模式分析与机器智能汇刊37(9):1904-1916,2015；(3)、H.Jegou,M.Douze,C.Schmid,andP.Perez.《聚集局部描述符得到一个紧凑的图像表达》,计算机视觉和模式识别会议pp.3304-3311，2010；(4)、C.Szegedy,W.Liu,Y.Jia,P.Sermanet,S.Reed,D.Anguelov,D.Erhan,V.Vanhoucke,andA.Rabinovich.《探索更深层的卷积》，国际计算机视觉大会，pp.1-9，2015；(5)、Y.Jia,E.Shelhamer,J.Donahue,S.Karayev,J.Long,R.Girshick,S.Guadarrama,andT.Darrell.《用于快速特征嵌入的卷积结构》，多媒体会议，pp.675-678，2014；(6)、F.PerronninandC.Dance.《作用在视觉词表的费舍尔核用于图片分类任务》，计算机视觉和模式识别会议，pp.1-8，2007；(7)、F.Perronnin,Y.Liu,J.Sanchez,andH.Poirier.《应用压缩的费舍尔向量做大规模的图像检索》，计算机视觉和模式识别会议，pp.3384-3391，2010。
技术实现思路
基于现有技术，本专利技术提出了一种基于顶层权值的图像卷积特征的生成方法，通过卷积神经网络提取卷积权值图，自动加权图像目标物体，使用卷积神经网络提取图像的底层特征到高层的特征，并通过获得高层卷积的权值作用到底层到高层的特征当中，从而对图像目标实现更加准确的描述。本专利技术提出了一种基于顶层权值的图像卷积特征的生成方法，该方法包括以下步骤：步骤1、从互联网下载图片，并对每个图片进行描述，形成<图像，类别>对，构成图片训练集；图像表示为集合Nd是集合IMG中的图像总数；每个图像对应一个类别，类别表示为集合图像集合IMG以及每个图像对应的GroundTruth组成最终的数据集DataSet＝{IMG,GroundTruth本文档来自技高网...

【技术保护点】
一种基于顶层权值的图像卷积特征的生成方法，其特征在于，该方法包括以下步骤：步骤(1)、从互联网下载图片，并对每个图片进行描述，形成<图像，类别>对，构成图片训练集；图像表示为集合Nd是集合IMG中的图像总数；每个图像对应一个类别，类别表示为集合图像集合IMG以及每个图像对应的GroundTruth组成最终的数据集DataSet＝{IMG,GroundTruth}；步骤(2)、通过图片数据集按照图像分类任务训练卷积神经网络的模型，在ILSVRC数据集上训练模型，或者用下载好的ILSVRC数据集重新训练模型；步骤(3)、用训练好的卷积神经网络的模型分别提取图片的不同层的深度卷积特征：GoogLeNet(X)inception(3a),GoogLeNet(X)inception(3b)，GoogLeNet(X)inception(4a),GoogLeNet(X)inception(4e)NET(X)layer表示这个特征的是一个三维的矩阵C×W×H，其中C表示卷积层特征通道方向的个数，W表示卷积层特征的宽度，H表示卷积层特征的高度；步骤(4)、利用得到的深度卷积特征计算顶层的卷积权重图，提取GoogLeNet最后一层的卷积层的卷积特征GoogLeNet(X)inception(5b)，对此卷积特征在通道方向做平均的池化操作，具体如下：W=1N×Σc=1NGoogLeNet(X)inception(5b),]]>其中N表示的是卷积特征的通道数目此方案中N＝1024，c表示的是卷积特征第c个通道，W表示最终得到的顶层卷积权重；步骤(5)、利用顶层的卷积权重图作用到从浅层到高层的卷积特征得到新的卷积特征，具体包括：将步骤(3)提取的GoogLeNet的Inception(3a),Inception(3b),Inception(4a),Inception(4e)的特征；把这些特征都通过最大池化的方式，池化到和顶层卷积Inception(5b)同样大小的尺度上；把步骤(4)得到的顶层卷积的权重与拼接后的卷积特征进行相乘，得到加权后的深度卷积特征，具体公式如下：F_W(x,y)＝W(x,y)×F(x,y)其中，W表示步骤(4)产生的顶层卷积权重，F表示的是步骤(5)中池化和拼接之后的卷积特征，F_W表示利用顶层权重W于多层拼接的卷积特征F对应的位置相乘得到的加权之后的特征，(x,y)表示的是卷积特征的坐标；步骤(6)、把这些卷积特征都池化成向量，得到图片的增加了卷积全值的深度特征，即把步骤(5)得到的加权过后的卷积特征F_W，进行最大池化，得到最终的目标向量作为图片的最终表达；Imagereresent＝MaxPooling(F_W)其中池化的窗口大小是7×7；步骤(7)、通过对检索图片QueryImagerepresent和被检索图片EvaluationImagerepresent数据集分别提取顶层卷积权重的特征，求两者之间的相似距离Distance：其中表示度量两个特征之间距离的函数；最后根据被检索图像集的图像与检索图像之间的相似距离Distance进行排序，做最后的相似度匹配，得到最终的检索结果。...

【技术特征摘要】
1.一种基于顶层权值的图像卷积特征的生成方法，其特征在于，该方法包括以下步骤：步骤(1)、从互联网下载图片，并对每个图片进行描述，形成<图像，类别>对，构成图片训练集；图像表示...

【专利技术属性】
技术研发人员：赵士超，许有疆，韩亚洪，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12