一种基于显著性检测的商品目标快速检索方法技术

本发明专利技术属于计算机视觉技术领域，提供了一种基于显著性检测的商品目标快速检索方法。由于大多数商品目标在商品图像中是比较显眼的，显著性检测可以预测图像中显著区域的位置。本发明专利技术提出的方法利用显著性检测得到的显著区域去过滤使用Selective Search提取到的初始候选框，并保留与显著区域有较高重叠率的候选框，最终利用显著区域和保留下来的候选框作为显著候选框来定位商品图片中的目标并提取相应的特征。这种方法一方面可以减少候选框的数量，提高检索效率；另一方面，显著候选框可以准确定位到目标，使得提取到的目标特征更加准确，进而提高检索精度。

A fast retrieval method for commodity target based on saliency detection

The invention belongs to the technical field of computer vision and provides a fast retrieval method for commodity objects based on saliency detection. Since most of the commodity objects are prominent in the commodity image, saliency detection can predict the location of salient areas in the image. The proposed method uses salient regions obtained by saliency detection to filter the initial candidate frames extracted by Selective Search, and retains candidate frames with high overlap rate with salient regions. Finally, salient regions and reserved candidate frames are used as salient candidate frames to locate and extract the targets in commodity images. Corresponding characteristics. On the one hand, this method can reduce the number of candidate boxes and improve the retrieval efficiency; on the other hand, the salient candidate boxes can accurately locate the target, making the extracted target features more accurate, thereby improving the retrieval accuracy.

【技术实现步骤摘要】
一种基于显著性检测的商品目标快速检索方法
本专利技术属于计算机视觉
，具体涉及一种基于显著性检测的商品目标快速检索方法。
技术介绍
目前，亚马逊，阿里巴巴，京东等电子商务平台有了很大的发展，用户的购买习惯也发生了很大的改变。人们不再局限于时间和地点，只要拥有一部智能手机，就能够轻松查找到想要购买的商品。目前在PC端或移动端，很大一部分用户都是通过文本关键词来获取目标商品，但是当用户需求的商品的周边信息不明确时，很难通过抽象出有限的关键词来进行检索。后来各大电商平台争先推出了以图搜商品的检索方案。在这种检索方案中，用户只需拍一张所要购买商品的照片上传购物网站，就可以检索到电商平台与所要购买商品相符的商品，这极大的改善了用户的购物体验。如何从海量商品数据集中检索目标商品就成了这一方案的关键所在。目标检索方法通常包含两个子任务：①检索出包含目标的图片；②使用一个标注框框出目标在图片中的位置。准确定位目标不仅可以使得对图片特征的表示更加准确，而且可以使得候选框的数量降低，进而减少检索时间。所以准确定位目标对这两个子任务是至关重要的。在先前的研究中，定位方法主要分为两种类型，一种是监督的端到端深度学习机制，这种方法可以同时学习目标的定位以及标签。例如AmaiaSalvador等人(“Fasterr-cnnfeaturesforinstancesearch,”inComputerVisionandPatternRecognitionWorkshops,2016,pp.394–401.)利用RPN网络来对图片提取候选框，这个网络可以产生高质量的候选框，并有效的减少了检索计算时间。但是这种类型的方法有一个很明显的缺陷就是需要大量的有目标标签和标注框标注的图片来训练网络。考虑到商品数据集的短缺，显然这种类型的方法对于商品目标检索是不适用的。另一种是非监督机制。早期滑动窗口被广泛使用。这种方法通过每一个窗口和查询目标进行匹配来进行目标的定位，由于需要匹配大量的窗口，这种方法是非常耗时的。为了减少滑动窗口的搜索空间，有些方法开始利用图片分割，边缘，纹理等信息去指导图片中候选框的生成。其中比较典型的方法有EdgeBox(“Edgeboxes:Locatingobjectproposalsfromedges,”inEuropeanConferenceonComputerVision,2014,pp.391–405.)和SelectiveSearch(“Selectivesearchforobjectrecognition,”InternationalJournalofComputerVision,vol.104,no.2,pp.154–171,2013.)。EdgeBox依赖于稀疏但信息丰富的边缘信息。该方法可以保留具有包含目标可能性较大的的候选框。SelectiveSearch结合穷举搜索和分层的语义分割。这种方法可以生成类别独立的高质量的候选框。这两种方法可以在一定程度上减少搜索空间。但是如果只使用较少的候选框，而不是使用提取到图片所有的候选框，则这两种方法都不能很好的定位目标，进而导致检索精度的下降。本专利技术受商品图片中背景与目标不相关，商品目标在图片中是非常明显的特点的启发，我们结合定位方法中非监督机制，针对快速定位商品位置，提出了一种基于显著性检测的商品目标快速检索方法。
技术实现思路
本专利技术的目的是针对商品图片数据的特点，设计一种既快速又精确的检索商品目标方法。本专利技术的技术方案：一种基于显著性检测的商品目标快速检索方法，该方法包括离线处理数据集阶段和在线查询目标阶段两部分；(1)离线处理数据集阶段，首先利用显著性目标检测网络处理数据集中的图像得到相应的显著图，再对显著图优化处理，得到清晰的显著区域；在进行显著性检测的同时，也对数据集图片用SelectiveSearch方法获取图片中的候选框；然后利用显著区域筛选SelectiveSearch提取到的候选框，保留与显著区域重叠率大的候选框；被保留的候选框和显著区域统称为显著候选框；最后提取并保存显著候选框的卷积最大响应MAC特征；具体步骤如下：步骤(1.1)，给定数据集，对数据集中的图片利用显著性检测网络进行显著性检测，得到图片的显著图；步骤(1.2)，对显著图求像素平均值，对显著图中低于平均值的像素值置为0，高于平均值的像素值置为255，得到二值化图像；步骤(1.3)，对步骤(1.2)得到的二值化图像求最大联通区域；步骤(1.4)，计算最大联通区域和原始图像的重叠率，如果最大联通区域与原始图像重叠率小于0.5，则保留此最大联通区域作为显著区域，否则，对步骤(1.1)得到的显著图进行显著性检测，并重复步骤(1.2)到步骤(1.4)，直到得到作为显著区域的最大联通区域；步骤(1.5)，对数据集中的图片使用SelectiveSearch方法提取初始候选框；步骤(1.6)，使用显著区域去选步骤(1.5)得到的初始候选框，保留与显著区域有重叠的候选框，具体重叠率根据需求而定；保留的候选框和显著区域统称为显著候选框，最终提取显著候选框的MAC特征并保存；(2)在线查询目标阶段，给定一张查询图像，提取查询图像中待检测目标的特征，然后与保存的显著候选框的特征匹配，得到初始检索结果；最后使用检索得到的前N张图片中目标特征与查询图片中目标特征做融合，生成新的查询特征再在初始检索结果重新检索，得到最终的检索结果；具体步骤如下：步骤(2.1)，对查询图片提取相应的MAC特征；步骤(2.2)，计算待查询图片特征与显著候选框特征之间的相似度得到初始检索结果；相似度计算使用欧几里得距离，公式如下：其中，表示两个MAC特征向量；(3)计算待查询图片与前N的显著候选框特征的平均特征，重新使用平均特征作为查询特征，再在初始检索结果重新检索，得到最终的检索结果。所述的显著性目标检测网络基于Caffe框架搭建而成，共有16层卷积层，1层反卷积层；以数据集图像作为输入；第一卷积层通道数为64，第二卷积层通道数为128，第三层与第一层相同，第四层与第二层相同，第五层卷积层通道数为256，第六层卷积层通道数为512；第七卷积层通道数为512；第八、十一层与第五层相同，第九、十二层与第六层相同，第十、十三层与第七层相同，最终构成13层卷积层；在13层卷积层中，采用3*3的卷积核，并在第二、四、七、十、十三层后使用2*2池化核，步长为2的最大值池化进行下采样；第十四层卷积层采用7*7的卷积核，通道数为4096，并使用Dropout优化；第十五层卷积层采用1*1的卷积层，通道数为4096，也使用Dropout优化；前十五层都使用Relu函数激活；第十六层卷积层采用1*1的卷积核，通道数为1；第十七层使用反卷积进行上采样，最终得到显著图；在训练过程中使用Euclidean损失函数，公式如下：其中，定义为训练集图片，xi表示第i张图片；定义为对应于训练图片的真值二值图；θ定义为网络中所有的参数；f(*)表示显著新检测网络函数。本专利技术的有益效果：本专利技术提出的方法利用显著性检测得到的显著区域去过滤使用SelectiveSearch提取到的初始候选框，并保留与显著区域有较高重叠率的候选框，最终利用显著区域和保留下来的本文档来自技高网...

【技术保护点】
1.一种基于显著性检测的商品目标快速检索方法，其特征主要在于离线处理数据集阶段；离线处理数据集阶段，首先利用显著性目标检测网络处理数据集中的图像得到相应的显著图，再对显著图优化处理，得到清晰的显著区域；在进行显著性检测的同时，也对数据集图片用Selective Search方法获取图片中的候选框；然后利用显著区域筛选Selective Search提取到的候选框，保留与显著区域重叠率大的候选框；被保留的候选框和显著区域统称为显著候选框；最后提取并保存显著候选框的卷积最大响应MAC特征；具体步骤如下：步骤(1)，给定数据集，对数据集中的图片利用显著性检测网络进行显著性检测，得到图片的显著图；步骤(2)，对显著图求像素平均值，对显著图中低于平均值的像素值置为0，高于平均值的像素值置为255，得到二值化图像；步骤(3)，对步骤(1.2)得到的二值化图像求最大联通区域；步骤(4)，计算最大联通区域和原始图像的重叠率，如果最大联通区域与原始图像重叠率小于0.5，则保留此最大联通区域作为显著区域，否则，对步骤(1.1)得到的显著图进行显著性检测，并重复步骤(1.2)到步骤(1.4)，直到得到作为显著区域的最大联通区域；步骤(5)，对数据集中的图片使用Selective Search方法提取初始候选框；步骤(6)，使用显著区域去选步骤(1.5)得到的初始候选框，保留与显著区域有重叠的候选框，具体重叠率根据需求而定；保留的候选框和显著区域统称为显著候选框，最终提取显著候选框的MAC特征并保存。...

【技术特征摘要】
1.一种基于显著性检测的商品目标快速检索方法，其特征主要在于离线处理数据集阶段；离线处理数据集阶段，首先利用显著性目标检测网络处理数据集中的图像得到相应的显著图，再对显著图优化处理，得到清晰的显著区域；在进行显著性检测的同时，也对数据集图片用SelectiveSearch方法获取图片中的候选框；然后利用显著区域筛选SelectiveSearch提取到的候选框，保留与显著区域重叠率大的候选框；被保留的候选框和显著区域统称为显著候选框；最后提取并保存显著候选框的卷积最大响应MAC特征；具体步骤如下：步骤(1)，给定数据集，对数据集中的图片利用显著性检测网络进行显著性检测，得到图片的显著图；步骤(2)，对显著图求像素平均值，对显著图中低于平均值的像素值置为0，高于平均值的像素值置为255，得到二值化图像；步骤(3)，对步骤(1.2)得到的二值化图像求最大联通区域；步骤(4)，计算最大联通区域和原始图像的重叠率，如果最大联通区域与原始图像重叠率小于0.5，则保留此最大联通区域作为显著区域，否则，对步骤(1.1)得到的显著图进行显著性检测，并重复步骤(1.2)到步骤(1.4)，直到得到作为显著区域的最大联通区域；步骤(5)，对数据集中的图片使用SelectiveSearch方法提取初始候选框；步骤(6)，使用显著区域去选步骤(1.5)得到的初始候选框，保留与...

【专利技术属性】
技术研发人员：王智慧，刘星，李豪杰，王宁，李建军，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21