一种基于掩膜的累加显著特征的无监督图像检索系统技术方案

本发明专利技术公开了一种基于掩膜的累加显著特征的(Mask‑based Prominent Feature Accumulation,MPFA)无监督图像检索系统，属于信息处理领域。该方法的特征包括：先抽取图像输入预训练的VGG网络的特征图，生成掩膜图。采用掩膜图对特征图的各通道处理以抽取显著特征，随后累加各通道显著特征得到求和向量；再对于维度为特征图通道数目的求和向量，排序后取累加值最大的前N个通道，对所选通道进行加权聚合等操作后得到图像的最终表示向量；最后使用余弦相似度对待检索图像最终表示向量和数据库所有图像的表示向量进行最近邻搜索，得到与待检索图像最为相似的图像检索结果。本发明专利技术通过结合掩膜和显著特征累加方法，使得无监督图像检索效果得到提升，尤其是对于包含复杂背景的图像，具有很大的实用价值。

An unsupervised image retrieval system based on accumulated salient features of mask

【技术实现步骤摘要】
一种基于掩膜的累加显著特征的无监督图像检索系统
本专利技术涉及信息处理领域，特别涉及基于掩膜的累加显著特征(Mask-basedProminentFeatureAccumulation,MPFA)的无监督图像检索系统。
技术介绍
图像检索是计算机视觉领域的一项重要任务，它的目标是当给定一个包涵特定实例的查询图像，在数据库图像的拍摄视角、光照或遮挡情况不同的条件下，提取合适的图像表示向量，在数据库中进行最近邻搜索找到包含相同实例的图像，从而解决以图搜图问题。无监督图像检索研究中的核心是不借助人工标注等监督信息，如何利用预训练的CNN模型提取特征作为图像最终表示。特征选取的好坏会直接影响到检索的结果。大部分无监督图像检索算法一般采用对预训练CNN网络进行微调的方法，对新的数据集采用三元组的形式进行训练。但是，如果每次添加新图像后都需要对网络进行微调，效率和可拓展性都会降低。而本专利技术为了解决上述的问题，采用了掩膜图来抽取特征图各通道的显著特征，累加各通道的特征后进行通道重要性的排序，选取具有代表性的通道进行加权聚合作为图像最终表示，得到了较好的检索效果，尤其是对于包含复杂背景的图像。
技术实现思路
为了解决现有的技术问题，本专利技术提供了基于掩膜的累加显著特征的无监督图像检索系统。方案如下：步骤一，抽取图像输入预训练的VGG网络的特征图，生成掩膜图。采用掩膜图对特征图的各通道处理以抽取显著特征，随后累加各通道显著特征得到求和向量。步骤二，对于维度为特征图通道数目的求和向量，排序后取累加值最大的前N个通道，对所选通道进行加权聚合等操作后得到图像的最终表示向量。步骤三，使用余弦相似度对待检索图像最终表示向量和数据库所有图像的表示向量进行最近邻搜索，得到与待检索图像最为相似的图像检索结果。附图说明图1是本专利技术提供的基于掩膜的累加显著特征的(MPFA)无监督图像检索系统的网络结构图图2是本专利技术提供的抽取深度特征的VGG结构图具体实施方式接下来将对本专利技术的实施方法作更详细的描述。图1是本专利技术提供的基于掩膜的累加显著特征的无监督图像检索系统的网络结构图，其中包括：步骤S1：显著特征的抽取与累加步骤S2：代表性通道的选取与聚合步骤S3：最近邻搜索图2给出了VGG结构图。下面将对每个步骤进行具体的说明：步骤S1：显著特征的抽取与累加。由于VGG抽取的深度卷积特征中包含了显著特征和冗余特征，本专利技术采用最大掩膜和求和掩膜来抽取显著特征，利用掩膜图对各通道的显著特征进行累加。显著特征得到保留的同时，也抑制了冗余特征。对于包含J张图像的数据集D，输入即是D中的各图像I；将I输入VGG网络，从第5个池化层抽取W×H×C的特征图，W、H分别是特征图各通道的宽与高，C为特征图包含的通道数，F(i)表示为特征图中的第i个通道，各通道的特征位置用{(x,y)}表示；使用最大掩膜和求和掩膜抽取显著特征。对于最大掩膜，保留特征图每个通道最大激活值的位置，以捕获所有通道中最具代表性的结构：对于求和掩膜，保留在更多通道中被激活的特征的位置，t为每一位置的特征在各通道对应激活值之和的中位数：对于M∈{MMAX,MSUM}，通过将M中保留的位置的值设为1，未保留的位置的值设为k，可以得到用以抽取特征图中各通道的显著特征的掩膜图Mf：其中，k代表移除冗余特征的影响程度。当k为负时，抑制背景的冗余特征，突出显著特征。对经过掩膜处理后的特征图各通道的显著特征分别进行累加，得到以通道数目为维度的求和向量In＝[s1,…,sc]。si越大，说明该通道下保留了更多的显著特征：步骤S2：代表性通道的选取与聚合。对于维度为特征图通道数目的求和向量，排序后取累加值最大的前N个通道，对所选通道进行加权聚合等操作后得到图像的最终表示向量。对于数据库中的J张图像，将L2归一化后的所有经过掩膜图处理后的求和向量In相加，得到和向量V：其中，v1,v2,…分别代表对应各通道进行显著特征累加后的和。对V中元素进行降序排序后取累加值最大的前N个通道。对于每个图像，对于挑选的通道F(i)，首先做加权求和池化：:其中wi为归一化权重，ui为所选通道(x,y)位置处的激活值。其中α,β分别是幂次归一化和幂次缩放的参数。将选取的N个通道对应的C维特征表示拼接，得到N×C维的全局表示向量对ψ进行L2正则化、主成分分析(PCA)降维和白化处理，得到图像固定维度的最终表示向量ψf。步骤S3：最近邻搜索。由于待检索图像与数据库图像的最终表示具有同样维度，本专利技术选择余弦相似度检索最近邻。对数据库所有图像，Pi为第i张图像的最终表示向量；对于待检索图像，Q为选取同样N个通道后得到的最终表示向量。计算待检索图像表示向量Q和数据库图像表示向量Pi的余弦相似度：最后在测试时，选取相似度最高的图像作为待检索图像的检索结果。以上结合附图对所提出的基于掩膜的累加显著特征(MPFA)的无监督图像检索系统及各模块的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚地了解到本专利技术可借助软件加必须的通用硬件平台的方式来实现，当然也可以通过硬件实现，但前者是更佳的实施方式。基于这样的理解，本专利技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现，该软件产品存储在一个存储介质中，包括若干指令用以使得一台或多台计算机设备执行本专利技术各个实施例所述的方法。依据本专利技术的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本专利技术的限制。以上所述的本专利技术实施方式，并不构成对专利技术保护范围的限定。任何在本专利技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于掩膜的累加显著特征的无监督图像检索系统，其特征在于，所述图像检索系统包含以下结构和步骤：(1)显著特征的抽取与累加：抽取图像输入预训练的VGG网络的特征图，生成掩膜图。采用掩膜图对特征图的各通道处理以抽取显著特征，随后累加各通道显著特征得到求和向量。(2)代表性通道的选取与聚合：对于步骤(1)的求和向量，排序后取最大的前N个通道，对所选通道进行加权聚合等操作后得到图像的最终表示向量。(3)最近邻搜索：使用余弦相似度对数据库所有图像的表示向量和待检索图像最终表示向量进行最近邻搜索，得到最为相似的图像检索结果。

【技术特征摘要】
1.一种基于掩膜的累加显著特征的无监督图像检索系统，其特征在于，所述图像检索系统包含以下结构和步骤：(1)显著特征的抽取与累加：抽取图像输入预训练的VGG网络的特征图，生成掩膜图。采用掩膜图对特征图的各通道处理以抽取显著特征，随后累加各通道显著特征得到求和向量。(2)代表性通道的选取与聚合：对于步骤(1)的求和向量，排序后取最大的前N个通道，对所选通道进行加权聚合等操作后得到图像的最终表示向量。(3)最近邻搜索：使用余弦相似度对数据库所有图像的表示向量和待检索图像最终表示向量进行最近邻搜索，得到最为相似的图像检索结果。2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：(1.1)对于包含T张图像的数据集D，输入即是D中的各图像；(1.2)输入通过CNN，从第5个池化层抽取特征图；(1.3)保留特征图每个通道最大激活值的位置生成最大掩膜，保留在更多通道中被激活的特征的位置生成求和掩膜；(1.4)对最...

【专利技术属性】
技术研发人员：徐雅静，王新怡，杨海涛，李思，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11