一种基于多区域交叉权值的图像卷积特征的生成方法技术

本发明专利技术公开一种基于多区域交叉权值的图像卷积特征的生成方法，在K个特征图中模糊地标记出目标位置，利用得到的目标位置和深度卷积特征计算空间权重图；计算K个特征图在不同尺度下的区域大小，分别计算不同区域下的空间权重、通道权重和区域权重；针对每个区域利用交叉权重进行聚合操作，并将多个区域的特征向量相加，得到图像的K维特征表示。本发明专利技术生成的图像特征表示，在应用于检索任务表现出明显优势，较好地突出图片目标区域，同时抑制了背景噪声区域，将该图像描述符应用于图像检索，能够提高检索准确率，达到精确检索的目的。

【技术实现步骤摘要】
一种基于多区域交叉权值的图像卷积特征的生成方法
本专利技术涉及图像检索
，具体涉及一种基于多区域交叉权值的图像卷积特征的生成方法。
技术介绍
随着移动互联网的飞速发展和智能设备的广泛普及，用户每天都会上传下载海量的图像。一方面，越来越多的图像丰富了互联网上的图像资源，给人们带来了各种便利；另一方面，随着图像资源的爆炸式增长，也给人们带来了很多问题，用户难以有效地在海量的数据中准确地找到自己真正需要的信息。如何有效地组织、表达及检索图像，以便于用户可以从大量的图像数据中高效、快速地找到图像数据。基于内容的图像检索(Content-basedImageRetrieval，CBIR)是由KatoT在1992年提出的。在过去的几年中，CBIR系统主要利用图像的视觉内容提取出图像的包括SIFT、SURF、HOG和GIST等特征，将其存入图像特征库。当用户输入查询图像进行检索时，提取待查询图像的特征向量，将此特征向量与特征库进行相似度计算，从而得到检索结果。因此，CBIR中最核心的就是图像的特征表示，优秀的特征表示可以提供更高的检索准确率。最近几年，由于深度学习的发展，卷积神经网络(CNN)在计算机视觉领域取得了重要进展，利用深度学习的网络特征进行图像的特征表示成为了一种主流方向。然而目前CNN特征描述符在“以图搜图”应用场景下存在准确率低的不足。
技术实现思路
本专利技术所要解决的是目前CNN特征描述符在“以图搜图”应用场景下准确率低的问题，提供一种基于多区域交叉权值的图像卷积特征的生成方法，使得特征更紧凑、更具有区分性和鲁棒性。为解决上述问题，本专利技术是通过以下技术方案实现的：一种基于多区域交叉权值的图像卷积特征的生成方法，包括如下步骤：步骤1、选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤即全连接层，保证网络模型对图像尺寸不具有约束；步骤2、将原始图像输入到卷积神经网络模型中，提取原始图像的特征图X；步骤3、从横截面角度汇聚特征图，将特征图由三维特征图X压缩成二维特征图M；并在特征图M上利用该特征图的均值模糊地标记出目标的大致位置，得到关于特征图M的掩码图Mask；步骤4、将特征图M减去其均值得到新的特征图并将新的特征图与掩码图Mask经过加权后，生成关于特征图M的空间权重图Sal；步骤5、对于特征图M，在每个尺度上进行均匀采样，实现特征图M的区域划分；步骤6、根据空间权重图Sal，计算区域空间权重Sali、区域权重wi和通道权重Channelj；步骤7、根据区域空间权重Sali、区域权重wi和通道权重Channelj，交叉聚合特征图X，生成新的图像特征表示；上述i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。上述步骤3中，掩码图Mask为：式中，M(x,y)表示特征图M的位置点，Mask(x,y)表示掩码图Mask的位置点，表示特征图M的均值。上述步骤4中，空间权重图Sal为：式中，Sal(x，y)表示空间权重图Sal的位置点，表示新的特征图的位置点，表示新的特征图。上述步骤5中，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，其中W表示原始图像的宽度，H表示原始图像的高度，L表示尺度。上述步骤5中，在采样每个尺度的区域时，允许连续区域之间有一定比率的重叠。上述步骤6中，第i个区域的区域空间权重Sali为：Sali＝{Sal(x,y)}式中，Sal(x,y)表示空间权重图Sal的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数。上述步骤6中，第i个区域的区域权重wi为：wi＝max(A(x,y))式中，A(x,y)表示空间权重图Sal的位置点的归一化值，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示区域的总数。上述步骤6中，第j个通道的通道权重Channelj为：式中，nonzeroj表示每个通道中非零的数目，nzsum表示所有通道的非零数目总和，j∈[1,K]，K表示通道的总数。上述步骤7中，生成新的图像特征表示为：式中，fi,j＝Sali·Channelj·X(x,y)；wi表示第i个区域的区域权重，Sali表示第i个区域的区域空间权重，Channelj表示第j个通道的通道权重，X(x,y)表示特征图X的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。与现有技术相比，本专利技术利用不经过任何微调的CNN网络模型，使用目标模糊标记结合空间权重来进行加权操作，再引入多区域与交叉加权策略生成图像特征表示RCroW。与现有技术相比，本专利技术生成的图像特征表示，在应用于检索任务表现出明显优势，较好地突出图片目标区域，同时抑制了背景噪声区域，将该图像描述符应用于图像检索，能够提高检索准确率，达到精确检索的目的。附图说明图1为一种基于多区域交叉权值的图像卷积特征的生成方法的流程图。图2为特征图的转换示意图。图3为不同尺度(L＝1、2、3)在特征图上采样不同区域示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本专利技术进一步详细说明。一种基于多区域交叉权值的图像卷积特征的生成方法，如图1所示，具体包括如下步骤：步骤1：选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤(即全连接层)，保证网络模型对图像尺寸不具有约束。对于CNN模型的选择，可以是任意预训练过的模型，不需要在检索数据集上做任何微调处理。对于CNN模型本身，需要去除相关的全连接层，以保证图片以原先尺寸输入到CNN网络中。在传统的深度卷积神经网络模型中，把最终获得的K个特征图从三维张量拉成一个一维的长向量，并用这个长向量代表原始图像进行运算，比如将该长向量作为特征输入一个分类器，进行图像搜索等等。但一般一维长向量维度会很高，因此可对原始特征图进行聚合操作，缩减维度并保证原始向量的区分性。步骤2：将原始图像输入到卷积神经网络模型中，选取最后一层卷积或池化层，提取特征图其中K为通道数目、W*H为输入特征图的空间分辨率。本实施例中选择VGG模型作为卷积神经网络模型，选择pool5层的激活响应作为CNN特征，其中K＝512、W和H与输入图像大小相关。步骤3：对于特征图X，从横截面角度汇聚特征图，将原先特征图转变二维特征图M。在二维特征图上利用减去图像均值的方法模糊地标记出目标的位置，并通过二值图像最大联通区域划分方式优化目标的位置，记作Mask，突出了目标位置和降低周围背景和噪声区域的影响。如图2所示。提取出的特征图X为三维张量，目前已有的图像检索方法主要从两种角度聚合编码特征表示：如图2所示，沿虚线切割特征图，将K个2D的特征图X＝{Xj}，j＝1,2…,K，表示为K维特征向量；或者沿纵轴方向切割，表示为W*H个K维向量。两种角度虽然都有效的压缩了图像特征向量的维度，但均未考虑到特征图中噪音或者背景区域的影响，本专利技术采用对特征图进行空间加权策略，区分目标区域和噪声区域。从横截面角度汇聚特征图，将原先特征图转变二维特征图对M中所有位置的激活响应求取平均值以作为阈值模糊决定哪些空间位置上对应于目标：激活响应高于的位置(i,j)表示目标可能出现的位本文档来自技高网...

【技术保护点】
一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，包括如下步骤：步骤1、选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤即全连接层，保证网络模型对图像尺寸不具有约束；步骤2、将原始图像输入到卷积神经网络模型中，提取原始图像的特征图X；步骤3、从横截面角度汇聚特征图，将特征图由三维特征图X压缩成二维特征图M；并在特征图M上利用该特征图的均值

【技术特征摘要】
1.一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，包括如下步骤：步骤1、选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤即全连接层，保证网络模型对图像尺寸不具有约束；步骤2、将原始图像输入到卷积神经网络模型中，提取原始图像的特征图X；步骤3、从横截面角度汇聚特征图，将特征图由三维特征图X压缩成二维特征图M；并在特征图M上利用该特征图的均值模糊地标记出目标的大致位置，得到关于特征图M的掩码图Mask；步骤4、将特征图M减去其均值得到新的特征图并将新的特征图与掩码图Mask经过加权后，生成关于特征图M的空间权重图Sal；步骤5、对于特征图M，在每个尺度上进行均匀采样，实现特征图M的区域划分；步骤6、根据空间权重图Sal，计算区域空间权重Sali、区域权重wi和通道权重Channelj；步骤7、根据区域空间权重Sali、区域权重wi和通道权重Channelj，交叉聚合特征图X，生成新的图像特征表示；上述i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。2.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤3中，掩码图Mask为：式中，M(x,y)表示特征图M的位置点，Mask(x,y)表示掩码图Mask的位置点，表示特征图M的均值。3.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤4中，空间权重图Sal为：式中，Sal(x,y)表示空间权重图Sal的位置点，表示新的特征图的位置点，表示新的特征图。4.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤5中，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，其中W表示原始图像的宽度，H表示原始图像的高度，L表示尺度。5.根据权利要求1或4所述的一种基于多区域交...

【专利技术属性】
技术研发人员：董荣胜，程德强，李凤英，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西,45