一种基于卷积神经网络深度特征的分级图像检索方法技术

本发明专利技术提供一种基于卷积神经网络深度特征的分级图像检索方法。基本原理是，首先，训练用于特征提取的卷积神经网络，确定网络参数；然后，利用训练好的卷积神经网络提取图像特征，可以得到多个卷积层二进制特征和一个全连接层二进制特征；其次，将多个卷积层二进制特征用于初筛检索阶段，进一步压缩后进行多特征相似度融合，筛选出候选图像集，减小检索范围；最后，利用全连接层二进制特征在候选图像集上进行精确检索，得到最终检索结果。基于公共图像检索数据集的实验结果表明，相比于现有的图像检索方法，本方法采用图像的表征方式更全面，特征压缩方法更简单高效，检索准确率较高，并且分级检索的方式分散系统计算量，有利于并行加速实现，具有实用价值。

A hierarchical image retrieval method based on convolutional neural network depth features

The invention provides a hierarchical image retrieval method based on convolutional neural network depth features. The basic principle is that first, the convolution neural network used for feature extraction is trained to determine the network parameters. Then, using the trained convolution neural network to extract the image features, the binary feature of multiple coiling layers and a fully connected layer binary feature can be obtained. Secondly, the binary feature of multiple coiling layers is used for the initial screening. In the retrieval stage, the multi feature similarity fusion is carried out after further compression, and the candidate image sets are screened to reduce the retrieval range. Finally, the full connection layer binary feature is used to retrieve the candidate image set accurately, and the final retrieval results are obtained. The experimental results based on the common image retrieval data set show that compared with the existing image retrieval methods, the method is more comprehensive, the feature compression method is more simple and efficient, the retrieval accuracy is higher, and the hierarchical retrieval method is used to disperse the computation of the system, which is beneficial to the parallel acceleration implementation and is practical. Value.

【技术实现步骤摘要】
一种基于卷积神经网络深度特征的分级图像检索方法
本专利技术属于图像处理技术和信息检索领域，涉及一种利用深度学习中卷积神经网络提取深度特征实现的分级图像检索方法。
技术介绍
在图像数据爆炸增长的当下，对图像数据进行快速有效的检索是管理海量图像数据一种重要的方式，基于内容的图像检索(Content-BasedImageRetrieval,简称CBIR)技术在这样的实际需求下应运而生。CBIR是一种在通过提取图像内容信息来实现匹配的图像检索方式，其目标是：用户给定一幅查询图像，从一个大规模数据库中快速检索到与查询图像内容相关相似的图像，并按照相似度排序返回给用户。传统的CBIR系统通过手动提取图像中的视觉特征，如颜色、纹理、形状、局部特征聚合描述符(VectorofLocallyAggregatedDescriptors，VLAD)等特征，实现图像检索功能。这些人工提取的特征也存在着一些局限性：一方面，对于不同类型的图像，不同特征的有效性不同，在大规模的数据集上应用时泛化能力较差；另一方面，这些特征属于视觉的浅层特征，表征的是图像表面的低级信息，并不能反映图像的内容语义信息，存在与用户理解存在不一致的“语义鸿沟”问题，难以对图像内容准确表达。近些年随着深度学习的兴起，卷积神经网络(ConvolutionalNeuralNetwork，CNN)被证明了在视觉表征方面有着巨大的优势，CNN的深层特征更贴近人们理解层面来解释图像内容，打破了传统方法图像特征表达的局限。现有的CBIR系统利用CNN作为特征提取器，通过提取网络最后的全连接层特征来表征图像，取得了较好的检索效果。CNN是一个多隐层的网络结构，网络中间的卷积层在表征图像信息上同样具有很大的潜力，一些深层的卷积层的表征能力甚至超过了全连接层，现有的CNN图像检索方法只提取全连接层特征，而忽略了卷积层特征的作用，未能充分利用CNN特征信息，导致了卷积层中图像信息的浪费。CNN中的特征虽然表达能力较强，但是具有维数较高的特点，对于大规模数据库，直接使用提取到的特征向量表征所有图像，需要极大的存储资源和匹配的计算开销，难以满足检索需求。因此对特征压缩处理十分重要，在保证有效信息不受损失的前提下，最大程度的去除特征向量冗余，压缩特征维度。现有的特征压缩方法常见的有主成分(PrincipalComponentAnalysis，PCA)降维、哈希编码如局部敏感哈希(Locality-SensitiveHashing，LSH)、语义哈希(SemanticHashing，SH)等方式，这些方法通常适用于一维特征向量，而应用于二维结构特征时，直接将其转化为一维特征进行处理，损失了一部分二维特征的结构信息，而且需要较多额外的步骤实现压缩操作，增大了系统计算量和算法复杂度。综上所述，图像的有效表征是决定CBIR系统检索性能的关键。现存的CBIR方法基于CNN提取特征，虽然在图像表征方面已有改进，但是仍存在CNN特征利用不充分，特征压缩算法与特征本身结构脱离，且复杂度较高的问题。
技术实现思路
为解决传统CBIR系统对图像表征不深入，提取的特征存在“语义鸿沟”，以及现有基于CNN的CBIR系统对网络特征利用不充分、特征压缩算法不适应二维特征和算法复杂度较高的问题，本专利技术提出一种基于CNN深度特征的图像检索方法。本专利技术的技术方案是：采用一种两级机制的图像检索方法，包括第一级的初筛检索和第二级的精确检索。该方法基于CNN提取图像的深层特征，将提取到的不同层的特征运用到不同级的检索中，从卷积模块和全连接模块的修正线性单元RectifiedLinearUnits(ReLU)层后提取类二进制特征图，通过二进制转化得到多层的二进制特征图向量，最大程度利用多层特征。其中，将卷积模块的二进制特征图向量用于第一级的初步筛选，将全连接模块的二进制特征图向量用于第二级的精确检索。深层特征结合分级的检索机制，在保证检索速度的同时，提升检索准确率，实现在大规模图像库中的快速精确检索。本专利技术的步骤如下：第一步：特征提取网络的参数设置：采用CNN作为特征提取网络，网络包括多个卷积模块和一个的全连接层模块。网络参数设置的过程为：首先将该网络在大数据库上进行分类预训练来确定合适的网络初始参数；然后再进行迁移学习，在目标图像库上训练微调网络参数，使其在目标数据集上表现最优，完成特征提取网络参数的确定。第二步：提取图像的二进制深度特征：将图像输入训练好的CNN，分别在最后的卷积模块和全连接模块的ReLU层后提取类二进制深层特征，利用ReLU将左半部分置零，右半部分保持不变的二进制激活特点，可以直接从网络中得到类二进制特征图向量。表示从第k个ReLU层提取到的类二进制特征图，该层具有N个特征图，因此向量具有N个元素，每个元素Vik(i＝1,....,N)表征一个m*m特征图，所有特征图内的元素经过ReLU激活函数后都是非负的。(注：此处特征图的大小m*m取决于CNN在该层设置的特征图大小)通过将所有Vik(i＝1,....,N)特征图中的非零元素置1，便可得到由N个大小为m*m标准二进制特征图组成的标准二进制特征图向量这一步提取到卷积模块中的n个卷积二进制特征图向量和一个全连接二进制特征图向量。第三步：初筛检索阶段：将n个种卷积二进制特征图向量用于第一级初筛阶段，用k＝1,2,3,…,n分别表示。为了实现快速检索，将各特征图向量中的每个特征图进行求和操作：得到压缩后的特征向量：分别表示n种卷积特征向量。分别用这n种卷积特征向量测量目标图像库中图像与查询图像的相似度，得到对应的相似度序列T为目标图像库中图像的个数。再利用相似度融合方法，将基于n个特征得到的相似度融合成最终的全局相似度Sim，将Sim由高到低排序，取全局相似度Sim大于阈值Th的图像组成候选图像库P＝{I1,I2,...,IM}。相似度的测量方法是：设查询图像的特征向量和目标图像库中图像的特征向量m为原始特征图的大小。设两特征向量的初始相似度S都为0，对于每张图像特征库中的图像，求F(q)和F(t)中对应元素的绝对差值sub，判断该差值sub的范围，按照下述规则依次修改相似度：若则S＝S+3；若m/2<sub<m，则S＝S+2；若m≤sub<2m，则S＝S+1；若2m≤sub<3m，则S＝S-1；若3m≤sub<4m，则S＝S-2；若sub>4m，则S＝S-3。可以得到目标图像库中所有图像基于第k个特征得到的相似度序列T表示目标图像库中图像的总个数。相似度融合的方法是：首先min-max归一化三种相似度序列：可以得到归一化后的相似度序列由于排序后的相似度序列曲线下的面积与其特征的检索性能存在反相关关系，计算第k个特征的相似度融合权重为：其中最后可以得到目标集中图像t与查询图像q之间融合后的全局相似度为：第四步：精确检索阶段：为了进一步增强检索准确率，基于上一步检索得到的候选图像库P＝{I1,I2,...,IM}，本阶段检索利用全连接二进制特征向量通过汉明距离测量相似度大小：sim(q,t)＝N-H(q,t)，其中N为全连接特征向量的总长度，H(q,t)为目标图像t与查本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络深度特征的分级图像检索方法，其特征在于，包括下述步骤:第一步：特征提取网络的参数设置：采用卷积神经网络作为特征提取网络，采用迁移学习的方法设置网络参数：(一)将该网络在大数据库上进行分类预训练来确定合适的网络初始参数；(二)在目标图像库上训练微调网络参数，使其在目标数据集上表现最优，完成特征提取网络参数的确定；第二步：提取图像的二进制深度特征：(一)从网络中提取类二进制特征向量：将图像输入训练好的卷积神经网络，分别在最后的卷积模块和全连接模块的修正线性单元Rectified Linear Units(ReLU)层后提取类二进制深层特征；设从第k个ReLU层提取到的类二进制特征图为

【技术特征摘要】
1.一种基于卷积神经网络深度特征的分级图像检索方法，其特征在于，包括下述步骤:第一步：特征提取网络的参数设置：采用卷积神经网络作为特征提取网络，采用迁移学习的方法设置网络参数：(一)将该网络在大数据库上进行分类预训练来确定合适的网络初始参数；(二)在目标图像库上训练微调网络参数，使其在目标数据集上表现最优，完成特征提取网络参数的确定；第二步：提取图像的二进制深度特征：(一)从网络中提取类二进制特征向量：将图像输入训练好的卷积神经网络，分别在最后的卷积模块和全连接模块的修正线性单元RectifiedLinearUnits(ReLU)层后提取类二进制深层特征；设从第k个ReLU层提取到的类二进制特征图为该层有N个特征图，设每个特征图Vik(i＝1,....,N)的大小为m*m；(二)二值化特征向量：通过将所有Vik(i＝1,....,N)特征图中的非零元素置1，将每个Vik(i＝1,....,N)转化为标准二进制特征图得到标准二进制特征图向量提取到卷积模块中的n个卷积二进制特征图向量和一个全连接二进制特征图向量；第三步：初筛检索阶段：将n个卷积二进制特征图向量用于第一级初筛阶段，用k＝1,2,…,n分别表示；(一)特征向量压缩：将各卷积特征向量中的每个特征图进行求和操作：得到压缩后的特征向量：(二)相似度测量：分别用这n种卷积特征向量测量目标图像库中图像与查询图像的相似度，相似度的测量方法是：设查询图像的特征向量和目标图像库中图像的特征向量m为原始特征图的大小；...

【专利技术属性】
技术研发人员：余莉，韩方剑，罗迤文，
申请(专利权)人：湖南省瞬渺通信技术有限公司，
类型：发明
国别省市：湖南,43