一种大规模数据背景下的快速有效的图像检索方法技术

本发明专利技术提供了一种大规模数据背景下的快速有效的图像检索方法，属于计算机视觉、统计学习、模式识别技术领域。首先采用在特定任务数据集下做过迁移学习的深层卷积神经网络提取图像的局部特征，然后进一步利用空间均值池化和协方差描述子对提取的图像局部特征进行建模。为了能够鲁棒的估计高维协方差描述子，本发明专利技术提出了改进的最大似然估计法。通过对空间均值池化模型和协方差描述子进行加权融合得到最终的图像表达。为了比较两幅图像的图像表达，提出了基于最大间隔子空间的低秩测度学习方法。一方面降低了图像表达的维度以提高图像匹配效率，另一方面可以依据特定任务数据集的先验信息提高图像匹配准确率。

【技术实现步骤摘要】

本专利技术涉及到计算机视觉、统计学习、模式识别
，提出了一种针对大规模数据背景下可以适用于真实复杂场景的快速有效的图像检索方法。
技术介绍
早期的图像检索技术主要是基于关键字的搜索，用户通过输入对查询图像的描述，在检索数据库中找到相应的检索结果。随着互联网和大数据时代的到来，基于关键字的图像检索技术已不能适用于海量内容、实时扩展的检索数据库。因此，基于内容的图像检索技术在当前大型的搜索引擎中有着日益广泛的应用。基于内容的图像检索是指用户提供查询图像，检索算法计算图像特征表达，在检索库中搜索相似的图像内容并返回结果的检索技术。基于内容的图像检索技术的难点在于如何设计算法提取图像特征表达与如何度量图像表达之间的相似性。由于图像采集过程中的光照、拍摄角度与尺度等方面的变化，图像变化显著且不可控。尤其是在大数据背景下真实图像数据分布往往十分复杂，这对图像检索任务带来极大的困难与挑，直接导致了当前存在的一些检索方法的检索准确率低，效率不佳。此外，大规模检索问题对算法的效率的要求很高。因此，设计一种具有鲁棒性和辨别能力的图像表达与快速有效的距离度量算法用于大规模图像检索是本专利技术的目标所在。近年来，随着对深度学习技术的研究愈发成熟，深层卷积神经网络(CNN，Convolutional Neural Networks)在计算机视觉中的应用也越来越广泛。当前图像检索领域中领先的方法基本都采用了深度学习技术。例如Babenko等人在文献[Babenko A,Slesarev A,Chigorin A,et al.Neural codes for image retrieval[C],ECCV 2014:584-599]中提出针对特定的图像检索任务(如场景或地标建筑检索)，构建相似的图像数据集，在该数据集上训练CNN模型。该研究表明了针对特定任务对CNN模型进行迁移学习的重要性。2015年，他们在文献[Babenko A,Lempitsky V.Aggregating Deep Convolutional Features for Image Retrieval[C],ICCV 2015]中提出使用经过预训练的CNN模型中全连接层的输出作为图像的局部特征，使用平均聚合(Average Pooling)方法得到图像的表达向量。该方法虽然效率很高，但是忽略了图像局部特征对应图像块的空间位置分布，在复杂背景的图像检索问题上不够鲁棒。此外，简单的平均聚合只使用了特征的一阶信息，并没有考虑具有更丰富信息的高阶表达，如二阶的协方差描述子建模。基于上述的图像检索的挑战与困难以及现有工作的不足之处，本专利技术从提取图像表达与度量图像相似性两方面入手，提出了一种大规模数据背景下的快速有效的图像检索方法。
技术实现思路
本专利技术提出了一种针对大规模数据背景下可以适用于真实复杂场景的快速有效的图像检索方法。本专利技术的技术方案：一种大规模数据背景下的快速有效的图像检索方法，步骤如下：步骤一，基于迁移学习和深层卷积神经网络的图像局部特征提取首先使用检索数据库的训练集图像对经过预训练的深层卷积神经网络做迁移学习，即微调卷积神经网络各层参数；然后将待处理的图像作为迁移学习得到的深层卷积神经网络的输入，提取最后一层卷积层的输出作为图像局部特征；步骤二，基于空间均值池化和鲁棒协方差估计的图像局部特征建模该步骤由两个相互独立的建模方式组成，分别为使用一阶的空间均值池化和二阶的鲁棒估计的协方差对步骤一提取的图像局部特征进行建模，得到的特征建模向量用于表示图像局部特征的信息；步骤三，对获得的特征建模向量进行基于大间隔子空间的判别学习利用给定训练数据中已知的标签信息，分别对步骤二中提出的两种特征建模向量使用大间隔最近子空间学习算法，得到相应的具有判别能力的低秩线性映射矩阵；再利用得到的映射矩阵对两种特征建模向量分别进行有监督的降维；步骤四，融合降维后的两种特征建模向量得到最终的图像表达向量将降维后的两种特征建模向量通过加权系数进行加权级联，得到最终的图像表达向量，其中融合系数控制两种建模向量在图像表达中起到作用的大小。步骤五，图像匹配并返回检索结果首先根据前面四个步骤计算查询图像的表达向量，然后计算该表达向量与图像数据库中的所有待检索图像的表达向量的欧氏距离，对所有距离排序找到距离最小的n个图像并返回检索结果。本专利技术的有益效果：首先，相比传统的基于手工设计特征的方法，本专利技术使用经过迁移学习的深层卷积神经网络提取图像局部特征，在很大程度上提升了检索结果的准确性。其次，本专利技术提出的空间均值池化方法充分利用了图像的局部空间信息；提出的基于改进的最大似然估计的鲁棒协方差进一步丰富了图像信息的表达，提升了检索的准确率。最后，为了适应大规模问题，提高图像匹配的效率，本专利技术提出了基于最大间隔子空间的低秩测度学习方法。该专利技术提出的准确、快速的图像检索算法，在网络多媒体等诸多领域具有广泛的应用前景。附图说明图1为本专利技术提出的大规模数据背景下可以适应复杂场景的图像检索方法的整体流程示意图。图2为计算每幅图像的表达向量的步骤示意图。图中：(a)等比例缩放后的图像及增广得到的子图像；(b)经过迁移学习的深层卷积神经网络；(c)图像局部特征及其空间区域划分；(d)特征的局部空间表达；(e)图像局部特征的空间均值池化建模；(f)基于大间隔子空间的判别学习与对特征建模向量的降维；(g)重新排列的图像局部特征，每一列为一个特征向量；(h)对协方差矩阵的上三角向量化；(i)图像局部特征的鲁棒估计的协方差建模向量；(j)融合两种特征建模向量的图像最终的表达向量。具体实施方式以下结合附图和技术方案，进一步说明本专利技术的具体实施方式。一种大规模数据背景下的快速有效的图像检索方法，步骤如下：步骤一，基于迁移学习和深层卷积神经网络的局部图像局部特征提取(1)深层卷积神经网络的训练与迁移学习首先在大规模图像数据集ImageNet上训练一个卷积神经网络CNN_Ly8。CNN_Ly8是一个8层的卷积神经网络，其前5层为卷积层，后3层为全连接层，其结构同AlexNet[Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C],NIPS 2012:1097-1105]。使用给定检索数据集的训练图像样本对CNN_Ly8进行参数微调，得到迁移学习后的网络，记为CNN_Ly8_FT。CNN_Ly8_FT的优点是既具有较强的泛化能力，又可以适应不同的复杂场景的检索任务。(2)使用网络CNN_Ly8_FT提取图像局部特征首先对待处理的图像进行等比例缩放，约束其最小边的长度为256个像素点；然后对缩放后的图像进行增广，获取多个固定大小(227×227)的图像区域(例如，中间区域，左上角区域，左下角区域，右上角区域，右下角区域)以及它们的镜像图像。图像经过增广后可以得到B个相同大小的子图像，每一个子图像代表原图像的一个特定的区域。对图像的增广可以进一步丰富图像信息，并且有效地缓解空间与尺度的变化带来的噪声干扰。将增广得到的每一个子图像输入网络CNN_Ly8_FT，取最后一个卷积层的本文档来自技高网...

【技术保护点】
一种大规模数据背景下的快速有效的图像检索方法，其特征在于，步骤如下：步骤一，基于迁移学习和深层卷积神经网络的局部图像局部特征提取(1)深层卷积神经网络的训练与迁移学习首先在大规模图像数据集ImageNet上训练一个卷积神经网络CNN_Ly8，CNN_Ly8是一个8层的卷积神经网络，其前5层为卷积层，后3层为全连接层；使用给定检索数据集的训练图像样本对CNN_Ly8进行参数微调，得到迁移学习后的网络，记为CNN_Ly8_FT；(2)使用网络CNN_Ly8_FT提取图像局部特征对待处理的图像进行等比例缩放，约束其最小边的长度为256个像素点；对缩放后的图像进行增广，获取多个固定大小的图像区域以及对应的镜像图像；图像经过增广后得到B个相同大小的子图像，每一个子图像代表原图像的一个特定的区域；将增广得到的每一个子图像输入网络CNN_Ly8_FT，取最后一个卷积层的输出作为图像局部特征；每一个子图像得到一个h×w×d的图像局部特征张量，其中h×w是局部特征的个数，d是局部特征的维度；当输入的子图像为正方形时，得到的特征中h＝w；一幅图像的B个子图像一共得到M×d的局部特征，其中M＝B×h×h代表一幅图像提取的局部特征的总数；步骤二，基于一阶空间均值池化和鲁棒协方差估计的图像局部特征建模对步骤一获得的图像局部特征进行两种相互独立的方式建模，分别为一阶的空间均值池化建模与二阶的鲁棒估计的协方差建模；两种建模方式如下：1)计算SMP特征建模向量ysa)对图像局部特征划分空间位置区域对任意子图像提取的h×w×d的图像局部特征，依照特征的空间位置划分子区域：以步长为s，边长为b将特征张量按照(h,w)面划分为L个重叠的正方形子区域；将每个区域中包含的b×b个图像局部特征记为区域特征张量；b)对区域特征张量进行局部空间表达对于每个区域特征张量，依次级联其包含的b×b个图像局部特征，得到一个维度为D＝b×b×d的向量，即为该区域特征张量的局部空间表达；c)对得到的L个局部空间表达进行平均聚合利用平均聚合方法求L个局部空间表达向量的均值向量，得到图像局部特征的SMP建模向量ys；d)归一化使用公式ys←sign(ys)|ys|β对ys进行归一化，其中β＝0.75；2)计算R‑COV特征建模向量ycR‑COV建模方式在传统的最大似然估计的基础上引入一个正则项，约束将要估计的协方差与单位矩阵的冯纽曼矩阵散度最小，代价函数为minC~{log(|C‾|)+tr(C‾-1C)+θDvN(I,C‾)},DvN(I,C‾)=tr{log(I)-log(C‾)-I+C‾).---(1)]]>其中：C是通过协方差公式直接计算的图像局部特征的采样协方差矩阵，是鲁棒估计的协方差矩阵，I是与C维度相同的单位阵，θ是正则项系数，log(·)表示求矩阵的对数运算，tr(·)为矩阵的迹；鲁棒估计的协方差矩阵的表达式：C‾=UΛ‾UT,λ‾i=(1-θ2θ)2+λiθ-1-θ2θ---(2)]]>其中：为一个由特征值组成的对角矩阵，λi＝1,2,...,d与U分别为采样协方差矩阵C的特征值和特征向量矩阵，(·)T表示矩阵的转置；计算鲁棒的协方差R‑COV的步骤如下：(a)计算图像局部特征的采样协方差矩阵C利用步骤一中提取的图像局部特征，使用以下公式计算采样协方差：C=1M-1Σi=1M(xi-μ)(xi-μ)T---(3)]]>其中：{xi},i＝1,...,M为一幅图像所提取的全部局部特征，M为特征个数，μ为图像局部特征的均值向量；(b)对采样协方差C进行特征值分解C的特征值分解得到C＝UΛUT，其中Λ为对角矩阵，对角元素为C的特征值{λ1,…,λd}，U为特征值对应的特征向量矩阵；(c)计算鲁棒估计的协方差矩阵利用以下公式对Λ的对角元进行处理，得到新的特征值矩阵λ‾i=(1-θ2θ)2+λiθ-1-θ2θ]]>其中：θ为代价函数定义的正则项系数，λi＝1,2,...,d为采样协方差矩阵C的特征值；由此得到鲁棒估计的协方差矩阵(d)向量化协方差矩阵由于具有对称性，通过取其上三角元素的方法将其向量化，得到R‑COV的建模向量(e)归一化使用公式yc←sign(yc)|yc|β对yc进行归一化，其中β＝0.75；步骤三，对特征建模向量ys和yc进行基于大间隔子空间的判别学习使用有标签的训练集图像的标签信息...

【技术特征摘要】
1.一种大规模数据背景下的快速有效的图像检索方法，其特征在于，步骤如下：步骤一，基于迁移学习和深层卷积神经网络的局部图像局部特征提取(1)深层卷积神经网络的训练与迁移学习首先在大规模图像数据集ImageNet上训练一个卷积神经网络CNN_Ly8，CNN_Ly8是一个8层的卷积神经网络，其前5层为卷积层，后3层为全连接层；使用给定检索数据集的训练图像样本对CNN_Ly8进行参数微调，得到迁移学习后的网络，记为CNN_Ly8_FT；(2)使用网络CNN_Ly8_FT提取图像局部特征对待处理的图像进行等比例缩放，约束其最小边的长度为256个像素点；对缩放后的图像进行增广，获取多个固定大小的图像区域以及对应的镜像图像；图像经过增广后得到B个相同大小的子图像，每一个子图像代表原图像的一个特定的区域；将增广得到的每一个子图像输入网络CNN_Ly8_FT，取最后一个卷积层的输出作为图像局部特征；每一个子图像得到一个h×w×d的图像局部特征张量，其中h×w是局部特征的个数，d是局部特征的维度；当输入的子图像为正方形时，得到的特征中h＝w；一幅图像的B个子图像一共得到M×d的局部特征，其中M＝B×h×h代表一幅图像提取的局部特征的总数；步骤二，基于一阶空间均值池化和鲁棒协方差估计的图像局部特征建模对步骤一获得的图像局部特征进行两种相互独立的方式建模，分别为一阶的空间均值池化建模与二阶的鲁棒估计的协方差建模；两种建模方式如下：1)计算SMP特征建模向量ysa)对图像局部特征划分空间位置区域对任意子图像提取的h×w×d的图像局部特征，依照特征的空间位置划分子区域：以步长为s，边长为b将特征张量按照(h,w)面划分为L个重叠的正方形子区域；将每个区域中包含的b×b个图像局部特征记为区域特征张量；b)对区域特征张量进行局部空间表达对于每个区域特征张量，依次级联其包含的b×b个图像局部特征，得到一个维度为D＝b×b×d的向量，即为该区域特征张量的局部空间表达；c)对得到的L个局部空间表达进行平均聚合利用平均聚合方法求L个局部空间表达向量的均值向量，得到图像局部特征的SMP建模向量ys；d)归一化使用公式ys←sign(ys)|ys|β对ys进行归一化，其中β＝0.75；2...

【专利技术属性】
技术研发人员：李培华，王旗龙，曾辉，孙伟健，鲁潇潇，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21