The invention relates to the field of digital media, and provides an object level depth feature aggregation method for image retrieval. The method of unsupervised generation may contain candidate regions of the object, then the corresponding convolution neural network feature extraction, the final polymerization of these regional characteristic image features with high robustness to image transform representation for image retrieval applications. The present invention model for the lack of geometric transformation invariance and spatial layout, based on the way to the object, solves the defects of the existing technology, the image features generated by this method has high robustness to the image geometry transform and spatial layout transformation, improves the image retrieval accuracy, image feature and obtain very compact simple, reduce the complexity of image similarity calculation, improves the efficiency of retrieval.
【技术实现步骤摘要】
本专利技术属于数字媒体领域,涉及一种面向图像检索的对象级深度特征聚合方法。
技术介绍
基于内容的图像检索作为计算机视觉领域的一个重要研究问题,在过去的十年里受到国内外学者的广泛关注。基于内容的图像检索是指从图像数据库中查找出与查询图像相似的图像。因为拍摄时角度、距离、环境等因素的不同,会造成相似或相同的拍摄对象在不同图像有着很大的变化,如尺度、视角、布局等变化。因此生成一个对各种图像变化具有高鲁棒性的图像特征,是解决图像检索问题的关键。相对于传统的基于人工设计的图像特征,基于学习的方法尤其是卷积神经网络已经在图像特征提取上显示出的强大的能力,在图像分类和目标检测等计算机视觉任务上取得了巨大的成功。在图像检索问题中,目前有基于全局和基于局部两种卷积神经网络特征表示方法。基于全局的方法,直接使用卷积神经网络提取整幅图像的特征,作为最终的图像特征。但是因为卷积神经网络主要对全局空间信息进行编码,导致所得特征缺乏对图像的尺度、旋转、平移等几何变换和空间布局变化的不变性,限制了其对于高度易变图像检索的鲁棒性。对于基于局部的方法,使用卷积神经网络提取图像局部区域的特征,然后聚合这些区域特征生成最终的图像特征。虽然这些方法考虑到了图像的局部信息,使得特征相对于全局方法对各类变化具有更高的鲁棒性,但是这些方法中仍有一些缺陷。例如使用滑动窗口的方法来得到图像区域(参考YunchaoGong,LiweiWang,RuiqiGuo,SvetlanaLazebnik在EuropeanConferenceonComputerVision2014年第392-407页发表的文章“Mu ...
【技术保护点】
一种面向图像检索的对象级深度特征聚合方法,其特征在于以下步骤:步骤1,对数据库中的每一张图像采用Selective Search算法提取候选区域,生成图像候选区域;步骤2,选择卷积神经网络结构模型,并在公共数据库上对卷积神经网络进行预训练;步骤3,采用训练完成的卷积神经网络提取所有图像候选区域的特征3.1)将图像候选区域缩放填充到固定大小后,作为卷积神经网络的输入;3.2)将卷积神经网络的全连接层FC7的输出作为该图像候选区域的描述特征;步骤4,对步骤3得到的候选区域的描述特征采用主成分分析算法进行降维,将其维度降为N维,得到低维候选区域特征;步骤5,对步骤4得到的低维候选区域特征采用K均值聚类算法进行无监督聚类,聚成K个聚类中心;步骤6,对步骤4得到的属于同一张图像的低维候选区域特征和步骤5得到的K个聚类中心,采用VLAD算法进行聚合,每张图像得到一个维度为N*K维的VLAD特征;步骤7,对步骤6得到的VLAD特征采用主成分分析算法进行降维,将其维度降为D维,生成简洁的图像特征。
【技术特征摘要】
1.一种面向图像检索的对象级深度特征聚合方法,其特征在于以下步骤:步骤1,对数据库中的每一张图像采用SelectiveSearch算法提取候选区域,生成图像候选区域;步骤2,选择卷积神经网络结构模型,并在公共数据库上对卷积神经网络进行预训练;步骤3,采用训练完成的卷积神经网络提取所有图像候选区域的特征3.1)将图像候选区域缩放填充到固定大小后,作为卷积神经网络的输入;3.2)将卷积神经网络的全连接层FC7的输出作为该图像候选区域的描述特征;步骤...
【专利技术属性】
技术研发人员:李豪杰,暴雨,樊鑫,罗钟铉,
申请(专利权)人:大连理工大学,
类型:发明
国别省市:辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。