基于视觉词组的图像检索方法技术

本发明专利技术公开一种计算机信息处理技术领域的基于视觉词组的图像检索方法，首先对标准图像和待检索图像分别提取显著性区域，并在显著性区域中提取特征描述子，然后对标准图像库中的特征描述子采用随机kd树进行聚类，接着将标准图像和待检索图像的特征描述子分别通过视觉词组进行表示，并根据标准图像的视觉词组创建二维倒排索引，最后将由视觉词组表示的待检索图像的特征描述子在二维倒排索引中进行相似性搜索以及空间几何关系度量，给出最终检索结果。本发明专利技术在保证检索准确率的情况下，降低了检索过程的计算量，提高了检索的实时性。

【技术实现步骤摘要】

本专利技术涉及的是计算机信息处理
的方法，具体是一种。
技术介绍
随着具有拍照功能的手机价格更加低廉以及互联网的发展，图像的获取更加简捷方便，图像数量也呈现爆炸性的增长。图像数量的快速增长对图像数据的存储、搜索和组织提出了巨大的挑战和考验。在现实生活中，如何在大规模图像库中根据手机拍摄图像获取最有用的信息，成为人们关注和研究的焦点之一。图像检索技术是指根据查询图像内容信息或者指定查询标准，在标准图像库中进行搜索并查找出符合条件的相关图像。传统的图像检索技术大多采用基于文本的检索方法，它沿用了传统的文本检索技术，从图像名称、图像尺寸、压缩类型、作者、年代等方面描述图像，通过关键词的形式查询图像。基于文本的图像检索技术，不能对图像低层特征元素进行客观分析和描述，逐渐被基于内容的图像检索技术所取代。基于内容的图像检索技术，早期大多采用颜色、纹理、形状等全局特征进行相似性搜索，但是这些特征对于光照、遮挡以及几何形变等不具有稳健性，因此逐渐被SIFT、SURF 等局部不变性特征描述子所取代。与传统的图像全局特征相比，图像的局部不变性特征具有更好的唯一性、不变性和鲁棒性，能够适应图像背景混杂、局部遮挡、光线变化等各种情况，因此适用于在各种情况下拍摄的手机图像。将图像的局部不变性特征进行聚类量化，并在高维索引结构中进行相似性搜索，即可根据手机拍摄图像在标准图像库中查询出相关结^ ο经对现有技术的文献检索发现，Andrew Zisserman等在专利“Object Retrieval”(美国专利号为US 2005/0225678 Al，公开日期为2005年12月13日)中提供了用户在图像中自定义目标进行检索的方法。在该方法中，首先采用形状自适应与最大稳健区域进行特征提取，并采用SIFT描述子进行特征描述，然后采用K-Means聚类方法对所有 SIFT描述子进行聚类，创建视觉码书，接着进行标准图像矢量化，并根据标准图像矢量的稀疏性创建倒排索引，进行相似性搜索。在创建视觉码书的过程中，标准图像中的每个SIFT 描述子通过一个聚类中心进行表示，从而降低了同一类别SIFT描述子之间的区分性，造成了量化损失。在待检索图像查询过程中，必须先对待检索图像的SIFT描述子进行矢量化， 然后才能在倒排索引中进行相似性查询，待检索图像矢量化过程以及待检索图像和标准图像相似性度量过程耗费了不少时间，从而降低了检索的实时性。进一步检索发现，DavidNister等在专利“Salable Object Recognition Using Hierarchical Quantization with a Vocabulary Tree”(美国专利号为 US7725484 B2，公开日期为2010年5月25日)中提供了一种图像检索方法。该方法在K-Means聚类的基础上引入了分层的概念，虽然降低了传统K-Means聚类的时间，但是属于同一类别的描述子往往会被划分到不同的类别中，以及同一类别SIFT描述子之间不存在区分性的问题，造成了更大的量化损失。在待检索图像查询的过程中，由于同样要进行矢量化以及倒排索引相似性搜索，从而也降低了检索的实时性。
技术实现思路
本专利技术针对现有技术存在的上述不足，提供一种， 通过基于视觉词组的二维倒排索引以及对图像进行空间几何关系度量得以实现，能够提高图像中尺度不变描述子的区分性，并在保证检索准确率的同时，降低检索过程中的计算量， 提高了检索的实时性。本专利技术是通过以下技术方案来实现的，本专利技术具体为首先对标准图像和待检索图像分别提取显著性区域，并在显著性区域中提取特征描述子；然后对标准图像库中的特征描述子采用随机kd树进行聚类； 接着将标准图像和待检索图像的特征描述子分别通过视觉词组进行表示，并根据标准图像的视觉词组创建二维倒排索引；最后将由视觉词组表示的待检索图像的特征描述子在二维倒排索引中进行相似性搜索以及空间几何关系度量，给出最终检索结果。所述的对标准图像和待检索图像分别提取显著性区域是指将图像从空间坐标变换到频率坐标，计算图像的对数谱，并将其与滤波后的对数谱进行差分得到谱残差，进而反变换得到显著性区域。进一步的，所述的提取显著性区域包括离线处理和实时处理两个步骤，其中 在离线处理中，对于标准图像库JD (JiJ2,…，Js)中的图像丨(iDXX…JV),提取到的显著性区域为马D is^l-^y ,其中IA…，两)是图像Zf中的第I个显著性区域，是图像各中显著性区域的个数。在实时处理中，对于待检索图像Q，提取到的显著性区域为冬！]^1，!·2，…》,)，其中妒(ptllA-vK)是待检索图像Q中第P个显著性区域，I是待检索图像Q中显著性区域的个数。所述的提取特征描述子是指在提取到的显著性区域中首先采用高斯差分算子 (Different of Gaussian, DOG)进行特征点检测，然后将每个高斯差分算子通过尺度不变描述子(Scale Invariant Feature Transformation, SIFT)进行描述。进一步的，所述的提取特征描述子包括离线处理和实时处理两个步骤，其中在离线处理中，在图像&提取到的显著性区域馮中，提取到的SIFT描述子表示为ti:fXk…為、是图像乙中第r个描述子，维数为128维，^是图像i中SIFT描述子的个数。标准图像库中全部SIFT描述子表示为JTD PTtZ23…，^r)。在实时处理中，在待检索图像Q提取到的显著性区域冬中，提取到的SIFT描述子表示为 □(/，/，---，/，其中Ζ&[]1Α---，Ι5是图像Q中第g个描述子，维数为1 维，L是图像Q中SIFT描述子的个数。所述的对标准图像的特征描述子进行聚类是指在离线处理中，聚类过程中采用随机kd树进行近似最近邻搜索，将特征描述子划分到对应的类别，并在多次迭代后确定聚类中心。所述采用随机kd树进行聚类的步骤包括1)在全部SIFT描述子JT中随机选择fc个对象作为聚类中心本文档来自技高网...

【技术保护点】
１．一种基于视觉词组的图像检索方法，其特征在于具体为：首先对标准图像和待检索图像分别提取显著性区域，并在显著性区域中提取特征描述子；然后对标准图像库中的特征描述子采用随机ｋｄ树进行聚类；接着将标准图像和待检索图像的特征描述子分别通过视觉词组进行表示，并根据标准图像的视觉词组创建二维倒排索引；最后将由视觉词组表示的待检索图像的特征描述子在二维倒排索引中进行相似性搜索以及空间几何关系度量，给出最终检索结果。

【技术特征摘要】
1.一种基于视觉词组的图像检索方法，其特征在于具体为首先对标准图像和待检索图像分别提取显著性区域，并在显著性区域中提取特征描述子；然后对标准图像库中的特征描述子采用随机kd树进行聚类； 接着将标准图像和待检索图像的特征描述子分别通过视觉词组进行表示，并根据标准图像的视觉词组创建二维倒排索引；最后将由视觉词组表示的待检索图像的特征描述子在二维倒排索引中进行相似性搜索以及空间几何关系度量，给出最终检索结果。2.根据权利要求1所述的基于视觉词组的图像检索方法，其特征是，所述的对标准图像和待检索图像分别提取显著性区域是指将图像从空间坐标变换到频率坐标，计算图像的对数谱，并将其与滤波后的对数谱进行差分得到谱残差，进而反变换得到显著性区域；所述的提取特征描述子是指在提取到的显著性区域中首先采用高斯差分算子进行特征点检测，然后将每个高斯差分算子通过尺度不变描述子进行描述。3.根据权利要求1或2所述的基于视觉词组的图像检索方法，其特征是，所述的提取显著性区域包括离线处理和实时处理两个步骤，其中所述离线处理中，在图像“提取到的显著性区域馮中，获取到的SIFT描述子表示为式13(1^||，--^ ),其中 ^irU IA-^)是图像^中第r个描述子，维数为1 维，是图像中SIFT描述子的个数，标准图像库中全部SIFT描述子表示为.If」(Jf1,JT2,-- ,Xj,);所述实时处理中，在待检索图像Q提取到的显著性区域&中，获取到的SIFT描述子表示为A□ (/ /,-,/),其中□ …，￡)是图像Q中第ff个描述子，维数为1 维，￡是图像Q中SIFT描述子的个数。4.根据权利要求1或2所述的基于视觉词组的图像检索方法，其特征是，所述的提取特征描述子包括离线处理和实时处理两个步骤，其中所述离线处理中，在图像易提取到的显著性区域S中，获取到的SIFT描述子表示为 JTiIl (巧1，^，…，^ ,其中IX-,ι%)是图像中第『个描述子，维数为1 维，巧是图像矣中SIFT描述子的个数，标准图像库中全部SIFT描述子表示为JTD (JHf^Tjr)； 所述实时处理中，在待检索图像Q提取到的显著性区域^中，获取到的SIFT描述子表示为Λ □,其中Zfe □ IX-·,L)是图像Q中第ff个描述子，维数为1 维，￡是图像Q中SIFT描述子的个数。5.根据权利要求1所述的基于视觉词组的图像检索方法，其特征是，所述的对标准图像的特征描述子进行聚类是指在离线处理中，聚类过程中采用随机kd树进行近似最近邻搜索，将特征描述子划分到对应的类别，并在多次迭代后确定聚类中心；采用随机kd树确定聚类中心的步骤包括在全部SIFT描述子I中随机选择fc个对象作为聚类中心CD Cck^3-,1 )；根据聚类中心C创建随机kd树，随机kd树中的每个节点在多个较大方差值对应的维数中随机选择，节点的分割阈值在对应维数靠近中值的元素中随机选择；对SIFT描述子JT采用随机kd树进行近似最近邻搜索，将每个SIFT描述子划分到对应的类别中；重新计算每个类别的均值，确定新的聚类中心；重复步骤2) —4)，设迭代的次数为ff次，直到每个类别不再发生变化为止。6.根据权利要求1所述的基于视觉词组的图像检索方法，其特征是，所述的将标准图像和待检索图像的特征描述子分别通过视觉词组进行表示是指在聚类完成后，根据随机 kd树确定每个SI...

【专利技术属性】
技术研发人员：冯德瀛，杨杰，杨程，刘从新，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31