一种基于视觉词典优化和查询扩展的图像检索方法技术

本发明专利技术公开了一种基于视觉词典优化和查询扩展的图像检索方法，包括：提取训练图像的SIFT特征，并利用基于密度的聚类方法对SIFT特征进行聚类，生成视觉词典组；通过卡方模型分析视觉单词与目标类别的相关性大小，同时结合视觉单词词频滤除一定数量的视觉停用词；将SIFT特征与优化后的视觉词典进行映射匹配，得到视觉词汇直方图；将查询图像的视觉词汇直方图与训练图像的视觉词汇直方图进行相似性匹配，根据初次匹配结果并结合查询扩展策略进行二次或多次检索，得到最终检索结果。本发明专利技术提供一种提高图像检索准确率为目的的基于视觉词典优化和查询扩展的图像检索方法。

【技术实现步骤摘要】

本专利技术涉及一种图像检索方法，特别是涉及一种基于视觉词典优化和查询扩展的图像检索方法。
技术介绍
视觉词典方法(Bag of Visual Words,BoVW)通过视觉词典将图像的局部特征量化为词频向量进行检索，既能利用图像局部信息，又能达到比局部特征直接检索更快的速度，成为当前图像检索的主流方法。但是基于BoVW的图像检索方法存在以下问题：一是当前生成视觉词典的聚类算法时间效率低、计算量大，使得BoVW难以应用于大规模数据集；二是由于聚类算法的局限性和图像背景噪声的存在，使得视觉词典中存在不包含目标信息的视觉单词，严重影响视觉词典质量；三是没有充分利用初次检索结果中的有用信息，使得检索效果不理想。针对视觉词典生成效率低问题，Philbin等将KD-Tree引入K-means中提出近似K-Means利用KD-Tree对聚类中心构建索引目录，加速寻找最近聚类中心以提高聚类效率。Nister等提出了层次K-means将时间复杂度降为，但是该方法忽略了特征维数d对聚类效率的影响。为此，研究者们提出基于降维的聚类方法，如主成分分析、自组织特征映射等，主要思路是利用降维算法对高维特征数据进行降维，再用聚类算法对降维后的特征点进行聚类。此外，Mclachlan通过构造混合概率分布函数来拟合数据集，但是该方法需要待聚类数据的先验知识，而且其聚类准确率依赖于密度函数的构造质量。因此，本专利技术的第一个特点是利用基于密度的聚类方法生成视觉词典，既不需要设置初始聚类中心也不用设计目标函数，避免了初值选取对聚类结果的影响，而且有效提高了视觉词典生成效率。不包含目标信息的视觉单词类似于文本中的“是”、“的”、“了”等停用词，这里称其为“视觉停用词”，去除“视觉停用词”不仅能缩小词典规模，还能提高检索准确率。针对“视觉停用词”去除问题，Sivic等认为“视觉停用词”与其出现的频率存在一定关系，提出一种基于词频的去除方法。Yuan等通过统计视觉短语(即视觉单词组合)的出现概率滤除无用信息，Fulkerson等则利用信息瓶颈准则滤除一定数量的视觉单词。但是，上述方法仅在视觉单词层面考虑如何过滤“视觉停用词”。因此，本专利技术的第二个特点是利用视觉单词与图像语义概念之间的相互关系度量视觉单词包含的语义信息，能更加准确地去除“视觉停用词”。为利用初次检索结果中的有用信息，丰富原有查询的信息量，Perd'och等提出平均查询扩展策略，将初始检索结果的图像特征平均值作为新的查询实例，结合二次检索结果对初次检索得到的图像进行重排序。Shen等[13]对查询图像的K近邻进行多次检索，对多次检索结果进行重排序得到最终检索结果。Chum等则利用查询图像和检索结果中的上下文语义信息提出了自动查询扩展方法，有效提高了检索准确率。然而，现有的查询扩展方法依赖于较高的初始准确率，在初始准确率较低时，初始检索结果中的不相关图像会带来负面影响。因此，本专利技术的第三个特点是通过连接图查找与查询图像相关的图像作为扩展项，并对初始检索结果进行重排序，降低了初始检索中不相关图像的影响，提高了图像检索准确率。
技术实现思路
本专利技术克服了现有技术中，当前图像检索存在检索准确率低、抗干扰能力差等问题，提供一种提高图像检索准确率为目的的基于视觉词典优化和查询扩展的图像检索方法。本专利技术解决其技术问题所采用的技术方案是：一种具有以下步骤的基于视觉词典优化和查询扩展的图像检索方法，包括如下步骤：一种基于视觉词典优化和查询扩展的图像检索方法，其特征在于，包括：提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组；利用卡方模型获取视觉单词与各目标图像类别相关性；结合相关性和视觉单词词频过滤掉与目标图像类别无关的视觉停用词，获得优化后的视觉词典；提取查询图像的SIFT特征，将训练图像和查询图像的SIFT特征与优化后的视觉词典进行映射匹配，得到各自的视觉词汇直方图，将查询图像的视觉词汇直方图与训练图像的视觉词汇直方图进行相似性匹配，得到初始检索结果；根据视觉词汇直方图之间的相似性确定互相关图像，找到与查询图像相关的密度最大子图；利用最大密度子图查找算法在连接图中查找查询图像的信任图像，对初始检索结果进行重排序，得到最终检索结果。所述提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组，包括：利用局部特征提取算子从训练图像中提取SIFT特征；通过利用基于密度的聚类方法对SIFT特征进行聚类，聚类得到的每个聚类中心代表一个视觉单词，所述视觉单词组成视觉词典；提取查询图像的SIFT特征，将SIFT特征映射到距离最近的视觉单词中，统计得到查询图像的视觉词汇直方图。所述基于密度的聚类方法指通过寻找合适的密度峰值点确定聚类中心，所述聚类中心满足以下条件：聚类中心的密度大于临近数据点的密度；与其它密度更大的数据点距离相距较远。所述利用基于密度的聚类方法对SIFT特征进行聚类，包括：步骤1，对待聚类的数据集中数据点xi，定义ρi表示数据点xi的局部密度，定义δi表示距xi最近且密度更高点的距离；ρi表达式如下所示： ρ i = Σ j χ ( d i j - d c ) ]]>其中，dij为数据集S的数据点xi与xj的距离，dc是设定的距离阈值，局部密度ρi实质是S中与xi距离不超过dc的数据点个数；δi表达式如下所示： δ i = m i n j : ρ j > ρ i ( d i j 本文档来自技高网...

【技术保护点】
一种基于视觉词典优化和查询扩展的图像检索方法，其特征在于，包括：提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组；利用卡方模型获取视觉单词与各目标图像类别相关性；结合相关性和视觉单词词频过滤掉与目标图像类别无关的视觉停用词，获得优化后的视觉词典；提取查询图像的SIFT特征，将训练图像和查询图像的SIFT特征与优化后的视觉词典进行映射匹配，得到各自的视觉词汇直方图，将查询图像的视觉词汇直方图与训练图像的视觉词汇直方图进行相似性匹配，得到初始检索结果；根据视觉词汇直方图之间的相似性确定互相关图像，找到与查询图像相关的密度最大子图；利用最大密度子图查找算法在连接图中查找查询图像的信任图像，对初始检索结果进行重排序，得到最终检索结果。

【技术特征摘要】
1.一种基于视觉词典优化和查询扩展的图像检索方法，其特征在于，包括：提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组；利用卡方模型获取视觉单词与各目标图像类别相关性；结合相关性和视觉单词词频过滤掉与目标图像类别无关的视觉停用词，获得优化后的视觉词典；提取查询图像的SIFT特征，将训练图像和查询图像的SIFT特征与优化后的视觉词典进行映射匹配，得到各自的视觉词汇直方图，将查询图像的视觉词汇直方图与训练图像的视觉词汇直方图进行相似性匹配，得到初始检索结果；根据视觉词汇直方图之间的相似性确定互相关图像，找到与查询图像相关的密度最大子图；利用最大密度子图查找算法在连接图中查找查询图像的信任图像，对初始检索结果进行重排序，得到最终检索结果。2.根据权利要求1所述的基于视觉词典优化和查询扩展的图像检索方法，其特征在于，所述提取训练图像的SIFT特征，利用基于密度的聚类方法对SIFT特征进行聚类，生成由视觉单词组成的视觉词典组，包括：利用局部特征提取算子从训练图像中提取SIFT特征；通过利用基于密度的聚类方法对SIFT特征进行聚类，聚类得到的每个聚类中心代表一个视觉单词，所述视觉单词组成视觉词典；提取查询图像的SIFT特征，将SIFT特征映射到距离最近的视觉单词中，统计得到查询图像的视觉词汇直方图。3.根据权利要求2所述的基于视觉词典优化和查询扩展的图像检索方法，其特征在于，所述基于密度的聚类方法指通过寻找合适的密度峰值点确定聚类中心，所述聚类中心满足以下条件：聚类中心的密度大于临近数据点的密度；与其它密度更大的数据点距离相距较远。4.根据权利要求3所述的基于视觉词典优化和查询扩展的图像检索方法，其特征在于，所述利用基于密度的聚类方法对SIFT特征进行聚类，包括：步骤1，对待聚类的数据集中数据点xi，定义ρi表示数据点xi的局部密度，定义δi表示距xi最近且密度更高点的距离；ρi表达式如下所示： ρ i = Σ j χ ( d i j - d c ) ]]>其中，dij为数据集S的数据点xi与xj的距离，dc是设定的距离阈值，局部密度ρi实质是S中与xi距离不超过dc的数据点个数；δi表达式如下所示： δ i = m i n j : ρ j > ρ i ( d i j ) ρ i < ρ m a x m a x j ( d i j ) ρ i = ρ m a x ]]>其中，δi的物理意义是在局部密度大于ρi的数据点中寻找与xi最近点的距离，其值越大，表示xi与其它高密度点距离越远，则xi越有可能成为聚类中心；当xi为密度最大点时，δi等于与xi相距最远点的距离，该值远远大于其它高密度点的δ值；步骤2，定义γi＝ρiδi作为选取聚类中心的衡量指标，对进行降序排列，选取前若干个数据点作为聚类中心。5.根据权利要求1所述的基于视觉词典优化和查询扩展的图像检索方法，其特征在于，所述利用卡方模型获取视觉单词与各目标图像类别相关性，通过如下计算公式实现： x i 2 = Σ k = 1 2 Σ j = 1 m ( N · n k j ...

【专利技术属性】
技术研发人员：李弼程，柯圣财，赵永威，杜吉祥，刘海建，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建;35