图像检索中基于密度的几何校验方法技术

本发明专利技术提供一种图像匹配中基于密度的几何校验方法，包括步骤：1)产生2幅图像的候选特征匹配对集合；2)对候选特征匹配对集合中每个匹配对，估计其在霍夫空间的概率密度，并将该匹配对的概率密度作为它匹配得分的权重因子；3)累加特征匹配对集合中所有特征匹配对的匹配得分得到图像间的匹配得分，作为2幅图像间的相似度。本发明专利技术给位于霍夫空间中密度较大区域的匹配对赋予较大的权重，位于密度较小的区域的赋予较小的权重，来反映匹配对正确的可能性，能够处理多模型的匹配，在保留了霍夫投票方法高效率优点的同时，带来了更大的灵活性。

【技术实现步骤摘要】

本专利技术涉及图像处理技术。技术背景在过去的几十年中，图像检索受到了越来越多的关注。自从2003年，词袋BoW(BagofWords)模型被引入图像检索以来，由于该模型的效率和有效性，使它成为当前最流行的图像检索模型。在BoW模型中，先从图像中提取出局部特征，比如尺度不变特征变换SIFT(Scale-InvariantFeatureTransform)特征，然后根据视觉词典把局部特征描述子量化成视觉单词，这种视觉词典是事先通过对训练用的大量局部特征描述子聚类而形成的。这样，图像就可以用视觉单词的频率直方图来表示。在检索阶段，对数据库图像根据它与查询图像直方图表示间的相似性度量进行排序。研究表明基于BoW的图像检索方法本质上是一种基于近似特征匹配的投票方法。具体地说，如果一个查询图像的特征和一个数据库图像的特征属于同一个视觉单词，它们就被认为匹配，最后把匹配对的总数通过除以两幅图像特征数的乘积来归一化，得到两幅图像的相似度(对应于BoW模型中采用向量点积计算相似度)。BoW避免了逐对评估特征描述子间的相似性，因而这种匹配方法有很高的效率，可以用于大规模图像检索中。但是这种基于视觉单词的匹配方法的一个主要缺点是它忽略了局部特征间的空间关系，从而制约了它的检索精度。为了解决这个问题，研究者提出几何校验的方法，它通过检验查询图像和数据库图像间特征匹配的几何一致性来去除错误的匹配。考虑到检索的效率，几何校验往往用于对初始检索结果的前N幅图像进行重排序。通过匹配两幅图像的局部特征可以衡量两幅图像间的相似性，局部特征间的匹配往往是通过它们描述子间的相似性或距离来衡量，基于视觉单词的匹配方法近似地完成这样的匹配。由于局部特征的歧义性以及存在来自杂乱背景的局部特征，这种匹配方法会产生很多错误匹配。一个解决的途径就是对上述方法产生的候选匹配进行几何一致性的校验，去除与其它匹配不一致的匹配，也就是一些奇异点。一个经典的几何校验方法是随机抽样一致性算法RANSAC(RandomSampleConsensus)，它通过迭代来搜索拥有最多内点(inlier)的图像变换模型来进行几何校验。但是RANSAC方法计算复杂度非常高，并且在内点的比例小于50％的时候表现很差。Philbin等人使用基于RANSAC的方法去估计一个仿射变化，其中可以通过一个局部特征匹配对得到一个有限自由度的仿射变换假设。匹配就变成了通过枚举所有的假设来决定。但是这种方法的时间复杂度也是匹配对数量的二次方。和RANSAC方法不同，霍夫投票法对图像变换模型的参数空间(霍夫空间)用均匀的网格进行划分，根据拥有最多匹配对的格子得到图像的变换模型。每个局部特征点有四个参数，分别是二维位置坐标、尺度、方向，因此每个匹配对的两个局部特征的四个参数的差就可以作为相似变换(SimilarityTransform)的参数：平移、尺度变化、旋转，从而作为这个4维的霍夫空间中的一个投票。为了适应大规模图像检索的要求，弱几何一致WGC(WeakGeometricConsistency)方法被提了出来。WGC假设正确匹配对具有相似的尺度和旋转变换参数，分别在尺度和角度的空间中构造直方图，以它们峰值的较小者作为正确的匹配数来衡量图像间的相似度，这种方法可以看成霍夫投票法的一种为提高效率进行的改进。后续有很多工作对WGC进行了扩展。为了进一步利用平移参数，增强的弱几何校验方法E-WGC使用平移参数的L2范数的直方图的峰值对图像进行重排序。在现有基于霍夫投票的方法中，均只选择拥有匹配对最多的网格中的匹配对作为正确匹配对，排除其他网格中的匹配对，这样能够提高检索效率。基于RANSAC的方法和基于霍夫投票的方法都假设两幅图像间的存在一个全局的变换模型，但这个假设太强了。实际上，一幅图像中的场景或目标可能包括多个平面甚至非平面，因此两幅图像间的变换往往存在多模型(multi-model)的情况。虽然前人提出了不少用于多模型的模型估计的方法，比如：SequentialRANSAC、Multi-RANSAC、J-linkage和mean-shift等。但是这些方法都比较耗时，不适合应用于图像检索中。近年来出现的HPM(HoughPyramidMatching)方法通过对霍夫空间进行金字塔式划分，在同一个网格中的匹配被认为是邻近的，或一致的。网格的大小就反映了邻近的程度。并把匹配的近邻数作为该匹配的得分，用所有匹配得分的和来度量图像间的相似性。为保证特征点之间满足一对一映射的原则，该方法采用了一种激进的策略来去除多重匹配，但这会去除一些正确的匹配从而影响匹配的精度。另外，该方法把多重匹配去除和匹配得分的累计过程耦合在一起，从而影响算法的灵活性和效率。更重要的，该方法没有以概率密度的观点来考虑匹配的近邻关系，从而制约了该方法的灵活性和通用性。
技术实现思路
本专利技术所要解决的技术问题是，为图像检索提供一种支持多模型匹配的高效的几何校验方法。本专利技术为解决上述技术问题所采用的技术方案是，图像匹配中基于密度的几何校验方法，包括以下步骤：1)产生2幅图像的候选特征匹配对集合；2)对候选特征匹配对集合中每个匹配对，估计其在霍夫空间的概率密度，并将该匹配对的概率密度作为它匹配得分的权重因子；3)累加特征匹配对集合中所有特征匹配对的匹配得分得到图像间的匹配得分，作为2幅图像间的相似度。与传统的几何校验的方法不同，本专利技术并不直接去除可能错误的匹配对，而给位于霍夫空间中密度较大区域的匹配对赋予较大的权重，位于密度较小的区域的赋予较小的权重，来反映匹配对正确的可能性。和之前基于霍夫投票的方法用霍夫空间中密度最大的网格来估计一个全局的变换模型不同，本专利技术允许多个变换模型或一个模型的多个示例存在。这样，也就允许多侧面或者多物体的匹配，能反映图像间目标的多种几何变换。本专利技术方法和HPM方法相比，把多重匹配去除和匹配得分累计分割开来，而不是耦合在一起，使框架更灵活，方便不同多重匹配去除或其它轻量级的错误匹配去除方法的采用。另外，我们首次明确地把概率密度作为匹配的权重得分，这样就可以尝试采用不同的概率密度估计方法。同时，我们的专利技术也是一种更通用的方法，之前的很多方法可以看出它的特例，例如：基于霍夫投票的方法可以看成采用基于直方图密度估计以及采用赢者通吃的权重计算方法，而HPM可以大致看成是采用多分辨率的直方图密度估计。本专利技术的有益之处是，能够处理多模型的匹配(multi-modelmatching)，在保留了霍夫投票方法高效率优点的同时，带来了更大的灵活性。具体实施方式先介绍基于视觉单词的特征匹配。给定一幅图像中的一个局部特征i和另一幅图像中的一个局部特征j，基于视觉单词的特征匹配函数如下：其中，q(i)和q(j)代表这两个局部特征对应的视觉单词，即当两个特征属于同一个视觉单词时认为它们匹配。如果采用了汉明嵌入(HammingEmbedding)，这特征匹配函数变为：其中，b(i)和b(j)代表这两个局部特征对应的汉明编码，也就是两个特征匹配不但要求它们的对应的视觉单词相同，而且要求它们的汉明编码的距离足够小，即小于阈值τh。把上述特征匹配函数作为特征对的匹配得分s(i,j)。然后，累计所有特征对的匹配得分就得到两幅图像的匹本文档来自技高网...

【技术保护点】
图像检索中基于密度的几何校验方法，其特征在于，包括以下步骤：1)产生2幅图像的候选特征匹配对集合；2)对候选特征匹配对集合中每个匹配对，估计其在霍夫空间的概率密度，并将该匹配对的概率密度作为它匹配得分的权重因子；3)累加特征匹配对集合中所有特征匹配对的匹配得分得到图像间的匹配得分，作为2幅图像间的相似度。

【技术特征摘要】
1.图像检索中基于密度的几何校验方法，其特征在于，包括以下步骤：1)产生2幅图像的候选特征匹配对集合；2)对候选特征匹配对集合中每个匹配对，估计其在霍夫空间的概率密度，并将该匹配对的概率密度作为它匹配得分的权重因子；3)累加特征匹配对集合中所有特征匹配对的匹配得分得到图像间的匹配得分，作为2幅图像间的相似度。2.如权利要求1所述的图像检索中基于密度的几何校验方法，其特征在于，步骤1)中利用基于视觉单词的匹配来产生2幅图像间的特征匹配对，从而...

【专利技术属性】
技术研发人员：吴洪，衡星，郑德练，徐增林，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51