基于局部邻域约束的空间验证的错误匹配检测方法技术

一种基于局部邻域约束的空间验证的错误匹配检测方法，属于图像识别领域。本发明专利技术的目的是通过局部区域内匹配特征对的数量，定义该匹配特征的局部权重，进而过滤不相关的匹配特征对，最后计算相关匹配特征是否满足一致几何变换的基于局部邻域约束的空间验证的错误匹配检测方法。本发明专利技术的步骤是：服务器中图像库图像预先处理，用尺度不变特征变换计算查询图像的SIFT特征，然后使用该词袋模型同样生成一个全局直方图，再使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征，获得最终几何得分，最后对初始检索结果重新排序，得到最终的检索结果。本发明专利技术减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。

【技术实现步骤摘要】
基于局部邻域约束的空间验证的错误匹配检测方法
本专利技术属于图像识别领域。
技术介绍
近几年，在移动计算平台实现PC机上运行的视觉应用成为研究者和使用者的关注点，使用配备相机的手机启动有关视觉目标的搜索查询被称为基于移动平台的目标检索。其在查询电影、光盘（CD）、印刷媒体、识别周围建筑物、艺术品等方面有广泛的应用。在该项技术中，图像间特征误匹配的检测是影响检索性能的重要因素，因此如何利用计算特征间几何变换关系优化候选结果，是这项技术的核心。基于查询图像与图像库中所有图像进行相似性比较，由于图像库中图像在在色调、光照、尺度、旋转和遮挡等方面有些不同，这使得在大规模图像库下检索相似图片变得十分困难。目前众多研究在得到匹配特征后，主要通过几何约束的方式在几何验证步骤中过滤错误的匹配特征对。这些方法通常计算整幅图像中的所有匹配特征对是否满足一致的几何变换关系。然而，在几何验证步骤中，不相关匹配特征的计算对于改善检索性能的作用不大。不论相似区域是图像的一部分还是整幅图像，均满足局部区域中形变相似的特点，因此只需要验证局部区域内的匹配特征是否满足一致的几何关系即可，没有必要计算局部区域外的不相关匹配特征。
技术实现思路
本专利技术的目的是通过局部区域内匹配特征对的数量，定义该匹配特征的局部权重，进而过滤不相关的匹配特征对，最后计算相关匹配特征是否满足一致几何变换的基于局部邻域约束的空间验证的错误匹配检测方法。本专利技术的步骤是：a、服务器中图像库图像预先处理：使用一些关键的特征点来表示一幅图像，用一个尺度不变特征点来表示，其包含的信息有：特征点的描述符des、特征点的位置信息(x,y)、特征点的尺度scl、特征点的方向orien，并使用词袋模型生成全局直方图，每幅图像都用这个全局直方图表示；b、用尺度不变特征变换计算查询图像的SIFT特征；c、根据步骤b所得图像SIFT特征的描述符，使用该词袋模型同样生成一个全局直方图；d、对步骤c与步骤a所得全局直方图利用倒排索引结构计算查询图像与图像库每幅图像的相似得分，并记录图像库图像中最相似的前1000幅检索图像序号；e、根据步骤b中查询图像SIFT特征的位置信息和尺度，与步骤a中所得的前1000幅检索图像SIFT特征的位置、和尺度，使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征；①根据查询图像的SIFT特征与前1000幅检索图像中每幅图像的SIFT特征是否同时量化为相同视觉词，寻找查询图像与每幅检索图像的匹配特征对，其中和分别是查询图像与检索图像的特征；②在步骤①中选择一个匹配对作为测试匹配特征，验证其是否正确；③定义步骤②中测试匹配特征的局部区域，其区域范围的距离定义，其中与表示步骤b查询图像匹配特征的尺度参数与步骤a中候选图像匹配特征的尺度参数；④挑选局部区域中的共同匹配特征，计算该匹配对的局部邻域约束值；共同匹配特征定义如下：其中dist(,)指两点的欧氏距离；⑤计算该匹配对的局部邻域约束值，其中是步骤①中匹配特征对的数量，指步骤④中局部邻域内共同匹配特征的个数；⑥通过测试中心匹配对的局部邻域内共同匹配特征在横向与纵向中的排列顺序是否一致，验证该测试匹配特征是否正确；⑦根据步骤⑥得到的查询图像与候选图像中测试中心匹配对的局部邻域内共同匹配对间的横向坐标关系与纵向坐标关系，对其验证否一致，验证定义式如下：，；⑧根据步骤5.7所得局部邻域中匹配特征在横向与纵向的验证信息，计算该测试中心匹配特征在局部邻域内的几何得分，其中，表示局部邻域匹配特征中，id号为n的特征与id号为m的特征之间的约束关系；⑨如果该得分大于阈值，判断测试匹配对正确，反之，错误，定义阈值；⑩重复步骤②到步骤⑨，直到测试完所有匹配特征对为止；f、根据步骤e中基于局部邻域约束的空间验证的错误匹配检测方法保留下来的匹配特征数量作为查询图像与检索图像间的最终几何得分；g、最后根据步骤f得到的几何得分从大到下的顺序，对初始检索结果重新排序，得到最终的检索结果。本专利技术步骤e中第⑥步是：建立查询图像与候选图像间匹配特征点的排序列表，该列表是根据步骤e第①步所得查询图像与候选图像匹配特征点的位置信息，并以横向与纵向两种方式将特征点的坐标升序排列，生成特征点的横向排列序号与纵向排列序号。本专利技术提出了基于局部区域加权空间约束的错误匹配检测方法，通过去除不相关的匹配特征对，减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。本专利技术的方法具有以下优点：本专利技术对于计算整幅图像中的所有匹配特征对是否满足一致的几何变换关系时，参与计算的不相关匹配特征影响了检索性能的这种缺点。提出了基于局部区域加权空间约束的错误匹配检测方法，通过去除不相关的匹配特征对，减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。本专利技术是一种较快有效的几何验证方法，它能更加鲁棒地检测错误匹配；本专利技术不仅非常简单，而且具有较强的理论背景，本专利技术通过局部区域内匹配特征对的数量，定义该匹配特征的局部权重，进而过滤不相关的匹配特征对，最后计算相关匹配特征是否满足一致的几何变换。通过去除不相关的匹配特征对，减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。并且能从理论角度证明可以处理造成检索图像与目标图像差异的相似性，处理效率很高。附图说明图1是本专利技术局部区域的加权示例流程图；图2是不同值的检索性能对比；图3是不同方法的检索实例,箭头左边为查询图像，箭头右边为前10幅检索图像。(a)BoW;(b)LGSS;(c)WGC;(d)LGC;(e)TSP;(f)RANSAC;(g)GC;(h)Ourmethod。具体实施方式本专利技术的步骤是（局部区域的加权示例流程图见图1）：a、服务器中图像库图像预先处理：使用一些关键的特征点来表示一幅图像，用一个尺度不变特征点（即SIFT特征，一种流行的图像表示特征）来表示，其包含的信息有：特征点的描述符des（128个浮点数组成）、特征点的位置信息(x,y)（所处图像那个位置，一般用横纵坐标表示）、特征点的尺度scl、特征点的方向orien，并使用词袋模型生成全局直方图（大小为1*106数组，索引对应的值即为直方图对应柱子的高度），每幅图像都用这个全局直方图表示；词袋模型具体执行方案：根据图像库中所有图像的所有SIFT特征点的描述符使用分层k-means聚类方法，把SIFT特征点描述符分成106类（每一类的中心都用128个浮点数表示，和SIFT描述符形式一致），然后构建一个有1*106个柱子的直方图（柱子的高度表示落在对应聚类中心的点的个数）。具体过程是：通过计算每幅图像的SIFT描述符与聚类中心的欧式距离,将该点放入直方图中与其距离最小的聚类中心对应的柱子中。（全局直方图的有106个柱子，代表106个视觉单词，每个柱子的高度代表落入该聚类中心的SIFT特征点的个数）。分级Kmeans聚类：聚类就是将相似的SIFT描述符分别分成不同类别的过程。Kmeans聚类就是将SIFT描述符分成K个类，并且获得这K个类的中心，成为聚类中心。分级Kmeans聚类是一种Kmeans聚类算法，其可获得一个具有层次的分类，像一颗倒了的树。本文档来自技高网...

【技术保护点】
一种基于局部邻域约束的空间验证的错误匹配检测方法，其特征在于：a、服务器中图像库图像预先处理：使用一些关键的特征点来表示一幅图像，用一个尺度不变特征点来表示，其包含的信息有：特征点的描述符des、特征点的位置信息(x,y)、特征点的尺度scl、特征点的方向orien，并使用词袋模型生成全局直方图，每幅图像都用这个全局直方图表示；b、用尺度不变特征变换计算查询图像的SIFT特征；c、根据步骤b所得图像SIFT特征的描述符，使用该词袋模型同样生成一个全局直方图；d、对步骤c与步骤a所得全局直方图利用倒排索引结构计算查询图像与图像库每幅图像的相似得分，并记录图像库图像中最相似的前1000幅检索图像序号；e、根据步骤b中查询图像SIFT特征的位置信息和尺度，与步骤a中所得的前1000幅检索图像SIFT特征的位置、和尺度，使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征；①根据查询图像的SIFT特征与前1000幅检索图像中每幅图像的SIFT特征是否同时量化为相同视觉词，寻找查询图像与每幅检索图像的匹配特征对，其中和分别是查询图像与检索图像的特征；②在步骤①中选择一个匹配对作为测试匹配特征，验证其是否正确；③定义步骤②中测试匹配特征的局部区域，其区域范围的距离定义，其中与表示步骤b查询图像匹配特征的尺度参数与步骤a中候选图像匹配特征的尺度参数；④挑选局部区域中的共同匹配特征，计算该匹配对的局部邻域约束值；共同匹配特征定义如下：其中dist(,)指两点的欧氏距离；⑤计算该匹配对的局部邻域约束值，其中是步骤①中匹配特征对的数量，指步骤④中局部邻域内共同匹配特征的个数；⑥通过测试中心匹配对的局部邻域内共同匹配特征在横向与纵向中的排列顺序是否一致，验证该测试匹配特征是否正确；⑦根据步骤⑥得到的查询图像与候选图像中测试中心匹配对的局部邻域内共同匹配对间的横向坐标关系与纵向坐标关系，对其验证否一致，验证定义式如下：，；⑧根据步骤5.7所得局部邻域中匹配特征在横向与纵向的验证信息，计算该测试中心匹配特征在局部邻域内的几何得分，其中，表示局部邻域匹配特征中，id号为n的特征与id号为m的特征之间的约束关系；⑨如果该得分大于阈值，判断测试匹配对正确，反之，错误，定义阈值；⑩重复步骤②到步骤⑨，直到测试完所有匹配特征对为止；f、根据步骤e中基于局部邻域约束的空间验证的错误匹配检测方法保留下来的匹配特征数量作为查询图像与检索图像间的最终几何得分；g、最后根据步骤f得到的几何得分从大到下的顺序，对初始检索结果重新排序，得到最终的检索结果。...

【技术特征摘要】
1.一种基于局部邻域约束的空间验证的错误匹配检测方法，其特征在于：a、服务器中图像库图像预先处理：使用一些关键的特征点di′(xi′，yi′，desi′，scli′，θi′，orieni′)来表示一幅图像，用一个尺度不变特征点来表示，其包含的信息有：特征点的描述符des、特征点的位置信息(x,y)、特征点的尺度scl、特征点的方向orien，并使用词袋模型生成全局直方图，每幅图像都用这个全局直方图表示；b、用尺度不变特征变换计算查询图像的SIFT特征qi(xi，yi，desi，scli，θi，orieni)；c、根据步骤b所得图像SIFT特征的描述符，使用该词袋模型同样生成一个全局直方图；d、对步骤c与步骤a所得全局直方图利用倒排索引结构计算查询图像与图像库每幅图像的相似得分，并记录图像库图像中最相似的前1000幅检索图像序号；e、根据步骤b中查询图像SIFT特征的位置信息和尺度，与步骤d中所得的前1000幅检索图像SIFT特征的位置、和尺度，使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征；①根据查询图像的SIFT特征Q＝(q1，q2，...，qK)与前1000幅检索图像中每幅图像的SIFT特征D＝(d1′，d2′，...，dK′)是否同时量化为相同视觉词，寻找查询图像与每幅检索图像的匹配特征对M(Q，D)＝{(qi，di′)|qi∈Q，di′∈D}，其中qi和di′分别是查询图像与检索图像的特征；②在步骤①中选择一个匹配对(qi(xi，yi，desi，scli，θi)，di′(xi′，yi′，desi′，scli′，θi′))作为测试匹配特征，验证其是否正确；③定义步骤②中测试匹配特征的局部区域，其区域范围的距离定义其中scli与scli′表示步骤b查询图像匹配特征的尺度参数与步骤a中候选图像匹配特征的尺度参数；④挑选局部区域中的共同匹配特征，计算该匹配对的局部邻域约束值；共同匹配特征定义如下：其中dist(,)指两点的欧氏距离；⑤计算该匹配对的局部邻域约束值，

【专利技术属性】
技术研发人员：刘萍萍，赵宏伟，李清亮，王振，臧雪柏，于繁华，戴金波，耿庆田，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22