基于大规模街景数据的实时图片匹配地理定位方法和系统技术方案

本发明专利技术公开了一种基于大规模街景数据的图片实时匹配地理定位方法及实现该方法的系统。所述方法包括实时匹配部分：从查询图片中提取局部特征作为查询特征集；其次，对每个查询特征点在预处理建立的索引中，检索K个近似最近邻点(NN)，生成距离从小到大排序的特征分布表，用比值法剔除其外点；然后，把NN对应的参考图片作为候选图片，遍历分布表生成候选图片的R近邻特征集(RNN)和匹配相似度；最后，选择RNN个数最多且匹配相似度最高的候选图片作为匹配图片；其中K为整数。本方法优选还可以包括预处理部分，将比较耗时的“建立索引结构部分”分开提前进行处理。本方法和系统具有定位精度高、实时匹配等特点。

Real-time image matching geolocation method and system based on large-scale street scene data

The invention discloses a real-time image matching geolocation method based on large-scale street scene data and a system for realizing the method. The method includes real-time matching: extracting local features from query images as query feature sets; secondly, searching K nearest neighbor points (NN) for each query feature point in the index established by preprocessing, generating feature distribution tables sorted from small to large distances, and eliminating their outliers by ratio method; secondly, taking the corresponding reference pictures of NN as candidate pictures, traversing the distribution. The table generates the R-Nearest Neighbor Feature Set (RNN) and matching similarity of candidate pictures. Finally, the candidate pictures with the largest number of RNs and the highest matching similarity are selected as matching pictures, where K is an integer. The preferred method can also include the pre-processing part, which separates the time-consuming \index-building structure part\ into the pre-processing part. The method and system have the characteristics of high positioning accuracy and real-time matching.

【技术实现步骤摘要】
基于大规模街景数据的实时图片匹配地理定位方法和系统
本专利技术涉及图像定位
，尤其涉及一种基于大规模街景数据的图片实时匹配地理定位的方法和系统。
技术介绍
图片地理定位是根据图片视觉信息确定或估计图片的地理位置。这个问题有许多的运用场景，例如汽车自动驾驶，移动终端导航，视频地理轨迹生成等。最近几年，街景图片正在不断地更新完善，在某些城市可以做到街道视野的全覆盖。街景图片中有大量的特征信息，例如建筑物、路标和广告牌等，故我们可以提取图片的局部特征，采用特征点匹配的方法进行图片地理定位。在学术研究领域，Zamir和Zemene等作者提出了基于特征点匹配的大规模街景图片地理定位方法。Zamir等作者对每个查询特征点检索1个近似最近邻点(NN)，用比值方法过滤匹配外点，把参考图片对应的近邻特征点个数作为票数，选择票值最高的参考图片作为匹配图片。在接下来的工作中，该作者把NN个数扩展到K，用第1个和第K个NN点的到查询特征点的比值关系，根据经验性设定的阈值过滤匹配外点；在特征点匹配部分，用广义最小团对每个查询特征点选择一个具有全局一致性的最近邻点以确定匹配图片。Zemene等作者在最新的本文档来自技高网...

【技术保护点】
1.一种基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：包括如下步骤：B1：从查询图片中提取局部特征点作为查询特征点qi，生成查询特征集Q＝{qi|i＝1,2,…,n}；B2：对所述查询特征集Q中每个查询特征点qi，在所述索引中返回K个到查询特征点距离由小到大递增的近似最近邻特征点(NN)，生成最近邻分布表TV；B3：令

【技术特征摘要】
1.一种基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：包括如下步骤：B1：从查询图片中提取局部特征点作为查询特征点qi，生成查询特征集Q＝{qi|i＝1,2,…,n}；B2：对所述查询特征集Q中每个查询特征点qi，在所述索引中返回K个到查询特征点距离由小到大递增的近似最近邻特征点(NN)，生成最近邻分布表TV；B3：令表示中NN对应的所有参考图片，其中I(·)表示操作算子，返回NN对应的参考图片；统计RV中相同图片出现的重复次数，并按照从大到小的顺序进行排序，得到候选图片集其中上标Nl表示第l张候选图片cl的重复次数；候选图片的过滤：重复次数等于1，表示查询图片和参考图片只有一对匹配特征点，其对应的候选图片成为匹配图片的可能性较低；B4：已包含NN排序信息，故通过NN对应的参考图片与候选图片的关系，生成候选图片的RNN和匹配特征集；B5：给定所述候选匹配图片集C中的候选匹配图片ct，去除所述候选图片ct中匹配特征集的重复特征点；B6：给定所述候选匹配图片集C中的候选匹配图片ct，计算所述候选图片ct与查询图片的匹配相似度；B7：对所述候选匹配图片集C中每个候选匹配图片，选择RNN个数最多的候选图片作为匹配图片；将匹配图片的地理位置作为查询图片的地理位置。2.根据权利要求1所述的基于大规模街景数据的图片实时匹配地理定位方法，其特征在于：步骤B2中包括剔除近似最近邻点，具体剔除算法包括如下步骤：令TV＝{vij|i＝1,2，…,N,j＝1,2,…，K}，满足||ξ(qi)-ξ(vij)||≤||ξ(qi)-ξ(vi(j+1))||，其中K表示每个查询特征对应的NN个数，vij表示qi的第j个NN点，ξ(·)表示操作算子，返回特征点的特征描述子；||·||表示度量算子，计算描述子的距离；剔除查询特征点；令Θ＝{θi|i＝1,2,…N}，其中θi表示第ith个查询特征点与对应的第1个NN和第k个NN的距离比值；θi越大，则NNs可区分度越小；令Θa表示Θ的a百分位数，如果θi＞Θa，则删除qi和对应的vi·，用表示剔除查询特征点后的分布表，其中表示剔除后的查询特征点个数；剔除近似最近邻点；令表示比值矩阵，其中令Bb表示B的b百分位数阈值；给定s，若βst值越小，表示两个点差异越大；令表示T'V剔除外点后的特征分布表；步骤B3中，候选图片的过滤步骤中，选择...

【专利技术属性】
技术研发人员：邓文泉，张凯，董宇涵，张一，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44