一种局部几何结构约束的城区宽基线影像特征点匹配方法组成比例

本发明专利技术属于影像处理技术领域，一种局部几何结构约束的城区宽基线影像特征点匹配方法，包括如下步骤：S1、提取点特征和直线特征，获取特征点局部几何结构信息；S2、构建特征点支撑区域；S3、获取特征区域和特征描述符；S4、基于特征描述符相似性进行初匹配，获取初匹配集合和立体像对之间的基础矩阵；S5、对于未匹配成功且具有至少两个几何结构方向的特征点进行二次匹配；S6、对仍未成功匹配的特征点进行特征点匹配扩展；S7、合并所有匹配的匹配集合，剔除匹配集合中的错误匹配，获取最终匹配集合；本发明专利技术解决了现有技术存在的对于位于视差不连续处特征点产生错误匹配，以及难以获得可靠的初匹配集合导致最终匹配集合不可靠的问题。

A Local Geometric Structure Constrained Feature Point Matching Method for Urban Wide Baseline Images

The invention belongs to the field of image processing technology, and a method for matching feature points of wide baseline urban image with local geometric structure constraints includes the following steps: S1, extracting feature points and line features, obtaining local geometric structure information of feature points; S2, constructing support region of feature points; S3, obtaining feature areas and feature descriptors; S4, starting with similarity of feature descriptors. Firstly, the basic matrix between the initial matching set and the stereo image pair is obtained; secondly, the feature points with at least two geometric directions are matched successfully; S6, the feature points that have not been matched successfully are extended by matching; S7, merging all matching sets, eliminating the wrong matching in the matching set, and obtaining the final matching set; The problem of error matching for feature points located in parallax discontinuity and the unreliable final matching set caused by the difficulty of obtaining reliable initial matching set are solved.

【技术实现步骤摘要】
一种局部几何结构约束的城区宽基线影像特征点匹配方法
本专利技术属于影像处理
，具体涉及一种局部几何结构约束的城区宽基线影像特征点匹配方法。
技术介绍
影像匹配是摄影测量影像处理领域的关键科学问题之一。经过数十年的发展，研究人员提出了许多适用于不同类型影像的匹配方法。现有影像匹配方法大体上可分为两类：基于灰度的匹配方法和基于特征的匹配方法。对于传统的下视航空影像，因俯仰、横滚角较小，且平台飞行相对航高较稳定，影像之间不存在明显的尺度、旋转、透视投影变形等几何差异，基于灰度的匹配方法能够获得较高的匹配精度。在基于灰度的匹配方法中，影像相关类方法因算法简单，易于理解和实现，得到了广泛应用。通过改善匹配策略可进一步提高影像相关的稳定性和可靠性，如金字塔匹配、最小二乘匹配、松弛匹配等。虽然基于灰度的匹配方法能够获得较高的匹配精度，但这类方法难以处理城区宽基线影像之间严重的几何变形和视差不连续问题。相对于基于灰度的匹配方法，基于特征的匹配方法通过构造适用于不同影像变换的特征描述符来实现同名点匹配，能够在一定程度上克服基于灰度的匹配方法的不足。其中，SIFT(ScaleInvariantFeatureTransform)算法的应用最广泛。随着SIFT算法的成功，这类方法被广泛应用到遥感影像匹配中。然而已有研究发现，随着影像视角变化增大，这类方法的匹配性能将大幅下降。针对这个问题，研究人员提出了一类仿射不变区域检测方法，并在仿射不变区域内计算特征描述符提高匹配效果。但是，这类区域检测算子在影像上检测到的特征数量较少，并且对影像视角变化的鲁棒性仍然较低。另一类方法通过模拟影像仿射或投影空间，并在模拟空间进行特征点匹配，获得了较好的匹配集合，但这类方法时间效率较低，难以适用于大数据量的影像匹配。在摄影测量领域，高精度POS数据通常被作为辅助信息，在特征点匹配之前对影像进行粗纠正，整体上降低影像视角变化的影响，再采用传统方法进行特征点匹配。这类方法能够在一定程度上改善影像匹配的效果，但由于全局纠正难以准确描述影像之间的局部几何变形，使得匹配效果的改善比较有限。针对这个问题，将整幅影像分成多个子区域，分别对子区域进行特征点检测和匹配，可以克服全局影像几何纠正的不足，增加匹配点的个数。对于无高精度POS数据的情况，可通过初匹配获取一定数量的匹配点来计算立体像对之间的几何变换模型，进而对影像进行粗纠正。基于影像粗纠正的方法虽然能够改善影像匹配效果，但仍然存在以下问题：(1)影像纠正只能在一定程度上缓解平面场景的几何变形，对于位于视差不连续处的特征点(如建筑物角点或边缘附近的特征点)，无论经过影像全局几何纠正还是分区域处理，都难以在同名点之间获得影像内容一致的特征区域，进而产生错误匹配；(2)通过影像初匹配进行几何粗纠正的方法依赖于初始匹配集合，对于存在大视角变化的城区宽基线影像，现有方法难以获得可靠的初匹配集合，导致最终匹配集合不可靠。
技术实现思路
为了解决现有技术存在的上述问题，本专利技术提供一种局部几何结构约束的城区宽基线影像特征点匹配方法，解决现有技术存在的对于位于视差不连续处的特征点产生错误匹配，以及难以获得可靠的初匹配集合导致最终匹配集合不可靠的问题。本专利技术所采用的技术方案为：一种局部几何结构约束的城区宽基线影像特征点匹配方法，包括如下步骤：S1：提取参考影像和搜索影像的点特征和直线特征，并根据其获取每个特征点的局部几何结构信息；S2：根据局部几何结构信息，构建特征点支撑区域；S3：根据特征点支撑区域，获取特征区域，并根据其获取特征描述符；S4：根据特征描述符，使用改进的最邻近距离比值NNDR方法，进行特征点初匹配，并结合随机抽样一致RANSAC方法，获取初匹配集合和立体像对之间的基础矩阵；S5：对于步骤S4中未匹配成功且具有至少两个几何结构方向的特征点，根据立体像对之间的基础矩阵估计核线几何关系，构建双重核线约束的结构自适应特征点匹配方法进行二次匹配，获取二次匹配集合；S6：根据步骤S4和S5获得的初匹配集合和二次匹配集合，对仍未成功匹配的特征点进行特征点匹配扩展，获取扩展匹配集合；S7：合并初匹配集合、二次匹配集合以及扩展匹配集合，并使用RANSAC方法剔除所有匹配集合的错误匹配，获取最终匹配集合。作为优选，步骤S1包括如下步骤：S1-1：以当前特征点为中心，确定局部邻域，并提取与局部邻域相交的非平行的直线特征；S1-2：以当前特征点为原点，选择与步骤S1-1中提取的邻域直线特征平行的方向向量作为该特征点的几何结构方向；S1-3：在每个几何结构方向上，选择方向与当前几何结构方向一致且最长的直线特征，将该直线特征的长度作为该几何结构方向的向量长度，得到当前特征点的局部几何结构信息；S1-4：遍历每个特征点，得到每个特征点的局部几何结构信息。作为优选，步骤S2中，若当前特征点具有三个及以上几何结构方向，选择其中任意两个满足夹角要求α∈[θ,π-θ]的几何结构方向，其中，θ为夹角阈值，并在对应的几何结构方向上寻找显著点；将对应两个几何结构方向上的显著点和特征点构成的平行四边形区域，作为特征点支撑区域；若在一个几何结构方向上存在多个显著点，则每个显著点分别用于构建特征点支撑区域，得到多个特征点支撑区域；若当前特征点具有两个几何结构方向，在对应的几何结构方向上寻找显著点，以特征点为中心，在当前几何结构方向的反方向寻找显著点的对称点作为虚拟显著点，并根据显著点、虚拟显著点和特征点构建特征点支撑区域；若当前特征点具有少于两个几何结构方向，输出无法构建特征点支撑区域。作为优选，步骤S3包括如下步骤：S3-1：遍历所有特征点，提取存在多个特征点支撑区域的特征点，将其拆分成不同的特征点并对应分配一个特征点支撑区域；S3-2：将每个特征点的平行四边形的特征点支撑区域归一化得到正方形的特征区域；S3-3：将特征区域划分为16个子区域，并在每个子区域内计算8个方向的梯度方向直方图，得到128维特征描述符，并对特征描述符进行归一化处理。作为优选，步骤S4包括如下步骤：S4-1：计算参考影像上每个特征点的特征描述符与搜索影像上所有特征点的特征描述符的欧氏距离；S4-2：对当前参考影像特征点，在搜索影像上寻找与其特征描述符的欧氏距离最近的特征点，并记录对应的最近欧氏距离；S4-3：根据最近欧氏距离，计算初匹配距离阈值；S4-4：从所有搜索影像特征点中寻找与当前参考影像特征点的特征描述符的距离小于初匹配距离阈值的特征点，若所有满足初匹配距离阈值约束的特征点对应于相同的搜索影像坐标，则将该搜索影像坐标对应的特征点视为当前参考影像特征点的匹配点；S4-5：遍历所有参考影像特征点，重复步骤S4-2到S4-4，得到初匹配集合；S4-6：使用RANSAC方法，剔除初匹配集合中的外点，得到更新后的初匹配集合和立体像对之间的基础矩阵。作为优选，步骤S4-3中，初匹配距离阈值的计算公式为：Td＝dmin/Tratio式中，Td为初匹配距离阈值；dmin为最近欧氏距离；Tratio为传统的NNDR方法中的比值阈值。作为优选，步骤S5包括如下步骤：S5-1：根据初匹配集合，选择参考影像上未匹配且具有两个及以上几何结构方向的特征点，构建新的参考影像特征点集合；本文档来自技高网...

【技术保护点】
1.一种局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于：包括如下步骤：S1：提取参考影像和搜索影像的点特征和直线特征，并根据其获取每个特征点的局部几何结构信息；S2：根据局部几何结构信息，构建特征点支撑区域；S3：根据特征点支撑区域，获取特征区域，并根据其获取特征描述符；S4：根据特征描述符，使用改进的最邻近距离比值NNDR方法，进行特征点初匹配，并结合随机抽样一致RANSAC方法，获取初匹配集合和立体像对之间的基础矩阵；S5：对于步骤S4中未匹配成功且具有至少两个几何结构方向的特征点，根据立体像对之间的基础矩阵估计核线几何关系，构建双重核线约束的结构自适应特征点匹配方法进行二次匹配，获取二次匹配集合；S6：根据步骤S4和S5获得的初匹配集合和二次匹配集合，对仍未成功匹配的特征点进行特征点匹配扩展，获取扩展匹配集合；S7：合并初匹配集合、二次匹配集合以及扩展匹配集合，并使用RANSAC方法剔除所有匹配集合的错误匹配，获取最终匹配集合。

【技术特征摘要】
1.一种局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于：包括如下步骤：S1：提取参考影像和搜索影像的点特征和直线特征，并根据其获取每个特征点的局部几何结构信息；S2：根据局部几何结构信息，构建特征点支撑区域；S3：根据特征点支撑区域，获取特征区域，并根据其获取特征描述符；S4：根据特征描述符，使用改进的最邻近距离比值NNDR方法，进行特征点初匹配，并结合随机抽样一致RANSAC方法，获取初匹配集合和立体像对之间的基础矩阵；S5：对于步骤S4中未匹配成功且具有至少两个几何结构方向的特征点，根据立体像对之间的基础矩阵估计核线几何关系，构建双重核线约束的结构自适应特征点匹配方法进行二次匹配，获取二次匹配集合；S6：根据步骤S4和S5获得的初匹配集合和二次匹配集合，对仍未成功匹配的特征点进行特征点匹配扩展，获取扩展匹配集合；S7：合并初匹配集合、二次匹配集合以及扩展匹配集合，并使用RANSAC方法剔除所有匹配集合的错误匹配，获取最终匹配集合。2.根据权利要求1所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S1包括如下步骤：S1-1：以当前特征点为中心，确定局部邻域，并提取与局部邻域相交的非平行的直线特征；S1-2：以当前特征点为原点，选择与步骤S1-1中提取的邻域直线特征平行的方向向量作为该特征点的几何结构方向；S1-3：在每个几何结构方向上，选择方向与当前几何结构方向一致且最长的直线特征，将该直线特征的长度作为该几何结构方向的向量长度，得到当前特征点的局部几何结构信息；S1-4：遍历每个特征点，得到每个特征点的局部几何结构信息。3.根据权利要求2所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S2中，若当前特征点具有三个及以上几何结构方向，选择其中任意两个满足夹角要求α∈[θ,π-θ]的几何结构方向，其中，θ为夹角阈值，并在对应的几何结构方向上寻找显著点；将对应两个几何结构方向上的显著点和特征点构成的平行四边形区域，作为特征点支撑区域；若在一个几何结构方向上存在多个显著点，则每个显著点分别用于构建特征点支撑区域，得到多个特征点支撑区域；若当前特征点具有两个几何结构方向，在对应的几何结构方向上寻找显著点，以特征点为中心，在当前几何结构方向的反方向寻找显著点的对称点作为虚拟显著点，并根据显著点、虚拟显著点和特征点构建特征点支撑区域；若当前特征点具有少于两个几何结构方向，输出无法构建特征点支撑区域。4.根据权利要求3所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S3包括如下步骤：S3-1：遍历所有特征点，提取存在多个特征点支撑区域的特征点，将其拆分成不同的特征点并对应分配一个特征点支撑区域；S3-2：将每个特征点的平行四边形的特征点支撑区域归一化得到正方形的特征区域；S3-3：将特征区域划分为16个子区域，并在每个子区域内计算8个方向的梯度方向直方图，得到128维特征描述符，并对特征描述符进行归一化处理。5.根据权利要求4所述的局部几何结构约束的城区宽基线影像特征点匹配方法，其特征在于，所述步骤S4包括如下步骤：S4-1：计算参考影像上每个特征点的特征描述符与搜索影像上所有特征点的特征描述符的欧氏距离；S4-2：对当前参考影像特征点，在搜索影像上寻找与其特征描述符的欧氏距离最近的特征点，并记录对应的最近欧氏距离；S4-3：根据最近欧氏距离，计算初匹配距离阈值；S4-4：从所有搜索影像特征点中寻找与当前参考影像特征点的特征描述符的距离小于初匹配距离阈值的特征点，若所有满足初匹配距离阈值约束的特征点对应于相同的搜索影像坐标，则将该搜索影像坐标对应的特征点视为当前参考影像特征点的匹配点；S4-5：遍历所...

【专利技术属性】
技术研发人员：陈敏，严少华，赵怡涛，朱庆，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川,51