一种短基线条件下两视图间线段特征全局匹配方法组成比例

一种短基线条件下两视图间线段特征全局匹配方法。其从两幅视图中提取特征点及线段特征，基于空间相邻性的几何约束确定线段的初始匹配，分别利用点线相邻性、单应矩阵模型等几何约束以及0‑1规划方法实现线段特征匹配的过滤与唯一性筛选。本发明专利技术优点：①将线段特征全局匹配问题转化为了0‑1规划问题，通过求解该问题获得线段的“一对一”匹配结果，解决了现有方法易出现的“多对多”匹配问题。②无需计算线段附近的颜色信息，对光照变化的鲁棒性更强。③借助于短基线条件下两幅视图的空间相邻性特点进行线段初始匹配的查找，有助于找到更多潜在的匹配线段。④利用多种几何约束对线段匹配进行过滤和筛选，使线段匹配的准确性更高，鲁棒性更强。

【技术实现步骤摘要】

本专利技术属于计算机视觉
，特别是涉及一种短基线条件下两视图间线段特征全局匹配方法。
技术介绍
特征匹配是计算机视觉领域所研究的核心问题之一。其中特征点的匹配方法已经比较成熟可靠，如SIFT、SURF等。与特征点相比，在同样的噪声条件下，视图中的线特征受噪声影响更小，且对光照条件和阴影不敏感。然而，线段端点位置的不准确、遮挡、断裂等因素使得线段特征的匹配更具挑战性。近年来，许多学者致力于解决线段特征的匹配问题。整体上线段匹配方法可分为两大类：个体匹配和组匹配。在个体匹配方法中，线段邻域的梯度信息和颜色信息常用来作为线段的特征描述。然而，基于颜色或梯度信息的线段匹配方法受光照影响比较大，且不适用于场景中线特征的颜色信息很相似的情形。另一类个体匹配方法利用了多种几何约束信息，如Schmid等利用不同视图间线段端点的对极几何约束，借助点对应的相关性作为衡量线段间相似性的标准来进行线段特征匹配。然而，该方法的准确性不高。MinChen等利用单应矩阵约束实现了遥感视图中的线段特征匹配。李俊瑶等结合极线约束和单应矩阵约束进行线段特征匹配。目前，在线段特征个体匹配方法中比较成功的是Fan等提出的基于点对应的线特征匹配方法。该方法将不同视图间线段邻域内的点对应作为衡量线段之间相似性的度量，是一种具有较高准确性的线段匹配方法。然而，该方法存在以下问题：当场景中缺少特征点时，很多真实存在的线段对应无法被找到；点对应的匹配错误可能会导致相应的线段对应的匹配错误。线段的组匹配方法将视图中的多条线段看成一个整体，线段间的相对位置关系可以为线段的匹配提供一定的几何约束。然而，该类方法具有较高的计算复杂度，且容易受到线段端点位置不准确的影响。另外，线段因遮挡、断裂以及端点提取不准确等因素而容易造成线段特征匹配时出现“多对多”匹配的问题。为了获得线段的“一对一”匹配，现有方法绝大多数在匹配阶段采用相似度最大原则，即匹配时取相似度最大的一对线段作为匹配结果。然而，在线段相似度接近的场景中上述方法容易发生错配。而且相似度最大原则实质上是一种局部最优匹配，而并未考虑线段匹配的全局最优。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供一种短基线条件下两视图间线段特征全局匹配方法。为了达到上述目的，本专利技术提供的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下列步骤：(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配；(2)分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并；(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集；(4)基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合；(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集；(6)基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配。在步骤(1)中，所述的分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配的方法是：基于SIFT算法对上述两幅视图中的SIFT特征点进行提取和初始匹配。在步骤(2)中，所述的分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并的方法是：首先，基于LSD算法提取每幅视图中的线段，删除其中所有长度小于某一设定长度阈值Tl的线段，然后对临近的线段按近邻约束和倾角约束进行合并。在步骤(3)中，所述的利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集的方法是：首先基于基本矩阵利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后，基于空间相邻性对上述步骤(2)中获得且经过合并的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集。在步骤(4)中，所述的基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合的方法是：在步骤(3)获得的初始匹配线段中，以第一幅视图中的线段以及第二幅视图中的线段为中心各自构建一个矩形邻域和对于每一对匹配线段的SIFT特征点(pi,p′i)，如果SIFT特征点pi位于邻域内并且SIFT特征点p′i位于邻域内，则线段和之间的相似度增加；最后，对于第一幅视图中的每一条线段，在第二幅视图中将所有相似度大于某一相似度阈值Ts的线段都保留作为与第一幅视图中该线段匹配的线段，而将小于该相似度阈值Ts的所有线段从线段初始匹配集中删除，由此获得匹配线段集合。在步骤(5)中，所述的基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集的方法是：基于RANSAC框架，首先，从上述匹配线段集合中随机选择四组匹配线段组成随机样本，根据归一化DLT算法求得单应矩阵H；然后对假设的每组匹配线段计算映射之后的欧式距离d⊥，如果欧式距离d⊥小于某一距离阈值Td，则该组匹配线段为内点，否则为外点；最后，选择获得内点数目最多的单应矩阵H作为真实值，并利用所有内点集重新优化估计单应矩阵H，由此获得匹配线段的候选解集。在步骤(6)中，所述的基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配的方法是：以匹配线段的候选解集作为该部分的输入，计算候选解集中待匹配线段的相似度，利用基于分组策略的两阶段求解算法对该问题进行求解，获得相似度之和最大的线段集合，从而达到线段特征的“一对一”全局精确匹配。所述的长度阈值Tl、相似度阈值Ts、距离阈值Td的确定方法为：长度阈值Tl为经验值，取值为5～10个像素值；相似度阈值Ts为经验值，取值范围为0.6≤Ts≤1.0；距离阈值Td的取值为其中σ为视图坐标具有的高斯噪声的标准差。...

【技术保护点】
一种短基线条件下两视图间线段特征全局匹配方法，其特征在于：所述的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下列步骤：(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配；(2)分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并；(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集；(4)基于点‑线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合；(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集；(6)基于0‑1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配。

【技术特征摘要】
1.一种短基线条件下两视图间线段特征全局匹配方法，其特征在于：
所述的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下
列步骤：
(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特
征点进行初始匹配；
(2)分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进
行删除、合并；
(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视
图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的
逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述
步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹
配集；
(4)基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，
由此获得匹配线段集合；
(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，
由此获得匹配线段的候选解集；
(6)基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进
行全局匹配。
2.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方
法，其特征在于：在步骤(1)中，所述的分别从两幅视图中提取出SIFT特
征点，并对两幅视图的SIFT特征点进行初始匹配的方法是：基于SIFT算法
对上述两幅视图中的SIFT特征点进行提取和初始匹配。
3.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方
法，其特征在于：在步骤(2)中，所述的分别从两幅视图中提取出线段特

\t征，并对每幅视图中临近的线段进行删除、合并的方法是：首先，基于LSD
算法提取每幅视图中的线段，删除其中所有长度小于某一设定长度阈值Tl的
线段，然后对临近的线段按近邻约束和倾角约束进行合并。
4.根据权利要求1所述的短基线条件下两视图间线段特征全局匹配方
法，其特征在于：在步骤(3)中，所述的利用步骤(1)中获得的经过初始
匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对
第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平
移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段
进行初始匹配，由此获得线段初始匹配集的方法是：首先基于基本矩阵利用
步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的
旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其
与第一幅视图之间只有平移变换，最后...

【专利技术属性】
技术研发人员：李海丰，胡遵河，范龙飞，王英石，姜子政，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津;12