基于V型交点描述和局部单应矩阵的线段匹配方法及系统技术方案

本发明专利技术提供一种基于V型交点描述和局部单应矩阵的线段匹配方法及系统，进行V型交点构建，对V型交点进行特征描述，通过计算特征描述向量之间的相似性对V型交点进行匹配，利用临近V型交点拓扑分布保持相对稳定的原则剔除错误匹配，并增加正确匹配；单一线段匹配，包括对中没有通过形成V型交点进行匹配的线段，基于局部单应矩阵估计进行匹配处理得到最终的线段匹配结果。本发明专利技术在多种图像变换，如旋转、尺度、视角变化下都有着良好的效果。相对于现有的方法，本技术方案能够在找到更多匹配的同时，在绝大部分情况下，保持更高的匹配精度。

【技术实现步骤摘要】

本专利技术属于数字图像处理
，特别是涉及一种基于线段V型交点描述和局部单应矩阵估计的线段匹配技术方案。
技术介绍
线段能够很好展现场景的轮廓，尤其是人造场景，如建筑物、室内等；少量的边缘线段就能够包含整个场景的轮廓信息。因而，相对于基于图像特征点的方法，基于图像线段特征来获取图像所拍摄场景的信息的方法具有一定的优势。要想利用图像线段特征进行来获取场景的信息，非常重要的一个步骤是要通过线段匹配获取图像对之间的同名线段。因为只有获取图像对之间的同名线段，才能将拍摄自不同视角、不同环境下的同一场景的不同图像联系起来，从而利用多张图片来获取场景更为完整而精确的信息。现有的线段匹配方法总体上可以分为以下两种：线段成单匹配方法和线段的成组匹配方法。在线段的成单匹配方法中，又可分为基于线段局部区域描述的方法和基于点匹配辅助的方法。在线段成组匹配方法中，又可细分为线段结群匹配方法和线段的结对匹配方法。基于对线段所在的局部区域进行特征描述的这类方法通过利用线段周围区域像素的灰度、梯度、颜色形成对线段的特征描述，通过衡量线段描述子之间的相似性实现线段的匹配。这类方法基于这样一个共同假设：同名线段间存在较大的重叠区域。因而当两条同名线段之间的重叠区域较小，甚至没有重叠区域时，这种方法往往不能够实现这两条线段的成功匹配。另外，在重复纹理区域，这种方法容易产生错误匹配。这是因为在此区域内的线段的描述子的差别很小，很难通过衡量描述子之间的相似性找到最佳匹配线段。基于点匹配辅助的这类线段匹配方法首先在图像间寻找点匹配，然后利用三维共面点线之间存在的仿射或射影不变量来评价线段之间的相似性。来自两张图像的两条线段如果满足这些不变量，就认为这两条线段是同名线段。这类方法的优点在于它们利用的是点线之间的几何关系，而不是线段的局部区域特征，因而即使当线段所在局部区域随着图像变换发生较
大的变形时，也能够取得比较好的匹配效果。然而，这类方法的共同不足之处在于线段匹配结果严重依赖于点匹配结果，当无法得到足够多的点匹配时，如当图像场景纹理稀少时，这种方法很难取得较好的效果。线段的结对匹配方法首先将从两张图片中提取的线段中的相邻线段相交，形成交点；然后通过匹配这些形成的交点，得到线段匹配。这类方法之所以可行是因为一旦来自两张图片的一对交点成功匹配，形成这对交点的两对线段的也将自动匹配上。此类方法将线段匹配转化为点匹配这个十分成熟的问题，因而可以利用一些成熟的点匹配方法来得到线段匹配。然而，两条的线段的交点不仅仅是通过某些特征点提取算子得到的特征点，它包含形成它的两条线段的点-线关系信息。怎样有效地利用这些信息来辅助交点匹配，得到更为鲁棒的交点匹配方法，也将是一个值得研究问题。最后一种线段匹配方法是线段结群匹配方法。这类方法首先根据空间临近分布关系和线段自身的显著度(线段上所有点的灰度梯度平均值)将提取自两张图像的线段分成不同的线段群，通过匹配这些线段群得到线段群匹配，然后在逐一确定匹配群内的线段的匹配关系。在寻找线段群的匹配关系的过程中，此方法依据一组临近的线段之间的空间分布在图像变换过程中保持相对稳定这样一种思想，通过计算线段群内线段之间的相对位置关系，得到线段群的描述子。通过比较描述子相似性，方法得到线段群匹配。这种方法在同名线段端点对应关系不是准确时，往往会产生错误匹配或者漏掉其中的正确匹配。
技术实现思路
为了解决以上方法中存在的问题，在多种复杂的图像变换和场景中得到更多的线段匹配，本专利技术提供了一种基于线段V型交点描述和局部单应矩阵估计的线段匹配技术方案。本专利技术提供一种基于V型交点和局部单应矩阵估计的线段匹配方法，设待匹配的两张图像分别为I和I′，从I和I′中分别提取线段，设所提取的线段集合分别为和其中M和N分别表示在I和I′中提取的线段的总条数，通过以下步骤找到存在于和中的同名线段，步骤1，V型交点构建，包括在图像I和I′中分别得到V型交点的集合和其中P和Q分别表示在两张图像中形成的V型交点的总数；步骤2，V型交点匹配，包括对在集合和中的V型交点进行特征描述，得到V型交点的特征描述向量，通过计算特征描述向量之间的相似性对V型交点进行匹配，设匹配得到Q个V型交点所组成的集合步骤3，V型交点匹配优化，包括对步骤2所得利用临近V型交点拓扑分布保持相对稳定的原则剔除错误匹配，并增加正确匹配；步骤4，单一线段匹配，包括对和中没有通过形成V型交点进行匹配的线段，基于局部单应矩阵估计进行匹配处理，所得线段匹配结果和步骤3所得线段匹配结果一起构成最终的线段匹配结果。而且，步骤3中，所述临近V型交点拓扑分布保持相对稳定，判断方式如下，设V型交点jc和形成它的两条线段以及线段延长线构成一个坐标系，与jc相邻的已经匹配的V型交点分布在该坐标系的四个象限中，当满足以下条件时，判断临近V型交点拓扑分布保持相对稳定，在图像变换之后，当jc变成j′c，与j′c的临近的已经匹配的V型交点是jc的邻居的同名点超过预设比例，并且其中任何一对同名点，一点在jc所形成的坐标系中的象限和另一点在j′c所形成的坐标系的象限保持相同的概率超过预设概率。而且，步骤3中，所述剔除错误匹配，并增加正确匹配，实现如下，步骤3.1，初始化阈值d1、d2的初值，当前迭代次数n＝1；步骤3.2，删除中存在的错误匹配，任何不满足如下两个条件将被删除：jq和j′q满足核线约束，它们相对于相应基础矩阵的距离小于一定预设阈值d1；j′q和j′q具有临近V型交点拓扑分布保持相对稳定这一特性；步骤3.3，从两张图像中未匹配的V型交点中增加匹配到中，假设j和j′为一对分别来自两张图片的未匹配的V型交点，当且仅当它们满足如下三个条件时，才认为(j,j′)是正确匹配：j和j′满足核线约束，它们相对于相应基础矩阵的距离小于一定预设阈值d1；j和j′所对应的特征描述向量之间的距离小于一定预设阈值d2；j和j′具有临近V型交点拓扑分布保持相对稳定这一特性；步骤3.4，判断是否满足预设的迭代结束条件，满足结束迭代，进入步骤4，否则令n＝n+1，令d1＝d1+c，返回步骤3.2继续执行，其中，c为预设的步长。而且，所述迭代结束条件是，当前集合中的匹配数目和上一次迭代执行步骤3.3后的匹配数目相比没有增加，或者当前迭代次数大于预设次数阈值。而且，步骤4中，所述基于局部单应矩阵估计进行匹配处理，实现如下，步骤4.1，进行局部单应矩阵估计，包括利用一对匹配的V型交点所提供的约束，得到对应于该V型交点对所在的局部匹配区域的单应矩阵；步骤4.2，匹配单一线段，实现如下，设为由通过上述步骤3得到的K个V型交点匹配所组成的集合，和分别表示在两幅图中剩下的还未匹配上的线段集合；对于每一条线段或找到最邻近的4个已经匹配上的V型交点，并将该条线段分配到相应的组中；假设l和l′是一对待匹配的线段，分别被分配到匹配的V型交点j和j′中，其中j由线段对(lm,ln)形成，j′由线段对(l′m,l′n)形成，首先判断l和l′的角度差异是否与线段匹配(lm,l′m)和(ln,l′n)中线段的角度差异相似；如果是则通过步骤4.1所得从匹配的V型交点(j,j′)对应单应矩阵H，对(l,l′)进行评价，包括将l的两个交点通过H映射到l′本文档来自技高网...

【技术保护点】
一种基于V型交点和局部单应矩阵估计的线段匹配方法，其特征在于：设待匹配的两张图像分别为I和I′，从I和I′中分别提取线段，设所提取的线段集合分别为和其中M和N分别表示在I和I′中提取的线段的总条数，通过以下步骤找到存在于和中的同名线段，步骤1，V型交点构建，包括在图像I和I′中分别得到V型交点的集合和其中P和Q分别表示在两张图像中形成的V型交点的总数；步骤2，V型交点匹配，包括对在集合和中的V型交点进行特征描述，得到V型交点的特征描述向量，通过计算特征描述向量之间的相似性对V型交点进行匹配，设匹配得到Q个V型交点所组成的集合步骤3，V型交点匹配优化，包括对步骤2所得利用临近V型交点拓扑分布保持相对稳定的原则剔除错误匹配，并增加正确匹配；步骤4，单一线段匹配，包括对和中没有通过形成V型交点进行匹配的线段，基于局部单应矩阵估计进行匹配处理，所得线段匹配结果和步骤3所得线段匹配结果一起构成最终的线段匹配结果。

【技术特征摘要】
1.一种基于V型交点和局部单应矩阵估计的线段匹配方法，其特征在于：设待匹配的两张图像分别为I和I′，从I和I′中分别提取线段，设所提取的线段集合分别为和其中M和N分别表示在I和I′中提取的线段的总条数，通过以下步骤找到存在于和中的同名线段，步骤1，V型交点构建，包括在图像I和I′中分别得到V型交点的集合和其中P和Q分别表示在两张图像中形成的V型交点的总数；步骤2，V型交点匹配，包括对在集合和中的V型交点进行特征描述，得到V型交点的特征描述向量，通过计算特征描述向量之间的相似性对V型交点进行匹配，设匹配得到Q个V型交点所组成的集合步骤3，V型交点匹配优化，包括对步骤2所得利用临近V型交点拓扑分布保持相对稳定的原则剔除错误匹配，并增加正确匹配；步骤4，单一线段匹配，包括对和中没有通过形成V型交点进行匹配的线段，基于局部单应矩阵估计进行匹配处理，所得线段匹配结果和步骤3所得线段匹配结果一起构成最终的线段匹配结果。2.根据权利要求1所述基于V型交点和局部单应矩阵估计的线段匹配方法，其特征在于：步骤3中，所述临近V型交点拓扑分布保持相对稳定，判断方式如下，设V型交点jc和形成它的两条线段以及线段延长线构成一个坐标系，与jc相邻的已经匹配的V型交点分布在该坐标系的四个象限中，当满足以下条件时，判断临近V型交点拓扑分布保持相对稳定，在图像变换之后，当jc变成j′c，与j′c的临近的已经匹配的V型交点是jc的邻居的同名点超过预设比例，并且其中任何一对同名点，一点在jc所形成的坐标系中的象限和另一点在j′c所形成的坐标系的象限保持相同的概率超过预设概率。3.根据权利要求2所述基于V型交点和局部单应矩阵估计的线段匹配方法，其特征在于：步骤3中，所述剔除错误匹配，并增加正确匹配，实现如下，步骤3.1，初始化阈值d1、d2的初值，当前迭代次数n＝1；步骤3.2，删除中存在的错误匹配，任何不满足如下两个条件将被删除：jq和j′q满足核线约束，它们相对于相应基础矩阵的距离小于一定预设阈值d1；j′q和j′q具有临近V型交点拓扑分布保持相对稳定这一特性；步骤3.3，从两张图像中未匹配的V型交点中增加匹配到中，假设j和j′为一对分别来自两张图片的未匹配的V型交点，当且仅当它们满足如下三个条件时，才认为(j,j′)是正确匹配：j和j′满足核线约束，它们相对于相应基础矩阵的距离小于一定预设阈值d1；j和j′所对应的特征描述向量之间的距离小于一定预设阈值d2；j和j′具有临近V型交点拓扑分布保持相对稳定这一特性；步骤3.4，判断是否满足预设的迭代结束条件，满足结束迭代，进入步骤4，否则令n＝n+1，令d1＝d1+c，返回步骤3.2继续执行，其中，c为预设的步长。4.根据权利要求3所述基于V型交点和局部单应矩阵估计的线段匹配方法，其特征在于：所述迭代结束条件是，当前集合中的匹配数目和上一次迭代执行步骤3.3后的匹配数目相比没有增加，或者当前迭代次数大于预设次数阈值。5.根据权利要求1或2或3或4所述基于V型交点和局部单应矩阵估计的线段匹配方法，其特征在于：步骤4中，所述基于局部单应矩阵估计进行匹配处理，实现如下，步骤4.1，进行局部单应矩阵估计，包括利用一对匹配的V型交点所提供的约束，得到对应于该V型交点对所在的局部匹配区域的单应矩阵；步骤4.2，匹配单一线段，实现如下，设为由通过上述步骤3得到的K个V型交点匹配所组成的集合，和分别表示在两幅图中剩下的还未匹配上的线段集合；对于每一条线段或找到最邻近的4个已经匹配上的V型交点，并将该条线段分配到相应的组中；假设l和l′是一对待匹配的线段，分别被分配到匹配的V型交点j和j′中，其中j由线段对(lm,ln)形成，j′由线段对(l′m,l′n)形成，首先判断l和l′的角度差异是否与线段匹配(lm,l′m)和(ln,l′n)中线段的角度差异相似；如果是则通过步骤4.1所得从匹配的V型交点(j,j′)对应单应矩阵H，对(l,l′)进行评价，包括将l的两个交点通过H映射到l′所在的图像平面中，得到一条新的线段lh，如果lh的两个端点到l′的距离和同时小于相应阈值dt，认为(l,l′)是一对正确的线段匹配。6.一种基于V型交点和局部单应矩阵估计的...

【专利技术属性】
技术研发人员：姚剑，李凯，刘康，鲁小虎，李礼，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42