一种基于特征的立体图像匹配算法制造技术

本发明专利技术涉及一种基于特征的立体图像匹配算法，获取第一、第二图像的特征点，分别形成特征链；第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像搜索范围内搜索与新特征点相似度高于阈值的对应点，并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性，如果高于阈值则将两个特征链匹配；如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配。本发明专利技术所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。

A feature-based stereo image matching algorithm

【技术实现步骤摘要】
一种基于特征的立体图像匹配算法
本专利技术涉及一种基于特征的立体图像匹配算法，属于计算机视觉

技术介绍
立体匹配的目的是找到立体图像对之间的对应关系。根据信函的要素将其分为两类：第一类是基于像素的方法。该方法估计两幅图像中指定区域内的所有像素，结果，获得密集的深度图。这种方法对于三维重建应用至关重要。然而，该方法主要的缺点是对密集深度图的估计是一个耗时且困难的过程，特别是当存在遮挡时(两个图像中的一个中缺少相应的点)或图像包含均匀区域时(该区域处的像素值几乎是均匀的；即，一个点可以对应于位于相同均匀区域中的点的数量)。第二类是基于特征的方法。与前一种方法相比，该方法仅估计两幅图像之间的特征点对应关系。这将全范围像素对应性估计减少为稀疏像素对应性估计集合。例如，基于特征的方法在视图变形中被应用，因为它比基于像素的方法更快且更可靠。它消除了统一区域内可能发生的匹配歧义，因为统一区域内没有特征点。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于特征的立体图像匹配算法，使用匹配特征链的概念，对垂直特征突出时的图像对应非常有效。本专利技术目的通过如下技术方案予以实现：提供一种基于特征的立体图像匹配算法，步骤如下：(1)获取第一、第二图像的特征点，提取稀疏特征点，分别形成特征链；特征链长度大于设定阈值；(2)第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像设定范围内搜索与新特征点相似度高于阈值的所有对应点，如果存在，则进入步骤(3)；(3)获取该新特征点所在特征链的下一特征点与第二图像每一对应点所在特征链的下一特征点的相似性，如果均高于阈值则将所在特征链与新特征点所在特征链匹配，进入步骤(5)；如果存在相似性不高于阈值，则进入步骤(4)；(4)对于相似性不高于阈值的第二图像中对应点所在特征链，获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配，否则两个特征链失配；(5)如果第二图像中存在不止一个特征链与新特征点所在特征链匹配，则保持新特征点所在特征链与第二图像中相似性最高的特征链匹配；若完成所有特征链的匹配则完成立体图像匹配，若未完成所有特征链的匹配则返回步骤(2)。优选的，获取第一、第二图像的特征点的方法如下：获取图像的垂直梯度特征点，从所有正梯度值的特征点中找出垂直梯度大于正向阈值的特征点；从所有负梯度值的特征点中找出垂直梯度小于负向阈值的特征点。优选的，正向阈值计算公式如下：其中eth是经验阈值，Meanp是正梯度值的平均值。优选的，负向阈值计算公式如下：其中e-th是经验阈值，Meann是负梯度值的平均值。优选的，将垂直梯度大于正向阈值的特征点局部最大梯度值提取为稀疏特征点；将垂直梯度小于负向阈值的特征点中局部梯度最小点的点提取为稀疏特征点。优选的，稀疏特征点的方法为：f(x，y)为像素点(x，y)的垂直梯度。优选的，形成特征链的方法如下：选择任意未列入特征链的特征点作为起点；如果下一个特征位于设定区域内，则将其链接到当前特征链中；遍历所有未列入特征链的特征点。优选的，所述设定区域为水平方向上的视差小于2并且竖直方向上的视差等于1。优选的，所述搜索范围为：水平方向上在预定义的差异内搜索；垂直方向上在同一扫描线中搜索。优选的，相似性使用NCC测试。本专利技术与现有技术相比具有如下优点：(1)立体匹配是许多计算机视觉应用中最重要和最困难的部分，包括三维重建和基于图像的渲染应用。根据对应的要素，这种技术被分为两类。一种是基于像素的立体匹配，另一种是基于特征的立体匹配。所提出的立体匹配算法属于基于特征的类别，其中强加特征链接过程以将一组可能的连接特征点链接到单个特征曲线中。因此，对应元素变成了一个特征链。如果两个特征链的前两个或三个特征点相互对应，则两个特征链对应。这使得所提出的算法高效可靠。特征点对应关系通过由2D归一化相关系数(NCC)计算的高相似度得分建立。(2)所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。在三维可视化中使用的中间图像的生成中，进一步证明了这些好处，该图像展示了如何通过提出的算法极大地消除重像现象。附图说明图1为本专利技术特征链匹配策略示意图；图2为多链对应示意图；图3为图像对比示意图，(a)、(b)为两幅原始立体图像；(c)、(d)为使用其它方法提取图像(a)、(b)的特征后示意图；(e)、(f)为利用本专利技术方法提取图像(a)、(b)的特征后示意图；(g)、(h)为图像(a)、(b)插值图像。具体实施方式现有的方法是基于快速特征的立体匹配算法。连续连通特征的搜索空间被视差方向导数的经验极限减小。这种方法的新颖之处在于从小范围内的预定差异中减少连续连接特征的搜索空间。因此，该算法可以运行得更快。然而，由于噪声，背景或亮度条件变化而遗漏了一些特征对应。本专利技术的动机是解决上述问题，并确保其有效运作。本专利技术提出的方法受Schmid算法的启发。建立特征对应的不同性质的问题是由逐点搜索对应引起的。如果将连续的连接特征链接到特征链中并且链接搜索特征对应关系，则可以相对减少该问题。为了使立体匹配算法有效地运行，每个链中仅有一些特征由成本函数进行测试。我们使用二维归一化互相关(2DNCC(Normalizedcrosscorrelation))测试了每个链中的前两个特征点。如果两个特征都具有较高的相关性分数，则将每个图像中测试的两条链定义为链对应。我们测试了大量室内立体图像对，实验结果表明平均92％的特征链长度小于或等于5。这表示评估了约40％的特征点对应关系。因此，不匹配的情况分别减少。对于只有两个特征中的一个匹配得很好的情况，测试来自每个链的第三个特征点。如果第三个特征匹配得很好，那么这两条链被定义为链对应。这个过程使建立的功能对应更加可靠。图1说明了特征链匹配策略。这两条曲线代表来自左侧和右侧图像的两条特征链。左侧部分显示了两个特征链在前两个特征点来自每个链条的匹配时匹配的情况。右侧部分显示测试前三个特征点的情况。在某些情况下，已建立的特征链可能不具有一一对应关系。这种情况如图2所示。在该图中，两条链的对应关系为l1-r1和l2-r2，其中，l1，l2来自不同的特征链。特征点r1，r2来自同一个特征链。因此，这是一个多对一的对应关系。对于短基线案例，其中一个被认为是错误的。因此消除了具有较低相关分数的链对应关系。一、特征点提取1.使用边缘检测器检测图像的垂直梯度特征点，设置阈值找出特征点，特征点的垂直梯度DNH为：(a)从所有正梯度值的特征点中找出垂直梯度大于正向阈值的特征点Pth，正向阈值计算公式如下：其中eth是经验阈值，例如可以选择为1.2，Meanp是正梯度值的平均值(mean(gradf(x，y)))。(b)将垂直梯度大于正向阈值的特征点局部最大梯度值提取为稀疏特征点2.从所有负梯度值的特征点中找出垂直梯度小于负向阈值的特征点Pth，负向阈值计算公式如下：e-th是经验阈值，例如可以选择为-1.2，Meann是负梯度值的平均值。将垂直梯度小于负向阈值的特征点中局部梯度最小点(绝对值最大)的点提取为稀疏特征点：此处采用偏移x的方式提取稀疏特征点，采用偏移y本文档来自技高网...

【技术保护点】
1.一种基于特征的立体图像匹配算法，其特征在于，步骤如下：(1)获取第一、第二图像的特征点，提取稀疏特征点，分别形成特征链；特征链长度大于设定阈值；(2)第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像设定范围内搜索与新特征点相似度高于阈值的所有对应点，如果存在，则进入步骤(3)；(3)获取该新特征点所在特征链的下一特征点与第二图像每一对应点所在特征链的下一特征点的相似性，如果均高于阈值则将所在特征链与新特征点所在特征链匹配，进入步骤(5)；如果存在相似性不高于阈值，则进入步骤(4)；(4)对于相似性不高于阈值的第二图像中对应点所在特征链，获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配，否则两个特征链失配；(5)如果第二图像中存在不止一个特征链与新特征点所在特征链匹配，则保持新特征点所在特征链与第二图像中相似性最高的特征链匹配；若完成所有特征链的匹配则完成立体图像匹配，若未完成所有特征链的匹配则返回步骤(2)。

【技术特征摘要】
1.一种基于特征的立体图像匹配算法，其特征在于，步骤如下：(1)获取第一、第二图像的特征点，提取稀疏特征点，分别形成特征链；特征链长度大于设定阈值；(2)第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像设定范围内搜索与新特征点相似度高于阈值的所有对应点，如果存在，则进入步骤(3)；(3)获取该新特征点所在特征链的下一特征点与第二图像每一对应点所在特征链的下一特征点的相似性，如果均高于阈值则将所在特征链与新特征点所在特征链匹配，进入步骤(5)；如果存在相似性不高于阈值，则进入步骤(4)；(4)对于相似性不高于阈值的第二图像中对应点所在特征链，获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配，否则两个特征链失配；(5)如果第二图像中存在不止一个特征链与新特征点所在特征链匹配，则保持新特征点所在特征链与第二图像中相似性最高的特征链匹配；若完成所有特征链的匹配则完成立体图像匹配，若未完成所有特征链的匹配则返回步骤(2)。2.根据权利要求1所述的基于特征的立体图像匹配算法，其特征在于，获取第一、第二图像的特征点的方法如下：获取图像的垂直梯度特征点，从所有正梯度值的特征点中找出垂直梯度大于正向阈值的特征点；从所有负梯度值的特征点中找出垂直梯度小于负向阈值的特征点。3.根据权利要求...

【专利技术属性】
技术研发人员：熊长炜，贺定修，李龙根，舒雨锋，范四立，虞晓琼，张峻华，罗立星，陈天宇，梁耀荣，
申请(专利权)人：东莞职业技术学院，
类型：发明
国别省市：广东,44