一种基于多特征联合的局部立体匹配方法组成比例

本发明专利技术公开了一种基于多特征联合的局部立体匹配方法，首先对输入图像提取Harris特征点，通过特征匹配得到精确度较高的匹配特征点，计算匹配特征点的视差并估计出视差范围。对于非特征点，结合图像LAB色彩空间信息、图像的不变矩以及图像梯度信息构造联合匹配代价，利用已计算出的视差搜索范围进行区域匹配，得到整体稠密的视差图。本发明专利技术方法复杂度低，匹配精度高，适合实时性要求高的场合。

【技术实现步骤摘要】
一种基于多特征联合的局部立体匹配方法
本专利技术涉及数字图像处理技术，更具体的涉及基于多特征联合的局部立体匹配方法。
技术介绍
立体匹配(StereoMatching)在双目立体视觉中一直是一个技术难点。双目立体视觉目的在于模拟人类双眼获取三维场景信息，从两个角度获取场景的二维图像，进行立体匹配并重建三维模型。立体匹配的目标是从不同视点图像中找到匹配的对应点得到视差图，然后通过三角测量关系得到物体的景深，它被广泛的应用于医学影像、三维重构、机器人视觉导航和目标跟踪等诸多领域。目前大部分立体匹配算法都包括四个步骤：(1)匹配代价计算，(2)代价聚合(costaggregation)，(3)视差计算和优化，(4)视差细化求精。总体来说，立体匹配算法根据优化方式的不同，可以分为两类：局部立体匹配算法和全局立体匹配算法。局部立体匹配算法利用待匹配点周围的局部信息来确定每个点的视差值。而全局立体匹配算法采用了全局的优化理论方法将对应点的匹配问题转化为寻找某一能量函数最优的问题，从而估计出视差。全局立体匹配算法精度较高，但是计算繁琐，参数设定复杂，不适合实时系统。代表的有动态规划法、图割法、置信度传播算法等。其中动态规划算法复杂度相对较低，速度快，但容易产生条状瑕疵问题，置信传播算法和图割算法匹配精度高，得到的视差图在边缘区域和深度不连续区域的效果较好，但算法的复杂度高。局部立体匹配算法的难点在于匹配代价和支持窗口的选取。可作匹配代价的常用相似性测度包括灰度差绝对值之和SAD(sumofabsolutedifference)、灰度差平方之和SSD(sumofsquareddifferences)、基于梯度的度量。其中，SAD和SSD建立在图像的灰度差异上，对光照变化和噪声敏感。基于梯度的度量建立在图像的梯度差异上，能够更好的突出图像的边缘，但对噪声和光照变化依然敏感。LAB颜色空间中，一种颜色由L(明度)、a颜色、b颜色三种参数表征，明度和颜色是分开的，更符合人眼在视觉上的特性。区域的矩是由所有区域内的像素点计算出来的，受光照不均和其他噪声等的干扰较小，同时计算量少，较为便捷。局部算法中的另一个重要问题就是匹配窗口的选择。支持窗口的大小影响着匹配精度，若窗口太大，则匹配代价的聚集过程中会包含不具有指导意义的邻域信息，导致视差不连续区域的误匹配，若窗口太小，则匹配代价区分度过低，会增加弱纹理区域的误匹配。目前双目立体匹配技术的缺陷主要体现在匹配的精度和实时性不足，很多算法难以兼顾精度与实时性的双重要求。
技术实现思路
本专利技术的目的在于克服现有技术存在的上述不足，提供一种兼顾匹配效率与匹配精度的局部立体匹配方法。为实现上述目的，本专利技术采用的技术方案是基于多特征联合的局部立体匹配方法，包括以下步骤：步骤1：对输入的左右图像采用Harris特征提取算法提取图像特征点。步骤2：在外极线约束的条件下通过特征点值、邻域特征点数及归一化互相关系数(Normalizedcross-correlation,NCC)等3个指标对步骤1中左右图像的特征点进行匹配。步骤3：计算匹配点对应的视差值，计算出视差搜索范围。步骤4：结合图像LAB色彩空间信息、图像的不变矩信息以及图像梯度信息构造联合匹配代价，以左图像为基准图像，右图像为配准图像，计算匹配代价并对匹配代价进行滤波，然后在视差搜索范围下，采用赢者通吃WTA策略选择最优视差值，结合特征点与非特征点对应的视差值，得到左视差图；再以右图像为基准图像，左图像为配准图像，采取同样的策略，得到右视差图。步骤5：采用左右一致性检验(LRC)方法剔除误匹配像素，即如果左右视差图中匹配点的视差值不相等，则认为是误匹配点；对于误匹配点，首先利用同一行扫描线上距离它最近的像素的有效的最小视差值来代替，再采用双边滤波器对整幅图像进行滤波处理，得到精确的稠密视差图。进一步地，步骤1中，所述输入的左右图像为根据双目相机参数校正后的左右图像。进一步地，步骤2的具体过程如下：步骤2.1:提取左右两幅图像的特征点之后，接下来进行特征点匹配，设左右图像的Harris特征点集分别为CL＝{ci|i＝1,…,n}和CR＝{cj|j＝1,…,n}；将左图像作为基准图像，选择一个特征点Ci作为候选点，在右图像中寻找匹配点Cj(j＝1,…,n)；首先检测点Ci与Cj(i＝1,…,n)是否满足极线约束，若满足则依次分别检测两个特征点的特征值，邻域特征点数是否匹配；步骤2.2：对剩下的待匹配点和候选点进行归一化互相关系数NCC的计算；选择与特征点Ci具有最大互相关系数的右图像中的点即为与之相匹配的特征点Cj；步骤2.3：继续选取左图像的下一个候选点，重复步骤2.1，得到匹配点集SL，将左右两幅图像互换，对于右图像中所有的特征点，采用同样的步骤，找到其在左图像中相应的匹配点，组成匹配点集SR；步骤2.4：综合比较两个匹配点集，剔除SL和SR中不一致的匹配点对，得到公共匹配点集SA。进一步地，所述步骤3中的视差搜索范围为D＝[dmin,dmax],其中dmin与dmax为公共匹配点集SA中的最小视差和最大视差。进一步地，所述步骤4中构造联合匹配代价的具体过程如下：步骤4.1：设左图像为IL，右图像为IR，定义LAB色彩空间信息的匹配代价为CLab(p,d):其中，p是IL中的一个像素点，pd是IR中与之对应的一个像素点且d＝p-pd，分别为左右图像LAB色彩空间中某一通道的像素值，TLAB为LAB色彩信息的截断阈值；定义梯度匹配代价为CGrad(p,d)：其中，与分别为左图像和右图像的梯度幅值图像，Gx为图像水平方向的梯度幅值，Gy为图像垂直方向的梯度幅值，TGRAD为梯度信息的截断阈值；的含义分别是像素点p和pd的梯度幅值；步骤4.2：计算灰度图像IL和IR的不变矩空间图像ILI、IRI，定义基于不变矩的匹配代价为CIm(p,d)：CIm(p,d)＝min(|ILI(p)-IRI(pd)|,TIM)其中，ILI(p)为不变矩空间图像ILI中待匹配像素点p的值，IRI(pd)为不变矩空间图像IRI中待匹配像素点pd的值，TIM为不变矩信息的截断阈值；步骤4.3：计算多特征联合的匹配代价C(p,d)，公式如下：C(p,d)＝α1CLab(p,d)+α2CGrad(p,d)+(1-α1-α2)CIm(p,d)其中，参数α1、α2用于平衡LAB色彩空间信息匹配代价CLab(p,d)、梯度匹配代价CGrad(p,d)、不变矩匹配代价CIm(p,d)之间的比例关系。与现有技术相比，本专利技术具有如下优点：1、通过特征点值、邻域特征点数及归一化互相关系数(Normalizedcross-correlation,NCC)等3个指标对匹配点集进行逐级筛选，保证了匹配精度。2、通过已匹配的特征点的视差估计出非特征点的视差搜索范围，提高了匹配效率。3、构造多特征联合的匹配代价能够提高匹配的准确率，在弱纹理区域、重复纹理区域，倾斜面区域也能获得较好的匹配效果。其中LAB颜色空间中亮度和颜色相互独立，能够弥补RGB颜色空间中色彩分布不均的不足；图像的梯度信息能够更好的突出图像的边缘；而不变矩受光照不均和噪声的干扰较小，能够改善因受光照不均或噪声干扰区域的匹配本文档来自技高网...

【技术保护点】
一种基于多特征联合的局部立体匹配方法，其特征在于包括以下步骤：步骤1：对输入的左右图像采用Harris特征提取算法提取图像特征点；步骤2：在外极线约束的条件下通过特征点值、邻域特征点数及归一化互相关系数3个指标对步骤1中左右图像的特征点进行匹配；步骤3：计算匹配点对应的视差值，计算出视差搜索范围；步骤4：结合图像LAB色彩空间信息、图像的不变矩信息以及图像梯度信息构造联合匹配代价，以左图像为基准图像，右图像为配准图像，计算匹配代价并对匹配代价进行滤波，然后在视差搜索范围下，采用赢者通吃WTA策略选择最优视差值，结合特征点与非特征点对应的视差值，得到左视差图；再以右图像为基准图像，左图像为配准图像，采取同样的策略，得到右视差图；步骤5：采用左右一致性检验(LRC)方法剔除误匹配像素；对于误匹配点，首先利用同一行扫描线上距离误匹配点最近的像素的有效的最小视差值来代替，再采用双边滤波器对整幅图像进行滤波处理，得到精确的稠密视差图。

【技术特征摘要】
1.一种基于多特征联合的局部立体匹配方法，其特征在于包括以下步骤：步骤1：对输入的左右图像采用Harris特征提取算法提取图像特征点；步骤2：在外极线约束的条件下通过特征点值、邻域特征点数及归一化互相关系数3个指标对步骤1中左右图像的特征点进行匹配；步骤3：计算匹配点对应的视差值，计算出视差搜索范围；步骤4：结合图像LAB色彩空间信息、图像的不变矩信息以及图像梯度信息构造联合匹配代价，以左图像为基准图像，右图像为配准图像，计算匹配代价并对匹配代价进行滤波，然后在视差搜索范围下，采用赢者通吃WTA策略选择最优视差值，结合特征点与非特征点对应的视差值，得到左视差图；再以右图像为基准图像，左图像为配准图像，采取同样的策略，得到右视差图；步骤5：采用左右一致性检验(LRC)方法剔除误匹配像素；对于误匹配点，首先利用同一行扫描线上距离误匹配点最近的像素的有效的最小视差值来代替，再采用双边滤波器对整幅图像进行滤波处理，得到精确的稠密视差图。2.如权利要求1所述基于多特征联合的局部立体匹配方法，其特征在于，在步骤1中，所述输入的左右图像为根据双目相机参数校正后的左右图像。3.如权利要求1所述基于多特征联合的局部立体匹配方法，其特征在于，所述步骤2的具体过程如下：步骤2.1:提取左右两幅图像的特征点之后，接下来进行特征点匹配，设左右图像的Harris特征点集分别为CL＝{ci|i＝1,…,n}和CR＝{cj|j＝1,…,n}；将左图像作为基准图像，选择一个特征点Ci作为候选点，在右图像中寻找匹配点Cj(j＝1,…,n)；首先检测点Ci与Cj(i＝1,…,n)是否满足极线约束，若满足则依次分别检测两个特征点的特征值，邻域特征点数是否匹配；其中n为经步骤1提取到的图像特征点的数量；步骤2.2：对剩下的待匹配点Cj和候选点Ci进行归一化互相关系数NCC的计算；选择与特征点Ci具有最大互相关系数的右图像中的点即为与之相匹配的特征点Cj；步骤2.3：继续选取左图像的下一个候选点，重复步骤2.1，得到匹配点集SL，将左右两幅图像互换，对于右图像中所有的特征点，采用同样的步骤，找到其在左图像中相应的匹配点，组成...

【专利技术属性】
技术研发人员：杜娟，徐晟，胡跃明，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44