一种基于区域生长的遮挡检测和视差校正的方法技术

本发明专利技术提出一种基于区域生长的遮挡检测和视差校正的方法。首先通过树结构动态规划算法得到初始视差图，然后通过初始视差图像边缘的存疑区域生长法检测遮挡区域和受遮挡影响区域，最后利用颜色通道向量化方法对遮挡区域和受遮挡影响区域的像素点视差值进行重新填充，得到最终视差图。本发明专利技术能够明显减少遮挡对遮挡区域和受遮挡影响区域的误匹配率。

【技术实现步骤摘要】

本专利技术属于图像处理
，具体涉及一种基于区域生长的遮挡检测和视差校 正的方法。
技术介绍
遮挡现象一直是双目立体匹配的研究热点。由于景物深度不同，距离摄像机较远 的景物被距离摄像机较近的景物遮挡，从而不能投影至摄像机成像面上形成图像。即某一 视点下可见的场景区域在另一个视点下可能成为遮挡区域，如附图2所示。遮挡现象对整 体视差图造成较大误匹配。现有一些方法能简单有效的检测遮挡区域，列如视差直方图峰 值比例法（BMD)，匹配点对的顺序性约束法（0RD)，遮挡约束法（0CC)。这些方法只能定性检 测部分遮挡区域，无法精确获得遮挡区域，同时，此类方法都没有考虑到受遮挡点影响的区 域，最后获得的视差图有较大误差，匹配正确率低，所以本文创新性的提出一种基于初始视 差图像边缘的存疑区域生长法确定受到遮挡现象影响的区域，称为存疑区域。 存疑区域处理可有效减少此区域的误匹配。参考文献（QYang,LWang,R Yang,etal.Stereomatchingwithcolor-weightedcorrelation,hierarchicalbelief propagationandocclusionhandling ,2008)利用图像分割块之间的几何约束和分割 块内的像素点的视差概率，估计不可信的像素点的最优视差值。此类方法有效估计受遮挡 影响的像素点的视差近似值，但是依赖于算法分割结果，所以部分受遮挡点影响像素点的 视差估计没有较好实现，将错误的视差值填充进去，导致加大了匹配错误。
技术实现思路
本专利技术提出，能够明显减少遮挡 对遮挡区域和受遮挡影响区域的误匹配率。 为了解决上述技术问题，本专利技术提供一种基于区域生长的遮挡检测和视差校正的 方法，包括以下步骤： 步骤一：读取待匹配双目图像L和^设左视图L为待匹配图像，右视图乙为匹 配图像，获取图像的大小和颜色通道信息； 步骤二：使用树结构的动态规划算法，获取匹配图像L中每个匹配点在待匹配图 像Ii中对应的待匹配点，计算每个匹配点和待匹配点的位移差值即视差值，然后将视差值 存储在初始视差矩阵中，获得初始视差图； 步骤三：根据步骤二的初始视差矩阵检测出基于初始视差图的存疑区域，所述存 疑区域为遮挡区域和受遮挡影响的区域的集合；步骤四：通过颜色通道向量化方法，计算存疑区域中存疑点和校正窗口T中每个 非存疑点的相似度，选取与存疑点最相似的非存疑像素点，将非存疑像素点视差值作为存 疑点的视差值，从而完成视差矩阵的视差校正； 步骤五：将步骤四中校正完成的视差矩阵再次检测存疑区域和视差校正，然后返 回步骤三，重复步骤三至步骤五的计算直到视差矩阵中视差点视差值不在发生变化，结束 校正，得到最终校正完成的视差矩阵，将最终视差矩阵中的视差值映射到相应的灰度空间 ，生成最终视差图。 本专利技术与现有技术相比，其显著优点在于：（1)通过树结构动态规划算法得到初 始视差图，对初始视差图提取边界时，减少背景中的误匹配也被提取成边界，有效减少复杂 背景的干扰；（2)通过初始视差图像边缘的存疑区域生长法检测遮挡区域和受遮挡影响区 域，不仅考虑遮挡区域，同时考虑到受遮挡影响区域的误匹配，对遮挡区域和受遮挡影响区 域都进行视差校正，有效提高算法的匹配正确率；（3)利用颜色通道向量化方法对遮挡区 域和受遮挡影响区域的像素点视差值进行重新填充，减少像素点间的颜色数值差异小，实 质表示不同颜色的情况下的误匹配，比单一比较颜色差值更有效的判断像素间的颜色相似 性；(4)本专利技术方法整体不需要依赖于图像分割，算法较为简单，有效降低算法复杂程度， 计算效率远高于上述基于全局和图像分割的算法，同时有效规避遮挡引起的视差模糊，有 效处理因遮挡对视差图造成的影响而造成的信息丢失，提高视差图的正确匹配率。【附图说明】 图1是本专利技术方法流程图。 图2是双目立体匹配的遮挡原理图。 图3是本专利技术仿真实验采用的Middlebury测试平台提供的Teddy标准测试图像， 图3 (a)为Teddy标准测试左视图，图3 (b)为Teddy标准测试右视图。 图4是使用本专利技术方法处理图3所示双目图像获得的初始视差图和最终视差图， 其中图4(a)是初始视差图，图4(b)是最终视差图。【具体实施方式】 本专利技术提出，通过颜色通道向量 化方法，计算存疑点和非存疑点的相似度，选取与存疑点最相似的像素，将其视差值作为存 疑点的视差值，从而完成视差校正。如图1所示，具体包括以下步骤： 步骤一：读取待匹配双目图像h和设左视图h为待匹配图像，右视图乙为匹 配图像，获取图像的大小和颜色通道信息； 步骤二：使用树结构的动态规划算法，获取匹配图像L中每个匹配点在待匹 配图像Ii中对应的待匹配点，计算每个匹配点和待匹配点的位移差值即视差值，然后将 视差值存储在初始视差矩阵中，获得初始视差图。树结构的动态规划算法具体参见文 献(M.BleyerandM.Gelautz,SimplebutEffectiveTreeStructuresforDynamic Programming-BasedStereoMatching,2008) 步骤三：根据步骤二的初始视差矩阵检测出基于初始视差图的存疑区域，所述存 疑区域为遮挡区域和受遮挡影响的区域的集合。本专利技术定义初始生长点的外部，即"生长的 向外方向"是由较大视差值区域指向较小视差值区域，为受遮挡影响区域；初始生长点的内 部，即"生长的向内方向"是由较小视差值区域指向较大视差值区域，为遮挡区域。检测基 于初始视差图的存疑区域的过程为： 3. 1.利用canny算子对初始视差图提取边缘，获得基于初始视差矩阵的边界集， 将边界集的边界点作为检测存疑区域的初始生长点。 3. 2计算生长点的左像素点在初始视差矩阵中视差值山与生长点的右像素当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于区域生长的遮挡检测和视差校正的方法，其特征在于，包括以下步骤：步骤一：读取待匹配双目图像Il和Ir，设左视图Il为待匹配图像，右视图Ir为匹配图像，获取图像的大小和颜色通道信息；步骤二：使用树结构的动态规划算法，获取匹配图像Ir中每个匹配点在待匹配图像Il中对应的待匹配点，计算每个匹配点和待匹配点的位移差值即视差值，然后将视差值存储在初始视差矩阵中，获得初始视差图；步骤三：根据步骤二的初始视差矩阵检测出基于初始视差图的存疑区域，所述存疑区域为遮挡区域和受遮挡影响的区域的集合；步骤四：通过颜色通道向量化方法，计算存疑区域中存疑点和校正窗口T中每个非存疑点的相似度，选取与存疑点最相似的非存疑像素点，将非存疑像素点视差值作为存疑点的视差值，从而完成视差矩阵的视差校正；步骤五：将步骤四中校正完成的视差矩阵再次检测存疑区域和视差校正，然后返回步骤三，重复步骤三至步骤五的计算直到视差矩阵中视差点视差值不在发生变化，结束校正，得到最终校正完成的视差矩阵，将最终视差矩阵中的视差值映射到相应的灰度空间[0，255]，生成最终视差图。

【技术特征摘要】

【专利技术属性】
技术研发人员：张毅，柏连发，庞星，韩静，岳江，金左轮，赵壮，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32