基于平面约束和三角剖分的双目视觉立体匹配方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于平面约束和三角剖分的双目视觉立体匹配方法及装置。该方法包括：获取两个摄像机采集的左右图像，将任一幅作为参考图像；确定参考图像的支持点并计算视差；按预设方式分割参考图像；将各分割区域分为第一类和/或第二类分割区域；将每个第一类分割区域二次分割；根据每个子分割区域的支持点及视差，确定该区域内非支持点的视差；将每个第二类分割区域三角剖分；根据每个三角形区域的顶点及视差确定该区域内非支持点的视差搜索范围；将该范围对应的待匹配点与非支持点逐像素匹配，确定非支持点的视差。本发明专利技术能够对遮挡区域及大面积无纹理区域更准确地匹配。且缩小了小面积分割区域的视差搜索范围，提高了匹配效率。

Binocular stereo matching method and device based on plane constraint and triangulation

The embodiment of the invention provides a binocular stereo matching method and device based on plane constraint and triangulation. The method includes: acquiring the left and right images captured by two cameras, taking any one as a reference image; determining the support point of the reference image and calculating the parallax; dividing the reference image according to the preset method; dividing the segmentation regions into the first and/or the second segmentation regions; dividing each segmentation region into the first and/or the second segmentation regions; and dividing each segmentation region twice according to each category. Supporting points and disparities of each sub-segmentation region are used to determine the disparity of the non-supporting points in the region; triangulation of each second-class segmentation region is performed; the disparity search range of the non-supporting points in the region is determined according to the vertices and disparities of each triangle region; and pixel-by-pixel matching of the matching points and the non-supporting points corresponding to the range is done accurately. Disparity of fixed support points. The invention can match the occlusion area and the large area without texture area more accurately. It also reduces the range of disparity search and improves the matching efficiency.

【技术实现步骤摘要】
基于平面约束和三角剖分的双目视觉立体匹配方法及装置
本专利技术涉及计算机视觉
，特别是涉及一种基于平面约束和三角剖分的双目视觉立体匹配方法及装置。
技术介绍
双目立体视觉主要包括四个步骤：双目摄像机标定、获取二维图像对、图像校正、双目视觉立体匹配。其中，双目视觉立体匹配包括：首先用双目摄像机或两个平行放置的摄像机同时拍摄同一物理场景，得到左右图像；然后找到场景中同一目标在左右图像中的投影点，称其为对应点；最后根据对应点的视差，即对应点在像素坐标系u轴方向的偏移量生成视差图。根据所生成的视差图以及相似三角形原理可进一步计算出所拍摄物理场景中所述目标与摄像机的实际距离，该过程也称为立体视觉深度计算。立体视觉深度计算被广泛应用在三维场景重建、移动机器人自主导航等实际应用中，同时在医学成像、工业检测等领域中的应用也越来也广泛。目前常用的双目视觉立体匹配算法有：基于支持窗口的局部算法、基于图像切割或动态规划的全局算法、基于最小生成树的非局部匹配算法等。由于所述左右图像从是从不同拍摄角度获得的，不可避免会有遮挡区域或大面积无纹理区域的存在。其中，遮挡区域是指只在一幅图像中可见，在另一幅图像本文档来自技高网...

【技术保护点】
1.一种基于平面约束和三角剖分的双目视觉立体匹配方法，其特征在于，包括：获取两个平行放置的摄像机在同一时间分别采集的同一拍摄场景的左图像和右图像，并将其中任一幅作为参考图像，另一幅作为待匹配图像；确定所述参考图像中的支持点，并计算各所述支持点的视差；其中，所述支持点为所述参考图像中的、在所述待匹配图像中有唯一且正确匹配点的像素点；按照预设的图像分割方式，对所述参考图像进行分割，得到多个分割区域；将各所述分割区域划分为分割面积大于第一阈值的第一类分割区域，和/或分割面积不大于所述第一阈值的第二类分割区域；针对每个第一类分割区域，执行：对该第一类分割区域进行第二次分割，将该第一类分割区域划分为多个...

【技术特征摘要】
1.一种基于平面约束和三角剖分的双目视觉立体匹配方法，其特征在于，包括：获取两个平行放置的摄像机在同一时间分别采集的同一拍摄场景的左图像和右图像，并将其中任一幅作为参考图像，另一幅作为待匹配图像；确定所述参考图像中的支持点，并计算各所述支持点的视差；其中，所述支持点为所述参考图像中的、在所述待匹配图像中有唯一且正确匹配点的像素点；按照预设的图像分割方式，对所述参考图像进行分割，得到多个分割区域；将各所述分割区域划分为分割面积大于第一阈值的第一类分割区域，和/或分割面积不大于所述第一阈值的第二类分割区域；针对每个第一类分割区域，执行：对该第一类分割区域进行第二次分割，将该第一类分割区域划分为多个第一类子分割区域；根据每个第一类子分割区域内的支持点和支持点的视差，拟合该第一类子分割区域的第一平面方程；根据所述第一平面方程，确定该第一类子分割区域内非支持点的视差；其中，所述多个第一类子分割区域分别对应于所述拍摄场景中不同的物理平面；针对每个第二类分割区域，执行：对该第二类分割区域进行三角剖分，将该第二类分割区域划分为多个三角形区域；针对每个三角形区域内的每个非支持点，根据该三角形区域的各顶点和各顶点的视差确定该非支持点对应的第一视差搜索范围；将所述第一视差搜索范围内各视差对应的待匹配点与该非支持点进行逐像素匹配，确定该非支持点的视差；其中，所述各顶点均为支持点。2.根据权利要求1所述的方法，其特征在于，所述确定所述参考图像中的支持点，包括：以所述参考图像的左上角像素点作为起点，沿所述参考图像对应的像素坐标系的u轴和v轴，在所述参考图像中构建步长为预设步长的网格；将所述网格中的、除了位于所述参考图像边缘处的交点作为候选支持点；其中，u轴向右，v轴向下；针对每个候选支持点，计算预先设置的该候选支持点对应的第二视差搜索范围内各视差对应的待匹配点的向量与该候选支持点的向量的距离；若计算得到的所述距离中小于第二阈值的各距离中，最小的距离的个数为1，则将该候选支持点作为支持点；其中，所述第二视差搜索范围内各视差对应的待匹配点的向量，以及所述该候选支持点的向量均根据预设尺寸的sobel算子计算得到。3.根据权利要求1所述的方法，其特征在于，所述按照预设的图像分割方式，对所述参考图像进行分割，得到多个分割区域，包括：按照均值偏移Meanshift图像分割方式，对所述参考图像进行分割，得到多个分割区域。4.根据权利要求1所述的方法，其特征在于，所述对该第一类分割区域进行第二次分割，将该第一类分割区域划分为多个第一类子分割区域，包括：按照预设的平面拟合规则，拟合该第一类分割区域内的多个支持点子集对应的物理平面的平面方程；其中，所述多个支持点子集分别对应于所述拍摄场景中不同的物理平面；在拟合得到的各所述物理平面中，若其中多个物理平面满足预设合并条件，则根据所述多个物理平面内的支持点和支持点的视差，拟合得到合并后物理平面的平面方程；根据合并后物理平面的平面方程和未被合并的物理平面的平面方程，计算各合并后物理平面、未被合并的物理平面间的交线，确定出所述多个第一类子分割区域；其中，所述预设合并条件为：所述多个物理平面中，任一物理平面与至少一个其他物理平面的距离小于第三阈值；在拟合得到的各所述物理平面中，若其中任意两个物理平面不满足所述预设合并条件，则根据各所述物理平面的平面方程，计算各所述物理平面间的交线，确定出所述多个第一类子分割区域。5.根据权利要求4所述的方法，所述按照预设的平面拟合规则，拟合该第一类分割区域内的多个支持点子集对应的物理平面的平面方程，包括：S1、基于随机抽样一致性RANSAC算法，从该第一类分割区域内的当前支持点集Y中选取目标支持点子集O；其中，所述O为所述Y中、支持点个数最多的支持点子集；S2、根据所述O的支持点和支持点的视差，拟合所述O对应的物理平面的平面方程；S3、判断当前未拟合支持点子集Y-O的支持点个数是否少于预设比例的该第一类分割区域内的支持点个数；若所述Y-O的支持点个数不少于预设比例的该第一类分割区域内的支持点个数，则将所述Y-O作...

【专利技术属性】
技术研发人员：张雪松，白肖艳，康学净，明安龙，苏圣，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11