立体匹配方法、装置、终端和存储介质制造方法及图纸

本发明专利技术涉及立体匹配技术领域，提供一种立体匹配方法、装置、终端和存储介质，包括：通过双目相机获取左图像和右图像，并对左图像构建预设层数的左金字塔，对右图像构建预设层数的右金字塔；对左金字塔的高一层图像和右金字塔的高一层图像进行双向立体匹配，得到高一层的左视差图和高一层的右视差图；根据高一层的左视差图确定左金字塔的低一层图像中每个像素的视差搜索范围，以及根据高一层的右视差图确定右金字塔的低一层图像中每个像素的视差搜索范围；根据视差搜索范围对左金字塔的低一层图像和右金字塔的低一层图像双向立体匹配，得到低一层的左视差图和低一层的右视差图。本发明专利技术大大减少视差搜素范围，提高了视差计算的收敛速度。

【技术实现步骤摘要】
立体匹配方法、装置、终端和存储介质
本专利技术涉及立体匹配
，尤其涉及一种立体匹配方法、装置、终端和存储介质。
技术介绍
立体匹配技术是计算机视觉中的一个研究热点，其目标是从同一场景获取的两幅或多幅图像中找到每个像素匹配的对应点，它是三维重建、立体导航、非接触测距等技术的关键步骤。根据立体匹配算法所采用的约束，一般可分为局部匹配方法和全局匹配方法。全局匹配方法主要采用了全局优化函数估计视差，通过建立全局能量函数，将视差的求取转化为最小化全局能量函数的求解，图割、置信度传播和动态规划等优化算法是计算最小全局能量函数的常用方法，全局匹配算法匹配精度高、鲁棒性强，但是计算速度非常慢。局部匹配方法也称为基于窗口的方法，主要采用局部优化方法进行视差值估计，与全局立体匹配方法相似，通过优化一个代价函数计算最优视差。但是，在局部匹配的能量函数中，只有基于局部区域的约束数据项，而没有平滑项。局部匹配方法一般利用某一点邻域的灰度、颜色或梯度等信息进行匹配代价计算，计算复杂度低，但是局部匹配对弱纹理、无纹理、视差不连续或遮挡区域等匹配不理想。本文档来自技高网...

【技术保护点】
1.一种立体匹配方法，其特征在于，包括：/n通过双目相机获取左图像和右图像，并对所述左图像构建预设层数的左金字塔，对所述右图像构建所述预设层数的右金字塔；/n对所述左金字塔的高一层图像和所述右金字塔的高一层图像进行双向立体匹配，得到所述高一层的左视差图和所述高一层的右视差图；/n根据所述高一层的左视差图确定所述左金字塔的低一层图像中每个像素的视差搜索范围，以及根据所述高一层的右视差图确定所述右金字塔的低一层图像中每个像素的视差搜索范围；/n根据所述视差搜索范围，对所述左金字塔的低一层图像和所述右金字塔的低一层图像进行双向立体匹配，得到所述低一层的左视差图和所述低一层的右视差图。/n

【技术特征摘要】
1.一种立体匹配方法，其特征在于，包括：
通过双目相机获取左图像和右图像，并对所述左图像构建预设层数的左金字塔，对所述右图像构建所述预设层数的右金字塔；
对所述左金字塔的高一层图像和所述右金字塔的高一层图像进行双向立体匹配，得到所述高一层的左视差图和所述高一层的右视差图；
根据所述高一层的左视差图确定所述左金字塔的低一层图像中每个像素的视差搜索范围，以及根据所述高一层的右视差图确定所述右金字塔的低一层图像中每个像素的视差搜索范围；
根据所述视差搜索范围，对所述左金字塔的低一层图像和所述右金字塔的低一层图像进行双向立体匹配，得到所述低一层的左视差图和所述低一层的右视差图。


2.如权利要求1所述的立体匹配方法，其特征在于，所述双向立体匹配方法包括：
对所述左金字塔的对应层图像和所述右金字塔的对应层图像分别进行超像素分割，得到若干个超像素，并为每个所述超像素构造共享标签窗口，以及为每个所述超像素初始化第一3D标签；
根据所述第一3D标签，计算所述左金字塔的对应层图像的所述共享标签窗口内的每个像素的第一能量函数，以及计算所述右金字塔的对应层图像的所述共享标签窗口内的每个像素的第一能量函数；
迭代更新每个所述超像素的第一3D标签得到第二3D标签，根据所述第二3D标签，计算所述左金字塔的对应层图像的所述共享标签窗口内的每个像素的第二能量函数，以及计算所述右金字塔的对应层图像的所述共享标签窗口内的每个像素的第二能量函数；
若所述第二能量函数小于所述第一能量函数，确定每个所述超像素的3D标签为所述第二3D标签；
根据所述左金字塔的对应层图像的所有所述第二3D标签和根据所述右金字塔的对应层图像的所有所述第二3D标签进行双向立体匹配，得到所述左金字塔的对应层的左视差图和所述右金字塔的对应层的右视差图。


3.如权利要求2所述的立体匹配方法，其特征在于，金字塔的最高层图像的超像素进行初始化第一3D标签的方法，包括：
随机选取金字塔的最高层图像中超像素Si中的一像素点(x,y)，使像素点(x,y)的视差：
d＝ax+by+c
满足d∈[Dmin/2L-1,Dmax/2L-1]，则确定超像素Si的第一3D标签为f(a,b,c)；其中，[Dmin,Dmax]为所述左图像与所述右图像的初始视差搜索范围。


4.如权利要求2所述的立体匹配方法，其特征在于，计算能量函数的方法包括：通过






得到能量函数E(f)；其中，Oi为所述共享标签窗口；p为所述共享标签窗口内的像素点；φp(f)为像素点p的数据项；N(p)为像素点p的邻域；ψpq(fp,fq)为像素点p与像素点q间的平滑项；fp为像素点p的3D标签；fq为像素点q的3D标签；λ为平滑系数；Wp为以像素点p为中心，半径为r的矩形窗口；ωpq为平滑项的权重，f为在所述左金字塔的高一层图像的所有超像素中随机选取的任一像素点的3D标签，或为所述右金字塔的高一层图像的所有超像素中随机选取的任一像素点的3D标签；wf(s)为根据所述3D标签将所述左金字塔的高一层图像中像素点s映射到所述右金字塔的高一层图像的像素的坐标；函数ρ(s,wf(s))用于计算所述左金字塔的高一层图像中像素点s和wf(s)之间的相似性；为视差惩罚函数，ε为常数值，τdis为预设截断值。


5.如权利要求2所述的立体匹配方法，其特征在于，更新3D标签的方法包括：
通过
d＝ax+by+c
得到当前像素点(x,y)的第一3D标签f(a,b,c)的视差d；
计算
△d＝(dmax-dmin)/2m，m＝1,2,...,M
其中，M为迭代次数，[dmin,dmax]为当前像素点的初始视差搜索范围；
更新当前像素点的第一3D标签，得到第二3D标签，并根据所述第二3D标签计算当前像素点的视差d'，直到满足



其中，则将所述第二3D标签赋值给当前像素点。


6.如权利要求2所述的立体匹配方法，其特征在于，所述根据所述高一层的左视差图确...

【专利技术属性】
技术研发人员：李海超，李志，蒙波，庞羽佳，石佳卉，张志民，黄建斌，黄龙飞，韩旭，王尹，黄良伟，
申请(专利权)人：中国空间技术研究院，
类型：发明
国别省市：北京;11