基于多尺度迭代的立体匹配算法制造技术

本发明专利技术公开了一种基于多尺度迭代的立体匹配算法，包括：对参考图像IR_0以及目标图像IT_0进行基于高斯滤波式的多尺度分解；对第n尺度层参考图像IR_n以及目标图像IT_n进行基于窗口聚合立体匹配，得到当前尺度层的参考视差图DR_n，并对DR_n进行上采样生成上采样后的参考视差图

A stereo matching algorithm based on multiscale iteration

The invention discloses a stereo matching algorithm based on multi-scale iterative including: multi-scale Gauss decomposition filter based on the reference image and the target image IR_0 IT_0; on the N scale layer reference image and the target image IR_n IT_n window polymerization stereo matching based on current scale reference disparity map DR_n, and the DR_n sampling generated after sampling the disparity map reference

【技术实现步骤摘要】
基于多尺度迭代的立体匹配算法
本专利技术涉及计算机立体视觉领域中的立体匹配，可用于图像的三维重建，在医学图像、媒体设备等中提供指导。
技术介绍
人眼的立体感知能力虽然很强，能够很轻松的正确判断出两个物体的深度顺序，但是却无法得到其精确的距离信息。然而，使用立体匹配技术，通过精确的标定，使用合适的计算方法，在匹配正确的情况下可以得到非常精确的深度和位置等数值信息，这使得机器人的精密控制、三维模型重建等工作可以更好的完成。立体匹配技术通过对参考图像与目标图像进行匹配处理，最终得到参考图像以及目标图像视差图，视差图中每个像素点的亮度值表示该像素点在参考图像与目标图像中的坐标之差。立体匹配算法主要分为全局算法、半全局算法以及局部算法。全局算法以及半全局算法需要对构建的能量函数进行复杂的约束，采用最优化的方式获得最终的匹配结果，算法复杂度较高。局部算法无需构建能量函数的约束项，因此计算复杂度较低，易于实时性的应用。传统的局部算法通常是基于单一尺度的匹配方式，此类算法未考虑到参考图像与目标图像在尺度空间的差异，仅在一个尺度上进行匹配，难以获得较好的匹配结果。随着立体匹配算法于工业、生活领域内的广泛应用，高精度的匹配方式成为了当下立体视觉技术的研究的热点。近年来，立体视觉理论的不断发展为获得高精度的立体匹配提供了理论基础。
技术实现思路
本专利技术针对上述问题提出一种基于多尺度迭代的立体匹配算法，首先参考图像及目标图像进行多尺度的分解，然后从尺度最大层开始对相应的参考图像及目标图像进行迭代匹配，最终获得高精度的立体匹配结果，本专利技术的技术方案如下：一种基于多尺度迭代的立体匹配算法，包括下列步骤：(1)将参考图像IR_0记为第0尺度层下的参考图像，目标图像IT_0记为第0尺度层下的目标图像，然后分别对IR_0及IT_0进行基于高斯滤波式的多尺度分解，得到Nmax+1个不同尺度层下的参考图像IR_n以及Nmax+1个不同尺度层下的目标图像IT_n，其中n为尺度层编号且n∈{0,1,2,…,Nmax}；(2)将当前尺度层编号n初始化为Nmax，即令n＝Nmax；(3)对当前尺度层参考图像IR_n以及目标图像IT_n使用截断梯度匹配代价计算方式计算得到参考图像IR_n的匹配代价gR_n，然后对gR_n进行基于窗口聚合立体匹配，得到当前尺度层的参考视差图DR_n，并对DR_n进行上采样生成上采样后的参考视差图(4)对第n-1尺度层的参考图像IR_n-1以及目标图像IT_n-1使用截断梯度匹配代价计算方式计算得到参考图像IR_n-1的匹配代价gR_n-1，然后对gR_n-1进行基于窗口聚合立体匹配，得到第n-1尺度层的参考视差图DR_n-1；(5)设第n-1尺度层的参考视差图标志位为MR_n-1，比较以及DR_n-1对应点的值，当二者的值相等时，则相应的参考视差图标志位取值为1，当二者的值不相等时，则相应的参考视差图标志位取值为0；(6)在第n-1尺度层，根据公式cR_n-1＝[gR_n-1+|dn-1-DR_n-1|]·MR_n-1计算参考图像IR_n-1的更新匹配代价cR_n-1，其中dn-1为第n-1尺度层参考图像的视差搜索值，根据全域图像权重聚合原理计算第n-1尺度层的参考图像的聚合权重WR_n-1，将cR_n-1与WR_n-1相乘后进行聚合匹配，得到最终迭代后的第n-1尺度层参考视差图(7)判断n-1的值，若n-1＝0则匹配结束，若n-1≠0则对进行上采样，并将上采样后的结果记做同时将尺度层编号n减1；(8)重复步骤(4)-(7)直至n-1＝0。总之，本专利技术针对传统的基于单一尺度局部立体匹配算法存在的不足,提出一种基于多尺度迭代的立体匹配算法，依据多尺度图像的特性进行迭代匹配。本专利技术能够获得更为精准的立体匹配效果，有着广泛的应用前景。附图说明图1本专利技术的基于多尺度迭代的立体匹配算法流程图。图2为传统的基于单一尺度局部立体匹配算法与本专利技术对标准测试图像“Adirondack”进行匹配得到的对比视差图，(a)为Adirondack左图，(b)为传统的单一尺度局部立体匹配算法得到的左视差图，(c)为本专利技术得到的为左视差图。图3为传统的基于单一尺度局部立体匹配算法与本专利技术对标准测试图像“Recycle”进行匹配得到的对比视差图，(a)为Recycle左图，(b)为传统的单一尺度局部立体匹配算法得到的左视差图，(c)为本专利技术得到的为左视差图。具体实施方式本专利技术基于多尺度迭代的立体匹配算法，主要由四部分组成：参考图像与目标图像的多尺度分解、当前尺度层的立体匹配及上采样、下一尺度层的立体匹配、相邻尺度层匹配结果对比及匹配代价更新聚合。具体步骤和原理如下：101：参考图像IR_0以及目标图像IT_0的多尺度分解；采用使用传统的基于高斯滤波式的多尺度分解对参考图像IR_0以及目标图像IT_0进行多尺度分解，得到一系列不同尺度层下的参考图像IR_n以及目标图像IT_n(n＝0,1,2,…,Nmax，n为尺度层编号，Nmax为最大尺度层编号)。其中i、j分别为中心像素点(i,j)的横、纵坐标；(u,v)为以(i,j)为中心像素点，尺寸为(2r1+1)×(2r2+1)的窗口内任意像素点，u、v分别为横、纵坐标；Γ(u,v)为高斯核内像素点(u,v)的权重。102：初始化当前尺度层编号n；从Nmax尺度层开始进行迭代匹配，将n初始化为Nmax，即令n＝Nmax。103：对当前尺度层(第n尺度层)参考图像IR_n以及目标图像IT_n进行基于传统的窗口聚合立体匹配；采用立体匹配技术中任意常用的截断梯度匹配代价，得到当前尺度层的参考视差图DR_n，并对DR_n进行上采样生成上采样后的参考视差图en(i,j,dn)＝min(|▽IR_n(i,j)-▽IT_n(i,j-dn)|,2)其中▽IR_n、▽IT_n分别为当前尺度层(第n尺度层)参考图像的梯度、目标图像的梯度；en(i,j,dn)为当前尺度层(第n尺度层)参考图像的初始匹配代价，dn为当前尺度层(第n尺度层)参考图像的视差搜索值，dnmin、dnmax分别为相应视差搜索的最小、最大值；ω(x,y)为以(x,y)为中心像素点，尺寸为11×11的聚合窗口；fup代表上采样操作。104：对下一尺度层(第n-1尺度层)的参考图像IR_n-1以及目标图像IT_n-1进行基于传统的窗口聚合立体匹配；采用立体匹配技术中任意常用的截断梯度匹配代价，得到第n-1尺度层的参考视差图DR_n-1：en-1(i,j,dn-1)＝min(|▽IR_n-1(i,j)-▽IT_n-1(i,j-dn-1)|,2)其中▽IR_n、▽IT_n分别为第n-1尺度层参考图像的梯度、目标图像的梯度；en-1(i,j,dn-1)为第n-1尺度层参考图像的初始匹配代价，dn-1为第n-1尺度层参考图像的视差搜索值，dn-1min、dn-1max分别为相应视差搜索的最小、最大值；105：计算第n-1尺度层的参考视差图标志位MR_n-1；比较及DR_n-1的值，得到第n-1尺度层的参考视差图标志位MR_n-1：106：依据权重聚合方法计算(第n-1尺度层)迭代后的第n-1尺度层参考视差图cR_n-1(i,j,dn-1)＝[min(|▽IR_n本文档来自技高网...

【技术保护点】
一种基于多尺度迭代的立体匹配算法，包括下列步骤：(1)将参考图像IR_0记为第0尺度层下的参考图像，目标图像IT_0记为第0尺度层下的目标图像，然后分别对IR_0及IT_0进行基于高斯滤波式的多尺度分解，得到Nmax+1个不同尺度层下的参考图像IR_n以及Nmax+1个不同尺度层下的目标图像IT_n，其中n为尺度层编号且n∈{0,1,2,…,Nmax}；(2)将当前尺度层编号n初始化为Nmax，即令n＝Nmax；(3)对当前尺度层参考图像IR_n以及目标图像IT_n使用截断梯度匹配代价计算方式计算得到参考图像IR_n的匹配代价gR_n，然后对gR_n进行基于窗口聚合立体匹配，得到当前尺度层的参考视差图DR_n，并对DR_n进行上采样生成上采样后的参考视差图

【技术特征摘要】
1.一种基于多尺度迭代的立体匹配算法，包括下列步骤：(1)将参考图像IR_0记为第0尺度层下的参考图像，目标图像IT_0记为第0尺度层下的目标图像，然后分别对IR_0及IT_0进行基于高斯滤波式的多尺度分解，得到Nmax+1个不同尺度层下的参考图像IR_n以及Nmax+1个不同尺度层下的目标图像IT_n，其中n为尺度层编号且n∈{0,1,2,…,Nmax}；(2)将当前尺度层编号n初始化为Nmax，即令n＝Nmax；(3)对当前尺度层参考图像IR_n以及目标图像IT_n使用截断梯度匹配代价计算方式计算得到参考图像IR_n的匹配代价gR_n，然后对gR_n进行基于窗口聚合立体匹配，得到当前尺度层的参考视差图DR_n，并对DR_n进行上采样生成上采样后的参考视差图(4)对第n-1尺度层的参考图像IR_n-1以及目标图像IT_n-1使用截断梯度匹配代价计算方式计算得到参考图像IR_n-1的匹配代价gR_n-1，...

【专利技术属性】
技术研发人员：朱程涛，李锵，滕建辅，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12