基于匹配代价更新及图像分割的视差精炼方法技术

本发明专利技术公开了一种基于匹配代价更新及图像分割的视差精炼算法，包括对参考图像IR以及目标图像IT进行图像分割；使用基于窗口聚合的立体匹配算法，对参考图像IR以及目标图像IT进行初始立体匹配，得到参考图像初始视差图DAR以及目标图像初始视差图；计算更新后的参考图像匹配代价；得到参考图像聚合权重ΩR(iR,jR)和目标图像聚合权重ΩT(iT,jT)；得到参考图像视差图DBR和目标图像视差图DBT；得到最终的参考图像稠密视差图DR以及目标图像稠密视差图DT。

Parallax refinement algorithm based on matching cost update and image segmentation

The invention discloses a refinement algorithm for disparity matching cost update and based on image segmentation, including image segmentation on the reference image and the target image using IR IT; stereo matching algorithm based on aggregation window, the reference image and the target image IR IT initial reference image obtained by stereo matching, disparity map and the target image of initial DAR disparity map; calculation of the matching cost reference updated image; a reference image obtained by polymerization of weight Omega R (iR, jR) and the target image polymerization weight Omega T (iT, jT); get the reference image and the target image disparity map DBR disparity map DBT; get the dense disparity map reference image and the target image dense DR the disparity map DT.

【技术实现步骤摘要】
基于匹配代价更新及图像分割的视差精炼算法
本专利技术涉及计算机立体视觉领域中的立体匹配，涉及一种基于匹配代价更新及图像分割的视差精炼算法，可用于图像的三维重建，在医学图像、媒体设备等中提供指导。
技术介绍
立体视觉是计算机视觉领域内的研究热点，其目的是为了获得场景图像之间的三维信息。该技术已广泛应用于众多领域，如立体显示、场景重建、行人检测等。一个完整的立体视觉系统包括：相机的标定，极线矫正，立体匹配，三维重建。立体匹配是立体视觉中最为关键的技术，其主要作用是为了获取场景图像之间的匹配信息，主要由匹配代价计算、匹配代价聚合、视差计算、视差精炼四部分组成。传统的立体匹配算法一般在对匹配得到的初始视差图采用左右一致性检测后，对检测出的误匹配点采用横向邻近点填充的方式进行视差优化填充。为了获得高精度的立体匹配视差图，基于权重中值滤波的方法被引入至视差精炼阶段，但这类算法通常需要指定视差精炼窗口的尺寸，在精炼过程中未考虑到窗口之外像素点对于视差精炼的影响，使得视差精炼的精度受到限制。在实际应用中，采用传统的基于权重中值滤波的视差精炼算法存在一定的局限性，难以获得较高的立体匹配精度，这也是众多科研人员在立体匹配中所面临的问题。随着立体匹配技术于科技、工业、生活领域内的广泛应用，获取高精度的立体匹配效果具有重要的研究价值以及商业价值。近年来，计算机视觉理论的不断发展为获得高精度的立体匹配提供了理论基础。
技术实现思路
本专利技术针对上述问题提出一种基于匹配代价更新及图像分割的视差精炼算法，利用初始匹配后的视差信息进行匹配代价的更新，再根据图像亮度信息及图像分割信息进行匹配代价的聚合，对聚合得到的结果进行匹配以获得高精度的视差精炼效果，本专利技术的技术方案如下：一种基于匹配代价更新及图像分割的视差精炼算法，包括下列步骤：(1)使用K-means聚类算法对参考图像IR以及目标图像IT进行图像分割，得到参考图像分割区域标志位KR以及目标图像分割区域标志位KT；(2)使用基于窗口聚合的立体匹配算法，对参考图像IR以及目标图像IT进行初始立体匹配，得到参考图像初始视差图DAR以及目标图像初始视差图DAT，采用截断亮度初始匹配代价联合截断梯度初始匹配代价计算得到参考图像匹配代价以及目标图像匹配代价；(3)设参考图像内任意像素点为(iR,jR)，根据公式计算更新后的参考图像匹配代价pR(iR,jR,dR)，其中e为自然底数，dR为参考图像的视差搜索值，λ为缩放因子，与参考图像和目标图像的亮度之比成正比，GR为参考图像误匹配点标志位函数，由公式计算得到；同理设目标图像内任意像素点为(iT,jT)，根据公式计算更新后的目标图像匹配代价pT(iT,jT,dT)，其中dT为目标图像的视差搜索值，GT为目标图像误匹配点标志位函数，由公式计算得到；(4)设参考图像中心像素点为(xR,yR)，从(iR,jR)水平方向出发，依次遍历其与(iR,yR)之间的所有相邻像素点，然后再从(iR,yR)竖直方向出发，依次遍历其与(xR,yR)之间的所有相邻像素点，上述遍历路径记为U，然后计算路径U上所有相邻像素点之间的亮度值之差的绝对值Tn以及分割区域标志位之差的绝对值En，n表示遍历路径U上的第n对相邻像素点，然后对Tn进行指数化得到β为常数，同时根据公式计算对En进行阈值判别后的结果ψ(En)，最后将路径U上所有的与ψ(En)相乘之后即可得到参考图像聚合权重ΩR(iR,jR)；设目标图像中心像素点为(xT,yT)，依据上述相同的原理计算得到目标图像聚合权重ΩT(iT,jT)；(5)利用参考图像聚合权重ΩR(iR,jR)对更新后的参考图像匹配代价pR进行全域的匹配代价聚合匹配，得到参考图像视差图DBR，同理根据目标图像聚合权重ΩT(iT,jT)对更新后的目标图像匹配代价pT进行全域的匹配代价聚合匹配，得到目标图像视差图DBT；(6)根据邻近点填充的方式对参考图像视差图DBR以及目标图像视差图DBT进行视差优化填充，得到最终的参考图像稠密视差图DR以及目标图像稠密视差图DT。总之，本专利技术针对传统的基于权重中值滤波的视差精炼算法中存在的不足,提出一种基于匹配代价更新及图像分割的视差精炼算法，依据初始匹配结果、图像亮度信息以及图像分割信息进行视差精炼的计算。本专利技术能够获得更为精准的视差精炼结果，有着广泛的应用前景。附图说明图1本专利技术的基于匹配代价更新及图像分割的视差精炼算法流程图。图2为传统的基于权重中值滤波的视差精炼算法与本专利技术对待精炼的“Adirondack”左视差图进行视差精炼得到的对比结果，(a)为Adirondack左图，(b)为采用传统的窗口聚合立体匹配算法得到的待精炼左视差图，(c)为传统的基于权重中值滤波的视差精炼算法得到精炼后的左视差图，(d)为本专利技术得到精炼后的左视差图。图3为传统的基于权重中值滤波的视差精炼算法与本专利技术对待精炼的“PlaytableP”左视差图进行视差精炼得到的对比结果，(a)为PlaytableP左图，(b)为采用传统的窗口聚合立体匹配算法得到的待精炼左视差图，(c)为传统的基于权重中值滤波的视差精炼算法得到精炼后的左视差图，(d)为本专利技术得到精炼后的左视差图。具体实施方式本专利技术基于匹配代价更新及图像分割的视差精炼算法，主要由四部分组成：参考图像与目标图像的K-means聚类图像分割、基于传统窗口聚合的初始立体匹配、匹配代价更新及聚合权重设置、最终视差图的生成。具体步骤和原理如下：101：使用传统的K-means聚类算法对参考图像IR以及目标图像IT进行图像分割；采用使用传统的K-means聚类算法对参考图像IR以及目标图像IT进行图像分割，得到参考图像分割区域标志位KR以及目标图像分割区域标志位KT，标志位中每个像素点的亮度值表示该像素点位于分割区域的编号值。102：基于传统窗口聚合的初始立体匹配；采用立体匹配技术中任意常用的截断亮度初始匹配代价联合截断梯度初始匹配代价计算方法，计算得到参考图像的初始匹配代价eR(iR,jR,dR)以及目标图像的初始匹配代价eT(iT,jT,dT)(其中iR、jR、dR分别为参考图像任意像素点的横坐标、纵坐标、视差搜索值；iT、jT、dT分别为目标图像任意像素点的横坐标、纵坐标、视差搜索值)。并根据传统的基于窗口聚合的立体匹配算法对eR(iR,jR,dR)及eT(iT,jT,dT)进行聚合匹配，得到参考图像初始视差图DAR及目标图像初始视差图DAT。eR(iR,jR,dR)＝0.11×min(|IR(iR,jR)-IT(iR,jR-dR)|,7)+0.89×min(|▽IR(iR,jR)-▽IT(iR,jR-dR)|,2)eT(iT,jT,dT)＝0.11×min(|IT(iT,jT)-IR(iT,jT-dT)|,7)+0.89×min(|▽IT(iT,jT)-▽IR(iT,jT-dT)|,2)其中▽IR、▽IT分别为参考图像的梯度、目标图像的梯度；dRmin、dRmax分别为参考图像视差搜索的最小、最大值，dTmin、dTmax分别为目标图像视差搜索的最小、最大值；xR,yR分别为参考图像中心像素点的横、纵坐标，ωR(xR,yR)为以(xR,yR)为中心像素点，尺寸为11×11的聚本文档来自技高网...

【技术保护点】
一种基于匹配代价更新及图像分割的视差精炼算法，包括下列步骤：(1)使用K‑means聚类算法对参考图像IR以及目标图像IT进行图像分割，得到参考图像分割区域标志位KR以及目标图像分割区域标志位KT。(2)使用基于窗口聚合的立体匹配算法，对参考图像IR以及目标图像IT进行初始立体匹配，得到参考图像初始视差图DAR以及目标图像初始视差图DAT，采用截断亮度初始匹配代价联合截断梯度初始匹配代价计算得到参考图像匹配代价以及目标图像匹配代价；(3)设参考图像内任意像素点为(iR,jR)，根据公式

【技术特征摘要】
1.一种基于匹配代价更新及图像分割的视差精炼算法，包括下列步骤：(1)使用K-means聚类算法对参考图像IR以及目标图像IT进行图像分割，得到参考图像分割区域标志位KR以及目标图像分割区域标志位KT。(2)使用基于窗口聚合的立体匹配算法，对参考图像IR以及目标图像IT进行初始立体匹配，得到参考图像初始视差图DAR以及目标图像初始视差图DAT，采用截断亮度初始匹配代价联合截断梯度初始匹配代价计算得到参考图像匹配代价以及目标图像匹配代价；(3)设参考图像内任意像素点为(iR,jR)，根据公式计算更新后的参考图像匹配代价pR(iR,jR,dR)，其中e为自然底数，dR为参考图像的视差搜索值，λ为缩放因子，与参考图像和目标图像的亮度之比成正比，GR为参考图像误匹配点标志位函数，由公式计算得到；同理设目标图像内任意像素点为(iT,jT)，根据公式计算更新后的目标图像匹配代价pT(iT,jT,dT)，其中dT为目标图像的视差搜索值，GT为目标图像误匹配点标志位函数，由公式计算得到；(4)设参考图像中心像素点为(xR,yR)，从(iR,jR)水平方向出发，...

【专利技术属性】
技术研发人员：朱程涛，李锵，滕建辅，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12