一种联合运动向量的双目视频立体匹配方法组成比例

本发明专利技术公开了一种联合运动向量的双目视频立体匹配方法，包括如下步骤：第一步，计算原始匹配代价；第二步，获得像素光流场；第三步，构建支撑区域；第四步，累积原始匹配代价；第五步，匹配最佳像素。本发明专利技术在构建支撑区域时，独创性的运用并行化运动估计方法建模以及引入运动幅度差值来建立判定函数，判定邻域像素与待匹配像素是否属于同一支撑区域，提高了双目视频立体匹配精度。本发明专利技术方法利用视频相邻帧间的时域信息来改进局部双目立体匹配算法中的差值累积区域构建，避免了传统立体匹配方法引起的视差视频的帧间闪烁和视差误匹配率较高等问题。

【技术实现步骤摘要】
一种联合运动向量的双目视频立体匹配方法
本专利技术属于计算机视觉图像处理
，具体涉及一种联合运动向量的双目视频立体匹配方法。
技术介绍
计算机视觉三维成像技术发展数十年，立体匹配即深度信息提取技术一直都是研究的热点。依托双目立体匹配技术和成对的左右视图，视差图像即真实场景的深度信息可以有效的被重建，并广泛用于如三维电视，三维追踪，三维导航等民用和军用多个方面。双目立体匹配技术分为全局和局部方法。全局方法主要是沿着独立的扫描线或者是针对整个视差范围的能量传递最小化方程。典型的全局方法包括置信传播、图切割、动态规划等。基于全局的原理使得它们可以取得较好的匹配结果，但是往往处理一对静态图像处理时间超过了15秒，并不适用于实时处理的应用。局部方法是基于区域的立体匹配方法，需要借助于图像中特定相邻区域内的像素值来完成差值比较和累积，因此可以获得更快的处理速度，但是会损失部分匹配精度。伴随着双目视频的应用越来越广泛，针对双目视频的立体匹配技术显得尤为重要。针对静态图像的立体匹配技术仅仅考虑的图像空间上的信息，忽略了视频序列中不同帧间的时间域信息。采用静态立体匹配算法(包括局部和全局)来估计双目视频序列的深度信息，会导致视差视频帧间闪烁和较高的视差误匹配率等一系列问题。
技术实现思路
为了克服上述问题，本专利技术提出一种联合运动向量的局部立体匹配方法，引入运动向量，通过像素的运动幅度差值和颜色相似度联合构建支撑区域，提高双目视频立体匹配精度，减少视差视频帧间闪烁现象。上述目的是通过如下技术方案实现的：一种联合运动向量的双目视频立体匹配方法，包括如下步骤：第一步，计算原始匹配代价：转换左右视频序列彩色图像为灰度值图像；融合左视频待匹配像素与右视频候选像素的灰度值截断绝对差值以及稀疏Census变换作为原始匹配代价；第二步，获得像素光流场：通过并行化运动估计计算左视频序列当前帧图像块的二维运动向量，再通过空间内插的方法获得左视频序列当前帧的像素光流场；第三步，构建支撑区域：借助第二步所述的左视频序列当前帧像素光流场，利用像素运动幅度绝对差值和颜色值相似度构建联合终止判断函数，判定左视频序列当前帧待匹配像素和其邻域像素是否属于同一区域，属于同一区域的邻域像素组成待匹配像素支撑区域；第四步，累积原始匹配代价：将左视频当前帧待匹配像素与其邻域像素的运动幅度绝对差值和像素灰度绝对差值融合为权重值，累加权重值与原始匹配代价的内积得到候选像素的匹配代价；第五步，匹配最佳像素：在视差范围内依次比较右视频候选像素与待匹配像素的匹配代价，拥有最小匹配代价的候选像素即为最佳匹配像素。进一步地，第三步所述联合终止判断函数为：其中，pl代表待匹配像素；pn代表待匹配像素的邻域像素；R为上下左右四个方向邻域范围的最大值；L是预设的方向长度阈值，取值范围为L∈[11,15]；δ(pl,pn)代表颜色值相似度判定函数，具体为：其中，Igray代表灰度值强度，τgray代表灰度值强度阈值，取值范围为τgray∈[12,15]；代表运动幅度绝对差值判定函数，具体为：其中，|dx(pl)-dx(pn)|+|dy(pl)-dy(pn)|代表待匹配像素与其领域像素在X轴和Y轴向的绝对运动幅度差值，τmotion是运动幅度的终止阈值，取值范围为τmotion∈[5,10]；进一步地，立体匹配方法第二步所述并行化运动估计实现步骤包括：第一步，将t时刻当前帧分为大小为N×N的帧块，N为任意整数；并在t-1时刻参考帧中为当前帧帧块设定搜索范围；第二步，根据穷尽搜索策略，在参考帧的搜索范围内，按照X和Y轴方向上步进为1依次搜索和计算当前帧块和候选帧块的像素灰度绝对差值；第三步，比较所有候选帧块与当前帧块的绝对差值，具有最小绝对差值的候选帧块即为最佳匹配帧块，当前帧块与最佳匹配帧块的向量差值即为当前帧块的二维运动向量。进一步地，立体匹配方法第一步所述原始匹配代价获得方法为：将待匹配像素与候选像素的灰度值截断绝对差值以及稀疏Census变换这两种差异化特征按照5:1的比例线性叠加作为原始匹配代价。进一步地，立体匹配方法第四步所述权重值融合公式为：w＝exp(-wmotion/λm-wgray/λg)w为融合后权重值，wmotion为运动幅度绝对差值，wgray为像素灰度绝对差值，λm和λg取值为λm＝10和λg＝5，或λm＝12和λg＝7，或λm＝22和λg＝10。进一步地，立体匹配方法第四步所述匹配代价累积方法为基于平方步进的匹配代价累积方法，每次迭代更新在支撑区域内采取先水平方向上以平方步进将原始匹配代价与相应邻域像素融合后权重值的内积进行累加，得到水平方向代价累积结果；在此基础上将水平方向代价累积结果与垂直方向相应的融合后权重值进行内积，依次累加内积得到最终代价累积结果。进一步地，所述并行化运动估计方法中将t时刻当前帧ft分为大小为8×8的帧块。进一步地，立体匹配方法第一步采用如下公式将彩色RGB图像转换为灰度值图像：灰度值＝(R×299+G×587+B×114+500)/1000。本专利技术的有益效果：1、在彩色图像预处理中，将三维RGB特征空间转换为一维灰度特征空间，即只对一个特征量进行计算，优化了计算和判定的准则。2、在处理过程中，独创性的运用并行化运动估计方法建模以及引入运动幅度差值来建立判定函数，判定邻域像素与待匹配像素是否属于同一支撑区域。3、利用视频相邻帧间的时域信息来改进局部双目立体匹配算法中的差值累积区域构建，避免了传统立体匹配方法引起的视差视频的帧间闪烁和视差误匹配率较高等问题。4、采用融合时域信息的局部立体匹配方法，权衡计算时间和匹配精度，保证了该方法可用于实时处理的计算机视觉应用。对于含有大量高斯白噪声的视频序列，以及在视线遮挡，画面失焦等极端情况下亦可以进行视差匹配。附图说明图1：本专利技术联合运动向量的双目视频立体匹配方法的流程图；图2：双目立体匹配方法示意图；图3：双目视频序列实例分别在X轴和Y轴方向上的运动幅度灰度量化图；图4：构建待匹配像素pl支撑区域：图中，(a)为上下左右四个方向长度R；(b)为水平方向匹配代价累积示意图；(c)为垂直方向匹配代价累积示意图；图5：不同运动估计块尺寸下Y轴方向运动幅度的灰度量化图：图中，(a)连续的三帧左视图；(b)块尺寸为2×2时连续三帧左视图Y轴方向运动幅度的灰度量化图；(c)块尺寸为4×4时连续三帧左视图Y轴方向运动幅度的灰度量化图；(d)块尺寸为8×8时连续三帧左视图Y轴方向运动幅度的灰度量化图；(e)块尺寸为16×16时连续三帧左视图Y轴方向运动幅度的灰度量化图；图6：在不同运动估计块尺寸下，基于5组双目视频序列(书本、坦克、隧道、寺庙、街道)进行视差匹配的误匹配率对比结果；图7：本专利技术方法与对比方法，基于5组双目视频序列(书本、坦克、隧道、寺庙、街道)误匹配率比较。具体实施方式下面结合具体实施例详细说明本专利技术的技术方案和技术效果。如图1所示，本专利技术方法主要由立体匹配和并行化运功估计组成。双目立体匹配就是运用两个视角(两个摄像机)来计算视差图像，即场景中不同物体的深度信息。以左视图的视差图像为例，pl＝(x,y)是左视图中的待匹配像素，pr＝(x-i,y)是右视图中沿X轴水平扫描线相对p本文档来自技高网...

【技术保护点】
一种联合运动向量的双目视频立体匹配方法，其特征在于包括如下步骤：第一步，计算原始匹配代价：转换左右视频序列彩色图像为灰度值图像；融合左视频待匹配像素与右视频候选像素的灰度值截断绝对差值以及稀疏Census变换作为原始匹配代价；第二步，获得像素光流场：通过并行化运动估计计算左视频序列当前帧图像块的二维运动向量，再通过空间内插的方法获得左视频序列当前帧的像素光流场；第三步，构建支撑区域：借助第二步所述的左视频序列当前帧像素光流场，利用像素运动幅度绝对差值和颜色值相似度构建联合终止判断函数，判定左视频序列当前帧待匹配像素和其邻域像素是否属于同一区域，属于同一区域的邻域像素组成待匹配像素支撑区域；第四步，累积原始匹配代价：将左视频当前帧待匹配像素与其邻域像素的运动幅度绝对差值和像素灰度绝对差值融合为权重值，累加权重值与原始匹配代价的内积得到候选像素的匹配代价；第五步，匹配最佳像素：在视差范围内依次比较右视频候选像素与待匹配像素的匹配代价，拥有最小匹配代价的候选像素即为最佳匹配像素。

【技术特征摘要】
1.一种联合运动向量的双目视频立体匹配方法，其特征在于包括如下步骤：第一步，计算原始匹配代价：转换左右视频序列彩色图像为灰度值图像；融合左视频待匹配像素与右视频候选像素的灰度值截断绝对差值以及稀疏Census变换作为原始匹配代价；第二步，获得像素光流场：通过并行化运动估计计算左视频序列当前帧图像块的二维运动向量，再通过空间内插的方法获得左视频序列当前帧的像素光流场；第三步，构建支撑区域：借助第二步所述的左视频序列当前帧像素光流场，利用像素运动幅度绝对差值和颜色值相似度构建联合终止判断函数，判定左视频序列当前帧待匹配像素和其邻域像素是否属于同一区域，属于同一区域的邻域像素组成待匹配像素支撑区域；第四步，累积原始匹配代价：将左视频当前帧待匹配像素与其邻域像素的运动幅度绝对差值和像素灰度绝对差值融合为权重值，累加权重值与原始匹配代价的内积得到候选像素的匹配代价；第五步，匹配最佳像素：在视差范围内依次比较右视频候选像素与待匹配像素的匹配代价，拥有最小匹配代价的候选像素即为最佳匹配像素。2.根据权利要求1所述的双目视频立体匹配方法，其特征在于第三步中，所述联合终止判断函数为：其中，p1代表待匹配像素；pn代表待匹配像素的邻域像素；R为上下左右四个方向邻域范围的最大值；L是预设的方向长度阈值，取值范围为L∈[11，15]；δ(p1，pn)代表颜色值相似度判定函数，具体为：其中，Igray代表灰度值强度，τgray代表灰度值强度阈值，取值范围为τgray∈[12，15]；代表运动幅度绝对差值判定函数，具体为：其中，|dx(p1)-dx(pn)|+|dy(p1)-dy(pn)|代表待匹配像素与其领域像素在X轴和Y轴方向的绝对运动幅度差值，τmotion是运动幅度的终止阈值，取值范围为τmotion∈[5，10]。3.根据权利要求2所述的双...

【专利技术属性】
技术研发人员：张敬林，谭惠文，白琮，鲁威志，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32