一种时空域联合约束的三视点立体视频深度提取方法技术

本发明专利技术提供一种时空域联合约束的三视点立体视频深度提取方法，针对中心视点图像，利用从左右视点图像寻找最佳匹配点；利用BP算法和平面融合方法优化基于能量函数的视差估计过程；利用三视图视差和遮挡信息迭代优化；利用光流法构建相邻帧时域视差约束关系，定义了光流法置信度，抑制了视差序列时域跳变；利用二项式亚像素估计和联合双边滤波，消除由于视差值量化带来的错误，并获取亚像素精度的视差；所求视差经量化后得到最终的深度序列。与仅利用单帧进行约束相比，本发明专利技术寻找多参考帧光流，能够很好地避免空域错误在时域上的传播。因此，本发明专利技术能够通过三视点图像来求取时空域上均连续且准确的深度图像序列。

【技术实现步骤摘要】

本专利技术涉及的是一种立体视频深度提取
的方法，具体是一种利用时空域联合约束提取三视点立体视频深度信息的方法。
技术介绍
深度图像由于包含场景立体结构信息，在计算机视觉领域，被广泛的应用于三维建模(3D Modeling)、图像层次分割(Layer Separation)、基于深度图像的绘制(DepthImage Based Rendering)及视频编缉(Video Editing)等。针对立体图像,应用对应点匹配等技术可以得到立体图像的视差信息，通过所提取视差的量化得到立体图像对应的深度信息。因此，深度信息提取作为计算机视觉的一个重要基础和基本课题，已经被进行了广泛并且深入的研究。一般来说，视差估计将受到遮挡、匹配歧义性(同质区域)、重复性纹理、色彩异常值等因素的影响，使得其成为一个十分具有挑战性的课题。根据立体匹配策略的不同，视差估计大致可以分为两类方法:局部的方法和全局的方法。局部的方法主要根据某像素的邻域特征(局部结构特征)来寻找匹配点，如(SAD，MAD等)，该类方法考虑到了像素的结构信息，对色彩异常不敏感，但对同质区域，重复性纹理等结构的鲁棒性较差。近年来，全局的方法取得了更为满意的结果。该类方法通过在马尔科夫随机场(Markov Random Field)上定义立体匹配能量函数，并利用比较流行的优化算法如置信传播(Belief Propagation)或图割(Graph Cuts)等来进行优化。经过对现有技术文献的检索发现，Jian Sun等于2005年在《Computer Vision andPattern Recognition (计算机视觉与模式识别)》上发表的“Symmetric Stereo Matchingfor Occlusion Handling (基于对称立体匹配的遮挡估计)”中提出了对称立体匹配模型。通过迭代地利用深度信息更新遮挡信息、利用遮挡信息更新深度信息，能够较鲁棒的估计出遮挡区域。然而相对于三视点立体图像，由于其采用两视点的策略，本身缺少遮挡区域信息，因此，遮挡区域的深度信息不能得到很好地估计。又经检索发现，GuofengZhang 等于 2009 年在《IEEE Transaction on PatternAnalysis and Machine Learning( IEEE模式分析与机器学习期刊)》上发表的“ConsistentDepth Maps Recovery from a Video Sequence (基于视频序列的连续深度图像估计)”中提出了捆绑优化(Bundle Optimization)深度序列提取方法。该方法利用了空间上的一致性约束，使得深度序列在时域上稳定。由于他们的方法是针对视频序列，因此当输入的视点数量较少时，该方法的效果将下降。因此，该方法被限制于静止场景的深度估计，并且要求摄像机有足够的运动。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的在于提出一种基于空间域与时间域联合约束的三视点深度图像序列提取方法。该方法通过平面约束、空间域约束与时间域约束，利用置信传播算法在马尔科夫随机场上优化约束后的能量函数，进行视差图与遮挡区域的迭代优化，由三视点图像来求取时空域上均连续且准确的深度图像序列，可广泛应用于3D节目制作、图像分割、视频编缉和虚拟现实等领域。本专利技术是通过以下技术方案实现的，本专利技术针对中心视点图像，利用从左右视点图像寻找最佳匹配点，以保证视差图初始化对遮挡区域的鲁棒性；利用BP算法和平面融合方法优化基于能量函数的视差估计过程，以保持所估计视差对平面分割错误的鲁棒性；利用三视图视差和遮挡信息迭代优化，减小能量函数陷入局部极小值的可能性，提高了视差估计精度；利用光流法构建相邻帧时域视差约束关系，定义了光流法置信度，抑制了视差序列时域跳变，保证了最终结果对光流法错误保持鲁棒；利用二项式亚像素估计和联合双边滤波，消除由于视差值量化带来的错误，并获取亚像素精度的视差；所求视差经量化后得到最终的深度序列。所述方法，具体包括以下步骤:第一步，中间视点视差图像初始化。对于t时刻中间视点图像It，c，求取其初始匹配能量分布，利用BP算法优化能量函数，并加入Meanshift图像分割对视差估计加入平面约束，求得对应的视差图像 <礙。所述求取初始匹配能量分布，包括以下步骤:I)对于中间视点图像It，c中像素χε=(χ，y)和给定视差dx，其在右视点图像It，K中的对应像素为Χκ= (χ，y-dx)。定义匹配代价函数为:本文档来自技高网...

【技术保护点】
一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于，包括以下步骤：第一步，视差图初始化，像素相似性由像素RGB值之差及Census相似性的线性组合决定；初始化能量函数，针对中间视点图像It，C(xc)的点xC，是从左视点或右视点选取匹配点，以此对于所有xC都能找到匹配点，该能量函数由（1）式定义，利用多参数Meanshift平面分割与平面拟合，引入平面约束；对于中间视点图像It，C中像素xc=(x，y)和给定视差dx，其在右视点图像It,R中的对应像素为xR=(x,y‑dx)，定义匹配代价函数为： Cost C , R ( x C , d x ) = τ · | I t , C ( x C ) - I t , R ( x R ) | 3 + ( 1 - τ ) · C census ( I t , C ( x C ) , I t , R ( x R ) ) 其中第一项表示xc与xR的RGB绝对值之差的平均值，所述Ccensus(It,C(xC),It,R(xR))表示xc与xR的局部结构相似性；所述的τ为加权因子；定义能量函数如下： E t , C init ( D t , C ; Cost C , R , Cost C , L ) = Σ x c ...

【技术特征摘要】
1.一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于，包括以下步骤: 第一步，视差图初始化，像素相似性由像素RGB值之差及Census相似性的线性组合决定；初始化能量函数，针对中间视点图像It,c:(x。)的点Xe，是从左视点或右视点选取匹配点，以此对于所有Xc都能找到匹配点，该能量函数由(I)式定义，利用多参数Meanshift平面分割与平面拟合，引入平面约束； 对于中间视点图像It,c中像素Xc=U, y)和给定视差dx，其在右视点图像It，K中的对应像素为Xk= (X，y_dx)，定义匹配代价函数为:Costc R(xc, dx) =τ.WXC) 3 ^ (xR)1 + (1- r).Ccensus(/tc(xc), /t；K(xR))其中第一项表示x。与xK的RGB绝对值之差的平均值，所述C_sus(It，e(x。)，It，K(xK))表示X。与xK的局部结构相似性；所述的τ为加权因子； 定义能量函数如下:略…t,c; Costc>R, CostCiL) = Exc min (p (costc>R(xc, dj) , p (Costc,L(xc, dj)) + 其 咤cOc)⑴中P ((^-。((!、^^(-^(^+。，是一个对于噪声鲁棒的截断函数’咕办^是便于使用BP算法优化的平滑项函数，其定义为: 段C(Xc) = Exc Eyce/v(Xc)^s.A(xc,yc).min(|￡>t,c(xc) - α (νε)|,ηχ)其中，λ (xc, yc)= ε/( ε+I I It，c(xc)-1t，c(yc) I |2)，N(Xc)表示像素 xc 的邻域，||.|| 2 为.2范数，最后，利用BP算法优化能量函数(1)，得到初始视差图句,f; 所述的取值范围是:[0.1，0.4]，％的取值是0.01，Od的取值是4.0，1的取值是.2，ε的取值范围是[5.0, 15.0]； 第二步，利用得到的视差图像中间视点视差图与遮挡信息的迭代更新，并利用BP算法对视差图能量函数(3)与遮挡区域能量函数(2)进行优化，利用多参数平面融合求取中间视点初始视差图，利用更新好的遮挡信息进行左右视差图初始化； 遮挡图像能量函数定义为: Eo(P(:,L> Oc R ； DffC) = Xxc Et'c + Ptc + ZycEA/(xc) βο.(IUxC) — Oc I (yc)| + |^c,k(xc) — ^?(yc) |)(2)Etc (Dt,cm> CostlR, Cost1Cih) = Excw(xc).(O0Xxc)0Cjfi(x(:)/? + (l - Oc^(xc)j (I +0(:,i,(xc)).P (cost^R(xc, dx)) + (I — Oc,L(xc)) (I + Oc,K(xc)).p (co,st^L(xc, dj)) + KcM (3) 2.如权利要求1所述的一种时空域联合约束的三视点立体视频深度...

【专利技术属性】
技术研发人员：周军，徐抗，孙军，冯可，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31