多视角视频图像深度搜索方法及深度估计方法技术

本发明专利技术涉及多视角视频图像处理技术，本发明专利技术提出一种搜索步长的自适应确定方法与一种基于自适应搜索步长的深度估计方法。多视角视频图像深度搜索方法，在深度搜索范围内每一步的搜索步长根据当前深度值动态调整，使得每一步的搜索步长对应于相同的像素搜索精度；多视角视频图像的深度估计方法，在利用基于深度的视图合成和基于块配的深度搜索中，在深度搜索范围内，每一步的搜索步长根据当前深度值动态调整；本发明专利技术技术方案适用于多视角视频的深度搜索与深度估计，本发明专利技术的深度搜索性能上高于固定搜索步长，深度估计中合成的图像块与参考图像块的绝对差小，错误估计少，且计算量或深度搜索次数少。

【技术实现步骤摘要】

本专利技术涉及多视角视频图像处理技术。
技术介绍
近年来，研究者们逐渐认识到，未来先进三维电视和任意视角视频应用系统(FVV，Free Viewpoint Video System)中应该利用计算机视觉、视频处理和基于深度图像的场景合成等技术，把视频的获取和显示设置分离开来，即观看视角与获取视频的照相机方位相互不受限制，从而提供高度的灵活性、交互性和可操作性。欧洲的立体电视项目采用了视频加深度的数据格式(“基于深度图像的合成、压缩和传输的三维电视新方法”，立体显示和虚拟现实系统SPIE会议，2004.C.Fehn，“Depth-image-based rendering(DIBR)，compression and transmi ssion for a new approach on 3D-TV，”in Proc.SPIE Conf.Stereoscopic Displays and Virtual Reality Systems XI，vol.5291，CA，U.S.A.Jan.2004，pp.93-104.)，即图像的每个像素对应一个深度值；利用基于深度图像的视图合成方法(DIBRDepth Image Based Rendering)接收端解码器根据显示设置和观看视角生成立体图像对，从而使观看视角与获取视频的照相机方位相互不受限制。2007年4月JVT会议提案(“先进三维视频系统的多视角视频加深度的数据格式”；A.Smolic and K.Mueller，et al.“Multi-View Video plus Depth(MVD)Format for Advanced 3DVideo Systems”，ISO/IEC JTC1/SC29/WG11，Doc.JVT W100，San Jose，USA，April2007.)把视频加深度推广到多视角视频，提出了视频家深度的多视角编码数据格式MVD(Multi-view video plus depth)。由于MVD能够满足先进三维视频或任意视角视频应用的一个本质需求，即能够在解码端生成一定范围内的连续的任意视角的视图，而不是数量有限的离散的视图，所以视频加深度的MVD方案已经被JVT采纳，被确定为今后的发展方向。 所以，如何从不同视角的两幅或多幅视图获取场景的深度信息成为多视角视频处理中的重要问题之一。 目前的深度搜索方式为在固定搜索范围内采用固定搜索步长(uniform depth-grid)进行深度搜索。使用固定搜索步长时，若在较小深度值处给定的搜索步长对应于1个像素的偏移量，则在较大深度值处，该搜索步长对应的像素偏移量将小于1个像素。假设在给定的深度值下投影到非整数像素时，取最近邻的像素点作为投影点，则深度搜索时将在多个不同的深度值处搜索到同一像素点，即出现了重复搜索。反过来，若给定的搜索步长在较大深度值处对应于1个像素的偏移量，则在较小深度值处该搜索步长对应的像素偏移量将大于1个像素，即相邻两个深度值将搜索到两个非相邻的像素点，从而使得有些像素点漏检，产生搜索不全。所以，本来期望在搜索范围内搜索N个像素点，但由于产生了像素点重复搜索或漏搜索，实际搜索到的有效搜索点要少于N。为了保证搜索范围包含场景真实深度值的所有可能取值，通常把搜索范围设得足够大，而为了保证一定的搜索精度，把搜索步长设得较小，这大大增加了搜索次数和相应的计算量，并且由于漏搜索和重复搜索的存在，搜索效果并不好。 迄今，已有很多与深度估计相关的研究和估计算法，但大多数通过对校正的、平行立体图像对先进行视差估计，再根据视差与深度的关系计算深度信息。例如，平行相机系统中两幅图像之间只存在水平视差，利用基于特征或块匹配的方法先估计视差，然后根据深度与视差成反比的关系计算出深度信息；而对于非平行相机系统，则要经过图像对校正、视差匹配、深度计算和反校正等一系列处理才能得到原始视图对应的深度图。该类深度估计问题本质上就是进行视差估计，其性能主要由视差估计算法决定。众所周知，视差估计或立体匹配是计算机视觉中的经典问题，虽然至今已有大量的研究工作和成果，但纹理信息缺乏或遮挡所引起的匹配模糊性或不确定性使得视差匹配问题仍旧是计算机视觉中的研究热点和难点。 2006年，JVT会议提案(“多视角视频编码核心实验3报告”；S.Yea，J.Oh，S.Ince，E.Martinian and A.Vetro，“Report on Core Experiment CE3 of MultiviewCoding”，ISO/IEC JTC1/SC29/WG11，Doc.JVT-T123，Klagenfurt，Austria，July2006.)提出了利用照相机内外部参数和基于深度的视图合成，在某一指定的深度搜索范围内用给定的搜索步长，搜索使得合成视图与实际视图之间的误差最小的深度作为估计值。M.Okutom等人提出了多基线立体系统的立体匹配方法(A multiple-baseline stereo)，该方法利用深度与视差的反比关系，把视差估计转化为深度求解问题，并且消除了视差匹配中的不确定性难题(“多基线立体系统”，模式识别与机器智能IEEE学报；M.Okutomi and K.Kanade，“A multiple-baseline stereo”，IEEE Trans.on Pattern Analysis andMachine Intelligence 15(4)353-363，1993.)。N.Kim等人提出了在距离/深度空间直接进行深度搜索、匹配和视图合成操作(“一般的多基线立体系统和利用深度空间搜索、匹配和合成的直接视图合成”，计算机视觉国际期刊；N.Kim，M.Trivedi and H.Ishiguro，“Generalized multiple baseline stereo and direct view synthesis usingrange-space search，match，and render”，International Journal of ComputerVision 47(1/2/3)131-148，2002.)在深度空间直接进行深度搜索，不需要视差匹配，图像校正处理直接在深度搜索过程中完成，并且深度值是连续值，其精度不像视差向量那样受图像像素分辨率的限制。但是实际求解中，需要指定深度搜索范围和搜索步长，根据某一代价函数求最优解，而搜索范围和步长的取值是否合适对估计性能至关重要。 视差匹配中，视差搜索范围通常根据图像性质直观确定，而深度搜索中，特别是在非平行相机系统中，由于深度变化与图像像素偏移的关系并不显而易见，所以其搜索范围难以合理确定。 所以，对给定的多视角视图如何确定合适的深度搜索区间和步长成为有效估计深度信息的关键。 JVT-W059(“视图合成预测核心实验6报告”；S.Yea and A.Vetro，“Report ofCE6 on View Synthesis Prediction”，ISO/IEC JTC1/SC29/WG11，Doc.JVT W059，SanJose，USA，April 2007.)提出利用两幅视图的匹配特征点对，从本文档来自技高网...

【技术保护点】
多视角视频图像深度搜索方法，其特征在于，在深度搜索范围内每一步的搜索步长根据当前深度值动态调整，当前深度值越小，采用的搜索步长越小；当前深度值越大，采用的搜索步长越大，使得每一步的搜索步长对应于相同的像素搜索精度。

【技术特征摘要】

【专利技术属性】
技术研发人员：张小云，乔治L杨，
申请(专利权)人：四川虹微技术有限公司，
类型：发明
国别省市：90[]