基于联合优化的多摄像机动态场景3D重建方法技术

本发明专利技术公开了一种基于联合优化的多摄像机动态场景3D重建的方法。能够对时空一致态分割，方法鲁棒而且不需要对于背景的先验知识。此方法允许参与拍摄的多目摄性深度恢复和静态/动态双层分割同时进行求解，亦不需要精确的静态/动像机自由独立地移动，能处理仅个的摄像机拍摄的动态场景。步骤如下：利用每个时刻的跨越个摄像机的同步视频帧来初始化时刻的深度图；二、展开时空一致性深度优化及静态/动态双层分割，迭代地执行轮的时空一致性优化，实现高质量的动态3D重建。本发明专利技术不需要精确的静态/动态分割，并且对于复杂场景所产生的错误分割信息会更具有鲁棒性，在3D立体影像、3D动画、增强现实和运动捕获等领域将会有很高的应用价值。

【技术实现步骤摘要】

本专利技术涉及的立体匹配和深度恢复方法，尤其涉及基于联合优化的多摄像机动态场景3D重建方法。
技术介绍
视频的稠密深度恢复技术是计算机中层视觉领域的基础技术之一，其在3D建模、3D影像、增强现实和运动捕获等众多领域中有及其重要的应用。这些应用通常要求深度恢复结果具有很高精度和时空一致性。视频的稠密深度恢复技术的难点在于对于场景中的静态和动态物体，所恢复的深度值具有很高的精度和时空一致性。虽然目前对于静态场景的深度恢复技术已能够恢复具有较高精度的深度信息，但是自然界处处充满了运动的物体，对于视频场景中包含的动态物体来说，现有的深度恢复方法都很难达到较高的精度及时空域上的一致性。这些方法通常要求较多个固定放置的同步摄像机对场景进行捕获，在每个时刻对同步的多目视频帧利用多视图几何的方法进行立体匹配，从而恢复每个时刻的深度信息。而这种拍摄方法更多是被应用于实验室内动态场景的拍摄工作，实际拍摄过程中这种拍摄模式会有很多限制。另外现有的方法在时序上优化深度的过程中，通常利用光流寻找到不同时刻视频帧上对应像素点，然后将对应点的深度值或3D点位置进行线性或曲线拟合，从而估计出当前帧像素点的深度信息。这种时域上3D光顺化的方法只能使得时序上对应像素点的深度更为一致，并不能优化出真正准确的深度值；同时由于光流估计不鲁棒性的普遍存在，使得动态点的深度优化问题变得更为复杂难解。现有的视频深度恢复方法主要分为两大类1.对于单目静态场景视频`的时域一致性深度恢复此类方法较为典型的是Zhang于09年提出的方法G. Zhang, J. Jia, T. _T.Wong, and H. Bao. Consistent depth maps recovery from a video sequence.1EEETransactions on Pattern Analysis and Machine Intelligence, 31(6): 974 - 988，2009.。此方法首先利用传统多视图几何的方法初始化每帧图像的深度，然后在时域上利用bundle optimization技术统计多个时刻的几何和颜色一致性来优化当前巾贞的深度。此方法对于静态场景能够恢复出高精度的深度图；对于包含动态物体的场景，此方法不能恢复动态物体的深度值。2.对于多目动态场景视频的深度恢复此类方法较为典型的是Zitnick的方法C. L. Zitnick, S. B. Kang, Μ.Uyttendaelej S. Winder, and R. Szelisk1. High-quality video view interpolationusing a layered representation. ACM Transactions on Graphics, 23:600 - 608,August 2004.、Larsen 的方法E. S. Larsen, P. Mordohaij M. Pollefeysj and H.Fuchs. Temporally consistent reconstruction from multiple video streams usingenhanced belief propagation.1n ICCVj pages 1-8，2007.以及 Lei 的方法C. LeijX. D. Chen, and Y. H. Yang. A new mult1-view spacetime-consistent depth recoveryframework for free viewpoint video rendering.1n ICCVj pages 1570 - 1577， 2009.。这些方法都利用同一时刻的多目同步视频帧恢复深度图，要求利用较多数目的固定放置的同步摄像机拍摄动态场景，不适合用于户外实际拍摄。Larsen和Lei的方法分别利用时空域上置信度传递(belief propagation)和时域3D光顺化的方法来优化深度值,使得这些方法不够鲁棒，不能处理光流估计产生严重错误的情况。3.基于联合优化的多摄像机动态场景3D重建的方法的步骤I)使用了 Tola提出的 DAISY 特征描述符E. Tola, V. Lepetit, and P. Fua. Daisy: An efficientdense descriptor applied to wide-baseline stereo.1EEE Transactions on PatternAnalysis and Machine Intelligence, 32 (5):815 - 830，2010.
技术实现思路
本专利技术的目的在于针对现有“动态场景深度恢复技术”的不足，提供一种基于联合优化的多摄像机动态场景3 D重建方法。基于联合优化的多摄像机动态场景3D重建的方法的步骤如下I)利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图，并且对于遮挡区域出现的明显深度错误，利用同步帧之间的可见性图来加以处理以获得更为精确的初始深度；2)利用步骤I)得到的初始化的深度图，每个像素点具有两套变量需要推断一为像素点深度值，二为像素点静态/动态分类，对像素点给出不同数据项惩罚函数来统一地衡量，对于静态点，用Bundle Optimization算法其数据项惩罚值,对于动态点，引入时空一致性约束来计算其数据惩罚值，然后迭代地优化方程，从而在优化深度图的同时对像素点的静态/动态标记进行推断。所述的步骤I)为(I)利用多视图几何方法结合DAISY特征描述符，对于同一时刻的多目视频帧进行立体匹配，通过如下能量优化方程式求解每一时刻图像帧的初始化深度图本文档来自技高网...

【技术保护点】
一种基于联合优化的多摄像机动态场景3D重建的方法，其特征在于它的步骤如下：1）利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图，并且对于遮挡区域出现的明显深度错误，利用同步帧之间的可见性图来加以处理以获得更为精确的初始深度；2）利用步骤1）得到的初始化的深度图，每个像素点具有两套变量需要推断：一为像素点深度值，二为像素点静态/动态分类，对像素点给出不同数据项惩罚函数来统一地衡量，对于静态点，用Bundle?Optimization算法其数据项惩罚值，对于动态点，引入时空一致性约束来计算其数据惩罚值，然后迭代地优化方程，从而在优化深度图的同时对像素点的静态/动态标记进行推断。

【技术特征摘要】
1.一种基于联合优化的多摄像机动态场景3D重建的方法，其特征在于它的步骤如下 1)利用多视图几何方法结合DAISY特征向量，对于同一时刻的多目视频帧进行立体匹配，得到多目视频每一时刻的初始化深度图，并且对于遮挡区域出现的明显深度错误，利用同步帧之间的可见性图来加以处理以获得更为精确的初始深度； 2)利用步骤I)得到的初始化的深度图，每个像素点具有两套变量需要推断一为像素点深度值，二为像素点静态/动态分类，对像素点给出不同数据项惩罚函数来统一地衡量，对于静态点，用Bundle Optimization算法其数据项惩罚值,对于动态点，引入时空一致性约束来计算其数据惩罚值，然后迭代地优化方程，从而在优化深度图的同时...

【专利技术属性】
技术研发人员：章国锋，鲍虎军，姜翰青，
申请(专利权)人：浙江大学，
类型：发明
国别省市：