一种时域一致性保持的双目立体视频场景融合方法技术

一种时域一致性保持的双目立体视频场景融合方法，步骤如下：1、立体视频A的运动对象轮廓传播与提取；2、时域一致的运动对象与动态场景时差融合变形；3、时域一致的运动对象与动态场景颜色融合，利用中值坐标融合方法，对运动对象与动态场景进行颜色融合。本发明专利技术提出的方法，简单有效，利用少量的用户交互，就可以提取出时域一致的、左右目对应一致的立体视频运动对象；发掘了多种约束条件，以指导运动对象与动态场景的视差融合变形，使得运动对象符合动态场景的透视规则。并且，运动对象的变形结果平滑一致，可以有效避免“抖动”现象的发生。

【技术实现步骤摘要】
【专利摘要】，步骤如下：1、立体视频A的运动对象轮廓传播与提取；2、时域一致的运动对象与动态场景时差融合变形；3、时域一致的运动对象与动态场景颜色融合，利用中值坐标融合方法，对运动对象与动态场景进行颜色融合。本专利技术提出的方法，简单有效，利用少量的用户交互，就可以提取出时域一致的、左右目对应一致的立体视频运动对象；发掘了多种约束条件，以指导运动对象与动态场景的视差融合变形，使得运动对象符合动态场景的透视规则。并且，运动对象的变形结果平滑一致，可以有效避免“抖动”现象的发生。【专利说明】
本专利技术是一种新型的时域一致性保持的双目立体视频场景融合方法，属于视频图像处理、双目立体视觉
。
技术介绍
随着3D影视技术的发展，双目视频图像的编辑方法近年来受到了越来越多的关注。然而，将现有的2D视频图像编辑方法扩展到双目视频图像上，由于要处理视差等额外信息，使之成为一个较难的问题。双目立体视频场景融合是指，给定两段双目立体视频，将立体视频A的运动对象，融入立体视频B的动态场景，并保持颜色、视差和时域一致性，得到双目立体视频场景融合结果。计算机视觉和计算机图形学领域对于2D视频图像编辑方法与双目视频图像编辑方法已有较多文献，我们不试图尽列所有方法。重点介绍视频时域一致性编辑的相关工作，也会涉及视频图像场景融合方法和双目图像编辑方法。普通单目视频编辑方法近年来已经有较多的研究。2002年，Chuang等人将双向光流应用到三分图在视频帧间的传播算法中。2009年，Bai等人利用一组局部分类器配合光流算法得到了时域一致性方面更优的结果。2010年，Bai等人又将颜色流应用到视频对象精准提取的三分图传播步骤中。这些方法对于普通单目视频编辑有较好的效果。但是，这些蒙版(mask)传播方法并不能直接应用到双目立体视频编辑方法中。2008年Sand等人提出了一种实用的长期跟踪方法。2009年Lee等人利用尺度不变特征转换(即SIFT)流场，提出了一种视频去抖算法。Bhat等人2010年将光流算法应用到了多种梯度域视频编辑算法中。2012年，Chen等人将局部线性结构保持的思想应用到了视频编辑传播中。这些时域一致的视频编辑算法主要关注对象跟踪和内容编辑，本专利技术的目标是同时编辑双目立体视频对象的形状和颜色。视频图像场景融合方法是一种经典的视频图像编辑方法。2003年P6rez等人提出泊松融合方法通过求解泊松方程将融合区域无缝的融入新场景中。2009年Jia等人利用精准对象提取进一步提高了泊松融合的效果。2009年Farbman等人利用中值坐标大大提高了融合速率。2010年Xie等人将中值坐标融合扩展到了单目视频融合上。Chen等人2013年利用光流将中值坐标融合扩展到了视频合成上。这些方法并没有保持提取运动对象的时域一致性。双目视频图像编辑方法同样与本专利技术的工作相关。Lo等人2010年提出了一种名为“广告牌”的双目图像对象场景合成方法。Luo等人2012年提出了一种迭代的双目图像场景融合方法，能够同时调整形变与颜色。2012年Niu等人提出了一种根据用户交互和视差图的双目图像变形方法。这些方法都是针对双目图像的编辑操作。2008年Wang等人，2006年Weng等人分别提出了一种图像变形方法。2010年Lang等人提出了一种视频重定位(video retargeting)方法,该方法利用光流保证了巾贞间的变形传播。
技术实现思路
本专利技术的目的是提出一种新型的时域一致性保持的双目立体视频场景融合方法。为完成本专利技术的目的，本专利技术采用的技术方案是:首先提取立体视频A的运动对象。利用SIFT特征匹配算法，将立体视频A左目第一帧的指定运动对象的轮廓，自动传播到立体视频A右目第一帧的相应运动对象，然后建立立体视频A的左目运动对象与右目运动对象之间的特征匹配关系，在SIFT流、左右目对象轮廓形变的联合约束下，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象；然后，将立体视频A的运动对象放置到立体视频B的动态场景中，进行时域一致的运动对象与动态场景的视差融合变形。利用泊松融合等融合方法，得到运动对象与动态场景的融合后视差图序列，根据融合后视差图，指导运动对象变形；最后，利用中值坐标融合等融合方法，对运动对象与动态场景进行时域一致的颜色融合。其具体步骤如下所述。本专利技术，包括如下步骤:步骤S100，立体视频A的运动对象轮廓传播与提取:用户采用画笔式等交互方式，选定立体视频A左目第一帧的运动对象的轮廓，将立体视频A左目第一帧的运动对象的轮廓，自动传播到右目第一帧的相应运动对象；以此为基准，将立体视频A左目/右目第一帧的运动对象轮廓，分别传播到左目/右目其他每一帧的相应运动对象，提取出立体视频A的运动对象；(注:本专利技术中，如不经特别说明，左目、右目的处理顺序可以交替，为表意清楚，本专利技术中， 均以左目为例)步骤S200，时域一致的运动对象与动态场景时差融合变形:用户指定立体视频A的运动对象置入立体视频B的动态场景的位置，将立体视频A的运动对象区域的视差图，与立体视频B的视差图进行融合，并根据融合后的视差图，对运动对象进行时域一致的变形，以符合动态场景的透视规则；步骤S300，时域一致的运动对象与动态场景颜色融合:利用中值坐标融合方法，对运动对象与动态场景进行颜色融合。其中，在步骤SlOO中所述的“立体视频A的运动对象轮廓传播与提取”，其作法包含以下步骤:步骤S110，对立体视频A，分别计算其各帧左右目之间的SIFT流场，计算其左目/右目视频前后帧之间的SIFT流场；对于立体视频A左目第一帧和右目第一帧，计算其SIFT特征匹配点对，并使用随机抽样一致(即RANSAC)方法去除误匹配；步骤S120，用户通过画笔等交互方式，在立体视频A左目第一帧上，选定运动对象的大致轮廓；WSl 10步骤中的落在运动对象轮廓内的SIFT匹配点，以及运动对象轮廓的采样点为网格顶点，对运动对象进行三角剖分，得到立体视频A左目第一帧的运动对象网格，利用Luo等人提出的方法，通过SIFT特征点匹配与三角网格畸变约束，将网格从立体视频A左目第一帧，传播到右目第一帧；步骤S130，将立体视频A左目/右目第一帧的运动对象网格，传播到立体视频A的其余各帧的运动对象上，完成运动对象的提取；令丨7:^ = 4扔分别代表当前帧已知的左目/右目运动对象的三角网格的所有三角形的集合，W1(I)U^ R L分别代表当前对应网格的所有顶点的集合，那么，运动对象轮廓的传播就是求取左目/右目下一帧运动对象的三角网格{(;? = ￡，/?}的顶点集合{彳(/);? = /?，￡}的所有顶点的坐标；本专利技术通过最小化如下能量方程，完成运动对象的轮廓传播；E= λ ^1+ λ 2Ε2+ λ 3Ε3+ λ 4Ε4式中，E代表总体能量，E1代表帧间特征点对应约束能量，E2代表三角网格畸变约束能量，E3代表左右目网格的关联关系约束能量，E4代表纵向对齐约束能量，λ P λ 2、λ 3、λ 4代表各个能量项的权重；能量方程包含四个能量项，分别代表四种约束条件，其中，E1为帧间特征点对应约束能量，通过SIFT流，我们可以将当前帧的网格顶本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：陈小武，邹冬青，赵沁平，丁峰，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：