从视频单视点到多视点的虚拟视点生成方法技术

本发明专利技术公开了一种从视频单视点到多视点的虚拟视点生成方法，它包括：1）输入二维参考视频源和对应的深度图，把视频源和深度图分解为一帧一帧的参考视点图像；2）使用基于条带的全局对称修复算法和逆向迭代算法对参考视点图像的图像边界进行纹理扩展；3）使用深度图像绘制技术对扩展完的参考视点图像根据深度图进行3D坐标转换，得到包含其余n个视点的虚拟视点图像；4）把3D映射之后的虚拟视点图像进行原分辨率裁剪；5）采用基于深度信息的可信度最优全局修复算法对裁剪后的虚拟视点图像的图像空洞进行填补；6）重复上述步骤，直到整个参考视频源所有参考视点图像修复完毕，得到整个多视点视频源。

【技术实现步骤摘要】

本专利技术涉及一种3D视频自由立体显示技术，具体来说，涉及到一种从视频单视点到多视点的虚拟视点生成方法。 
技术介绍
随着数字通信技术和计算机技术的快速发展，3D电视和自由立体视频越来越吸引人们的眼球。多视点视频（即在不同方位可以看到不同的角度的立体场景），被认为拥有非常广阔的应用前景。由于3D采集和视频传输的局限性，同时采集和传输多个视点的视频难度很高，因此虚拟视点的合成技术成为多视点视频源制作中的关键技术 合成多视点视频的主要方式有两种：基于模型的和基于图像渲染的。基于模型的方法由于依赖与场景的复杂度，运算量比较大，不容易实现。基于图像渲染的方法根据2D图像产生虚拟视点，和场景复杂度无关，因此成为了主流虚拟视点合成方式。基于图像渲染的方法中,基于深度图的图像渲染（DIBR）方式是一种最有效的方式。这种方法仍然存在以下缺陷：本应该在虚拟视电中可见的区域在原始视点中是遮挡的，即在虚拟视点中出现的物体或者背景在原始图像中是不存在的，这样就成了空洞，表现在深度图中深度图突变的边界处。 
技术实现思路
针对以上的不足，本专利技术的目的是提供一种从视频单视点到多视点的虚拟视点生成方法，它包括：步骤1）提取视频源和对应的深度图，将视频源和对应的深度图分解为一帧一帧的参考视点图像；步骤2）对参考视点图像的图像边界进行纹理扩展；步骤3）对扩展完的参考视点图像根据深度图进行3D坐标转换，得到包含其余n个视点的虚拟视点图像；步骤4）把3D映射之后的虚拟视点图像进行原分辨率裁剪；步骤5）对裁剪后的虚拟视点图像的图像空洞进行填补；步骤6）重复上述步骤，直到整个参考视频源所有参考视点图像修复完毕，得到整个多视点视频源，其中，n为自然数。 所述步骤2）使用基于条带的全局对称修复算法和逆向迭代算法对参考视点图像的图像边界进行纹理扩展，具体流程为：21）对参考视点图像和对应的深度图扩展一定象素宽度，生成边界修复模板生成；22）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数；23）采用基于条带的形式设计逆向迭代神经网络节点；24）设置修复节点需要参考的像素范围；25）采用BP算法选取待修复节点参考节点；26）使用逆向迭代算法求取马尔可夫能量函数总和最小时待修复节点所对应的参考节点，使用求取到的最优参考节点对待修复节点进行修复；27）重复上述步骤，把所有的条带修复完成，则完成边界扩展纹理修复以及相关深度图的修复扩展。 所述步骤3）使用深度图像绘制技术对扩展完的参考视点图像根据深度图进行3D坐标转换，具体流程为：31）将修复后的参考视点图像根据 深修复后的深度图转换到世界坐标；32）将世界坐标转换到虚拟视点。 所述步骤31）中，对于错误的深度值以及非整形的深度值使用一对多的方式映射。 对于一个虚拟视点中的一个坐标处有多个候选像素则采用深度值最小的像素值。 所述步骤5）采用基于深度信息的可信度最优全局修复算法对裁剪后的虚拟视点图像的图像空洞进行填补，具体流程为：51）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数；52）对裁剪后的虚拟视点图像设置修复模板；53）采用基于条带的形式设计逆向迭代神经网络节点；54）为每个待修复节点设置参考节点的索引列表，设置参考节点范围；55）选取待修复节点参考节点；56）对条带内的所有待修复节点使用其最优的参考节点进修修复；57）重复上述步骤，直到这一帧的所有虚拟视点修复完毕。 所述步骤56）还包括：对于还是存在的空洞，则采用去空洞缩放算法进行处理。 本专利技术的有益效果：本专利技术特别针对需要生成边界视点，或者只有2D+D的视频源，或者是从2D转3D的情况，直接对其进行修复，不用处理深度图，不会产生前景失真，也不会带来几何畸变，而且处理后的图像质量更高。 附图说明图1为本专利技术的处理流程图； 图2为本专利技术的参考视点图像的示意图； 图3为本专利技术的参考视点图像的深度图的示意图； 图4为本专利技术的图像边界纹理扩展的示意图； 图5为本专利技术的边界修复模板的示意图； 图6为本专利技术的图像边界纹理扩展后的示意图； 图7为本专利技术的剪切成原分辨率的虚拟视点图像深度图的示意图； 图8为本专利技术的剪切成原分辨率的虚拟视点图像的示意图； 图9为本专利技术的参考视点图像生成的虚拟视点图像的深度图的示意图； 图10为本专利技术的参考视点图像生成的虚拟视点图像的示意图； 图11为本专利技术的剪切前虚拟视点图像深度图的示意图； 图12为本专利技术的剪切前虚拟视点图像的示意图； 图13为本专利技术的空洞修复后虚拟视点图像深度图的示意图； 图14为本专利技术的空洞修复后虚拟视点图像的示意图； 图15为本专利技术的图像空洞填补的示意图。 具体实施方式下面结合附图对本专利技术的进行进一步阐述。 如图1至图15所示，本专利技术的从视频单视点到多视点的虚拟视点生成方法具体包括如下步骤： 1）输入二维参考视频源和对应的深度图，把视频源和深度图分解为一帧一帧的参考视点图像。 2）使用基于条带的全局对称修复算法和逆向迭代算法对参考视点图像的图像边界进行纹理扩展，如图4所示：S区域表示参考区域，T区域 表示待修复区域，使用S区域的像素去修复T区域内的空白像素，gap表示两个相邻节点的像素距离，一个节点代表一个像素块，一个像素块长和宽都等于2倍的gap，TT表示在T区域内的2个像素块重叠的区域，ST表示参考区域和待修复区域的重叠区域，白色节点表示待修复节点，黑色节点表示参考节点，一个待修复节点有一系列的参考节点，目标是在S区域内找到能最好修复T区域内节点的参考节点。 其具体过程如下： 21）对参考视点图像和对应的深度图扩展一定象素宽度，生成边界修复模板生成。具体为：首先对参考视点图像和对应的深度图的左右两侧分别扩展100个像素，对应扩展位置的每个像素的值设置为0；然后设置与参考视点图像相对应的修复模板，设定扩展位置的像素的值为0，参考帧位置的像素的值为255，其中0表示需要修复的区域； 22）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数。其中，相似度能量函数表示从源区域的像素块和修复区域的像素块的相似度，平滑能量函数则代表相邻修复像素块之间的平滑度， E(X)=Σi∈STE1(Xi)+Σ(i,j)∈TTE2(xi,xj)(1)E1(xi)=λ(i)·d(xi,S)(2)E2(xi,xj)=k1λ(i)E2g(xi,xj)+k2λ(j)E2s(xi,xj)(3)E2g(xi,xj)=d(xi,xj)(4)E2s(xi,xj)=dgx2(xi,xj)+dgv2(xi,xj)(5)]]>其中，E(X)表示总的马尔可夫能量函数,E1代表从T区域内的待修 复节点的参考节点和S区域内的重叠区域ST的均方差， 表示T区域内的两个待修复节点的参考节点的重叠区域TT内的均方差， 表示本文档来自技高网...

【技术保护点】
一种从视频单视点到多视点的虚拟视点生成方法，其特征在于，它包括：步骤1）提取视频源和对应的深度图，将视频源和对应的深度图分解为一帧一帧的参考视点图像；步骤2）对参考视点图像的图像边界进行纹理扩展；步骤3）对扩展完的参考视点图像根据深度图进行3D坐标转换，得到包含其余n个视点的虚拟视点图像；步骤4）把3D映射之后的虚拟视点图像进行原分辨率裁剪；步骤5）对裁剪后的虚拟视点图像的图像空洞进行填补；步骤6）重复上述步骤，直到整个参考视频源所有参考视点图像修复完毕，得到整个多视点视频源，其中，n为自然数。

【技术特征摘要】
1.一种从视频单视点到多视点的虚拟视点生成方法，其特征在于，
它包括：
步骤1）提取视频源和对应的深度图，将视频源和对应的深度图分解
为一帧一帧的参考视点图像；
步骤2）对参考视点图像的图像边界进行纹理扩展；
步骤3）对扩展完的参考视点图像根据深度图进行3D坐标转换，得
到包含其余n个视点的虚拟视点图像；
步骤4）把3D映射之后的虚拟视点图像进行原分辨率裁剪；
步骤5）对裁剪后的虚拟视点图像的图像空洞进行填补；
步骤6）重复上述步骤，直到整个参考视频源所有参考视点图像修复
完毕，得到整个多视点视频源，
其中，n为自然数。
2.根据权利要求1所述的从视频单视点到多视点的虚拟视点生成方
法，其特征在于，所述步骤2）使用基于条带的全局对称修复算法和逆向
迭代算法对参考视点图像的图像边界进行纹理扩展，具体流程为：
21）对参考视点图像和对应的深度图扩展一定象素宽度，生成边界
修复模板生成；
22）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数；
23）采用基于条带的形式设计逆向迭代神经网络节点；
24）设置修复节点需要参考的像素范围；
25）采用BP算法选取待修复节点参考节点；
26）使用逆向迭代算法求取马尔可夫能量函数总和最小时待修复节
点所对应的参考节点，使用求取到的最优参考节点对待修复节点进行修
复；
27）重复上述步骤，把所有的条带修复完成，则完成边界扩展纹理
修复以及相关深度图的修复扩展。
3.根据权利要求1所述的从视频单视点到多视...

【专利技术属性】
技术研发人员：庞志勇，桂海田，陈弟虎，
申请(专利权)人：中山大学，
类型：发明
国别省市：