一种适用于DIBR预处理过程的深度图融合方法技术

本发明专利技术公开了一种用于DIBR预处理过程的深度图融合方法，包括如下步骤：对原始深度图进行梯度分析，预估出新视点图像中的空洞区域；根据预估空洞区域分布生成初始影响度分布图；在维度变换空间下利用纹理图像对初始影响度分布图进行扩散；基于扩散后的影响度分布图对原始深度图和预平滑后的深度图进行融合，生成优化后的深度图。本发明专利技术的方法在高效的维度变换空间下，通过基于纹理特征扩散的影响度分布图来对原始深度图和预平滑后的深度图进行融合，从而实现优化后的深度图在不同区域平滑强度的自适应调整，不但有效保留了空洞区域的平滑作用以消除空洞影响，而且有效避免了对不出现空洞区域的过平滑而造成的额外扭曲现象。

A depth map fusion method for DIBR preprocessing

The invention discloses a fusion method for depth map DIBR pretreatment process, which comprises the following steps: gradient analysis of the original depth map, estimate the image in the void region; according to the prediction of void area distribution to generate the initial impact of the initial distribution; influence degree distribution map diffusion using texture images in dimension transformation under the influence of the diffusion space; distribution maps of depth map the original depth map and pre smoothed fusion based on depth map generation after optimization. The method of the invention in the dimension of space efficient transform, based on texture diffusion degree distribution of the depth map the original depth map and pre smoothed fusion, so as to realize the adaptive adjustment of the depth map after optimization in different regions of smooth strength, not only effectively preserve the smoothing effect of hole area to eliminate effect of voids, but also effectively avoid the additional distortions due to not over smoothing the empty area.

【技术实现步骤摘要】
一种适用于DIBR预处理过程的深度图融合方法
本专利技术属于三维视频
，具体涉及2D/3D的视频转换技术，特别是一种适用于DIBR预处理过程的深度图融合方法。
技术介绍
目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(DepthImage-basedRendering，DIBR)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程，通过在DIBR前加入深度图预处理环节及在DIBR后基于图像修复技术来完成空洞的填补。深度图预处理通常是采用各类滤波器对深度图进行平滑，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填补。这类方法运行效率高，作用明显，但是平滑滤波可能会导致虚拟图像中的物体边缘区域(尤其是竖直方向的边缘)产生几何形变。因此在2D/3D视频转换中现有的DIBR技术中深度图预处理环节无法有效保证虚拟图像无失真的转换合成，从而影响了3D视频的实际转换效果。
技术实现思路
有鉴于此，本专利技术的目的是针对现有DIBR深度图预处理技术环节的不足，通过维度变换域下扩散生成的影响度分布图来对原始深度图和预平滑后的深度图进行融合，从而实现优化后的深度图在不同区域平滑强度的自适应调整，不但有效保留了空洞区域的平滑作用以消除空洞影响，而且有效避免了对不出现空洞区域的过平滑而造成的额外扭曲现象，从以提升3D虚拟图像渲染效果。为达到上述目的，本专利技术采用以下技术方案：一种适用于DIBR预处理过程的深度图融合方法，包括如下步骤：A)在原始深度图DOri中，利用空洞预估算子根据左右眼虚拟图像的深度变化规律对产生的空洞区域RH进行预估；B)生成初始影响度分布图If-init；C)在维度变换域下对初始影响度分布图If-init进行扩散，生成优化后的影响度分布图If；D)用优化后的影响度分布图If对原始深度图DOri和预平滑后的深度图进行融合DPre，生成优化后的深度图DFin。其中，步骤A)所述的空洞预估算子为：其中，RH表示预测的空洞，r(x,y)表示在原始深度图DOri中坐标(x,y)处的深度值，Dmax是设定生成虚拟图像视差最大值的像素个数，α是归一化因子(在8bit灰度图像中，α＝255)，Dwidth是图像宽度的像素个数，λH是预设的阈值因子；如果新合成的虚拟视图是左眼视图，则i＝l，否则，i＝r。其中，步骤B)中的初始影响度分布图If-init具体定义为：其中，RH表示预测的空洞，De(p)表示点p到预估空洞边缘的距离。其中，步骤C)在维度变换域下对初始影响度分布图If-init进行扩散具体为:扩散函数定义如下：If[n]＝(1-ad)If-init[n]+adIf[n-1]其中，If-init[n]表示初始影响度分布图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d表示维度变换域中相邻样本xn和xn-1之间的距离。其中，维度变换域中相邻样本xn和xn-1之间的距离定义为：d＝ct(xn)-ct(xn-1)其中，ct(u)表示维度变换域，维度变换过程为:其中，Itexture(x)表示输入的纹理图像，|I′texture(x)|表示纹理图像的梯度强度，σs和σr分别是传播器空间和值域参数，用来调节传播的影响。σs取值范围为200～2500，σr取值范围为0.1～10。其中，扩散为迭代过程，且为实现对称传播，如果在一次迭代中扩散按照从左到右，从上到下的顺序在图像中传播，则下一次迭代中扩散按照从右到左、从下到上的顺序传播。迭代次数为2～10次。其中，步骤D)中深度图融合公式为：DFin＝IfDPre+(1-If)DOri。本专利技术的有益效果是：本专利技术中的影响度分布图在高效的维度变换空间下基于纹理特征和预测的原始空洞扩散而来，能够反映结构化的分布信息。以此进行深度融合，可以用自适应扩散方式取代传统人工参数限定方式来更加有效确定加强待修复区域的滤波效果，并排除减少非空洞区域的滤波效果，从而克服传统深度图预处理过程中的深度图畸变和过平滑问题，实现空洞修复的同时显著提高3D虚拟渲染效果。附图说明图1是现有的DIBR系统处理流程图；图2是本专利技术的方法流程图；图3是采用本专利技术方法的深度图及虚拟图像效果对比图。具体实施方式下面结合附图和实施例对本专利技术作进一步描述：图1显示了现有的DIBR系统处理流程，对于输入的原始深度图，首先在预处理环节对深度图进行平滑滤波，以此通过深度图部分结构的优化减小渲染时大部分空洞的发生；然后，采用DIBR渲染处理方法，利用深度图像和标定的相机参数，将参考图像中的像素点映射到目标图像中；最后，采用空洞填补方法，修复渲染过程中保留的少量空洞，并输出转换出的左右眼虚拟图像。其中，DIBR渲染处理是2D/3D转换方法中的重要步骤，它描述了一个精确的点到点的映射关系，可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。针对这个问题目前常用的有三类解决方法：1)分层深度视频(LDV)格式。该类方法通过新的数据层从根本上解决了由于遮挡而在深度图中产生的空洞现象。然而这种技术要求视频采集时利用特殊的设备，所以并不适合于2D/3D转换；2)空洞填补。该类方法即是图1中所示的DIBR后的空洞填补环节。该类方法的主要思想是根据图像的纹理特征，选取大小合适本文档来自技高网...

【技术保护点】
一种用于DIBR预处理过程的深度图融合方法，其特征在于：包括如下步骤：A)在原始深度图D

【技术特征摘要】
1.一种用于DIBR预处理过程的深度图融合方法，其特征在于：包括如下步骤：A)在原始深度图DOri中，利用空洞预估算子根据左右眼虚拟图像的深度变化规律对产生的空洞区域RH进行预估；B)生成初始影响度分布图If-init；C)在维度变换域下对初始影响度分布图If-init进行扩散，生成优化后的影响度分布图If；D)用优化后的影响度分布图If对原始深度图DOri和预平滑后的深度图进行融合DPre，生成优化后的深度图DFin。2.如权利要求1所述的一种用于DIBR预处理过程的深度图融合方法，其特征在于，步骤A)所述的空洞预估算子为：其中，RH表示预测的空洞，r(x,y)表示在原始深度图DOri中坐标(x,y)处的深度值，Dmax是设定生成虚拟图像视差最大值的像素个数，α是归一化因子(在8bit灰度图像中，α＝255)，Dwidth是图像宽度的像素个数，λH是预设的阈值因子；如果新合成的虚拟视图是左眼视图，则i＝l，否则，i＝r。3.如权利要求1所述的一种用于DIBR预处理过程的深度图融合方法，其特征在于，步骤B)所述的初始影响度分布图If-init具体定义为：其中，RH表示预测的空洞，De...

【专利技术属性】
技术研发人员：刘伟，郑扬冰，刘红钊，崔明月，张新刚，马世榜，叶铁，
申请(专利权)人：南阳师范学院，
类型：发明
国别省市：河南,41