一种针对低质量深度图的DIBR自由视点合成方法技术

本发明专利技术公布了一种针对低质量深度图的DIBR自由视点合成方法，通过修复深度图，实现在虚拟视点合成高质量的图像；包括：提取深度图与彩色图的边缘信息，进行边缘的扩展对齐；逐列平滑深度图；正向投影到虚拟视点的位置；得到过滤后的位于虚拟视点的深度图；进行反向投影，得到位于虚拟视点位置的两张投影彩色图；相互补全对应空缺的图像信息；计算得到左图相对右图的校准偏移LR和右图相对左图的校准偏移RL；根据LR和RL移动左图和右图中的像素；进行图像融合，得到合成图。

A DIBR Free View Synthesis Method for Low Quality Depth Maps

The invention discloses a DIBR free-view synthesis method for low-quality depth maps, which can synthesize high-quality images from virtual viewpoints by restoring depth maps, including: extracting edge information of depth maps and color maps, extending and aligning edges; smoothing depth maps one by one; projecting forward to the position of virtual viewpoints; and obtaining filtered depth maps located in virtual viewpoints. Two projection color maps located at the virtual viewpoint are obtained by reverse projection; the corresponding vacancy image information is complemented each other; the calibration offset LR of the left relative right image and the calibration offset RL of the right relative left image are calculated; the pixels of the left and right images are moved according to LR and RL; the image fusion is carried out to obtain the composite image.

【技术实现步骤摘要】
一种针对低质量深度图的DIBR自由视点合成方法
本专利技术属于数字视频处理
，涉及三维空间中的自由视点合成技术，尤其涉及一种针对低质量深度图的DepthImageBasedRendering(DIBR)自由视点合成方法。
技术介绍
目前，新一代电视视频播放技术正在蓬勃发展。传统的提供单一观看视角的播放方式，已经难以满足当代消费者对于更自由的观看视角的需求。因此，自由视点合成技术应运而生。通过提供多个指向观看场景的具有一定间隔视角的彩色图与对应深度图，可以通过自由视点合成技术合成在一定范围的虚拟位置观看到的图像。目前合成虚拟视点的算法中，根据应用环境的不同，有不同的处理策略。本方法可以处理水平放置的多个相机的情况，也可以处理多个相机呈环形排列的情况。传统的基于DIBR的算法，往往将投影在虚拟视点的图像直接进行融合。实验发现，只有在深度图质量足够优秀的情况下，直接融合才可以产生质量较好的结果。但是对于低质量的深度图，由于投影的结果往往存在误差，因此直接融合并不能产生较好的结果。实验发现，对于低质量的深度图，传统的算法将会导致鬼影、空洞、扭曲等等问题。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种针对低质量深度图的DIBR自由视点合成方法，实现在虚拟视点中合成高质量的图像。本专利技术的核心是：为解决现有的基于DIBR的自由视点合成中出现图像鬼影、空洞、扭曲等问题，提出针对低质量深度图的自由视点合成方法，针对低质量深度图进行一系列的修正处理，比如进行局部深度平滑、局部光流校正、边缘扩展等。通过修复深度图，实现在虚拟视点合成高质量的图片。本专利技术提供的技术方案是：一种针对低质量深度图的DepthImageBasedRendering(DIBR)自由视点合成方法，通过修复深度图，实现在虚拟视点合成高质量的图片；包括如下步骤：1)对于输入的彩色图与深度图，首先提取深度图与彩色图的边缘信息，进行边缘的扩展对齐，使得深度图中部分边缘的错误得到修正；输入图像包括各个不同位姿的相机拍摄得到的图像，包括彩色图与深度图。其中深度图可由深度估计的算法得到的。2)随后，逐列平滑深度图，使得深度图图像中每一列的深度值，都不会出现过大的突变，本实验中以最大突变量的10％作为判别深度变化是否过大的阈值；3)利用步骤2之后的深度图以及输入的虚拟视点的位姿(三维空间中相对坐标原点的平移与旋转量)，正向投影到虚拟视点的位置，该位置由用户自行确定，一般位于输入的多个相机之间。由于投影之后的深度图往往存在裂纹，具体实施时优选使用中值滤波过滤，得到过滤后的位于虚拟视点的深度图，左图投影深度图为LD，右图投影深度图为RD；4)利用滤波过滤之后的位于虚拟视点的深度图以及在虚拟位置周围最近的左右两张原始输入的彩色图，作为左图和右图，进行反向投影，得到位于虚拟视点位置的两张投影彩色图；5)对于步骤4)得到的两张投影彩色图，相互补全对应空缺的图像信息，利用现有的光流算法对两张投影彩色图进行左右对齐，得到左图相对右图的偏移f1，以及右图相对左图的偏移f2。其中，f1与f2均包含图像水平与垂直方向。本实验中选择DeepFlow光流算法；6)根据左右对齐的偏移f1和偏移f2，计算得到左图相对右图的校准偏移LR和右图相对左图的校准偏移RL；分别根据LR和RL移动左图和右图中的像素；假设虚拟视点中心与左图的视点中心的距离为l1,与右图的视点中心的距离为l2。可知，左图相对右图的校准偏移为LR，LR＝f1*(l1/(l1+l2)),右图相对左图的校准偏移为RL，RL＝f2*(l2/(l1+l2))。对于左图中的像素(xi,yi),移动到(xi+LRx,yi+LRy)位置，同理，右图中的像素(xi,yi)移动到(xi+RLx,yi+RLy)位置；7)下面进行图像融合，得到合成图Iv；具体实施时，使用alphablending算法进行融合；利用虚拟位置与左右图的位置关系，设定左图权重与右图权重；当位于正中时，两者权重均为0.5，直接加权得到合成图；本方法中设定左图权重为l2/(l1+l2)，右图权重为l1/(l1+l2)。8)由于合成图Iv中若存在局部空缺，利用图像修补算法进行修补；本专利技术具体实施时，选用经典的FMM算法；9)由于图像边缘往往存在一定的突变，为此我们对Iv边缘进行平滑。从LD与RD中分别提取边缘LE1与LE2，从修补之后的Iv中提取边缘E3，对Iv中LE1与LE2区域进行中值滤波，对E3区域进行高斯模糊，最终得到边缘平滑之后的合成图像Iv’。通过上述针对低质量深度图的DIBR自由视点合成方法步骤，实现在虚拟视点中合成得到高质量的图像。上述针对低质量深度图的DIBR自由视点合成方法中，步骤1)采用一种彩色图与深度图边缘对齐的方法。具体为：11)首先提取输入深度图与彩色图的边缘，检测深度图边缘的前景边缘与背景边缘；12)进行第一次检测：对于前景边缘的背景方向(左/右)，检测一定范围中，是否存在彩色图的边缘，如果没有，则认为该边缘不必扩展对齐；如果有，则进行第二次检测；13)进行第二次检测：检测前景边缘的前景方向在一定范围中(本方法具体实施时选择20个像素，具体值可以由根据输入图像尺寸进行手动调节)是否存在彩色图边缘，如果有，则认为该边缘属于前景，不必扩展；否则，将该深度前景边缘，沿着背景方向，用最近的前景深度值替换路径中的背景深度值，直到彩色图边缘。上述流程中，第一次检测背景方向是否有彩色图的边缘是为了初步筛选是否需要扩展，此时存在彩色图边缘说明当前深度边缘有一定可能属于错误边缘区域，但也有可能依然属于正确边缘，因为找到的彩色图边缘可能属于前景边缘；第二次检测前景方向则是为了避免第一次中遇到的彩色图边缘属于前景边缘，没有第二次检测，可能导致较小区域中的正确的背景被设置为前景。具体实施时，如附图2，le1为前景边缘，在前景、背景方向中寻找彩色图的边缘le2与le3。对于le1上半段，在背景方向中存在背景且前景方向不存在前景，则扩展，对于le1下半段，则不进行扩展。上述针对低质量深度图的DIBR自由视点合成方法中，步骤5)、6)采用一种能够解决传统DIBR中由于深度不准确导致投影图错位的方法。正向投影得到虚拟位置深度图，并由此通过反向投影得到虚拟位置的彩色图时，由于左图与右图的深度存在一定误差，因此此时的彩色图之间存在较大、无法忽视的错位。本专利技术使用DeepFlow光流算法，计算左图与右图的光流偏移f1与f2，然后根据虚拟视点位置相对于左图与右图的位置的比例l1/(l1+l2)与l2/(l1+l2)，得到左图与右图的偏移量LR＝f1*(l1/(l1+l2))与RL＝f2*(l2/(l1+l2))，由此进行左图右图位置校正，左图中的像素(xi,yi),移动到(xi+LRx,yi+LRy)位置，同理，右图中的像素(xi,yi)移动到(xi+RLx,yi+RLy)位置。该方法可以有效缓解由于深度不准确导致的错位，明显提高图像质量。虚拟视点相对左右图的位置，如图3所示。与现有技术相比，本专利技术的有益效果是：本专利技术提供一种针对低质量深度图的DIBR自由视点合成方法，针对低质量深度图进行一系列的修正处理，包括进行局部深度平滑、局部光流校正、边缘扩展等。通过修复深本文档来自技高网...

【技术保护点】
1.一种针对低质量深度图的DIBR自由视点合成方法，通过修复深度图，实现在虚拟视点合成高质量的图像；包括如下步骤：1)输入彩色图与深度图，提取深度图与彩色图的边缘信息，进行边缘的扩展对齐，修正深度图中的边缘错误；2)随后逐列平滑深度图，使得深度图图像中每一列的深度值无过大的突变；3)输入虚拟视点的位姿；利用步骤2得到的深度图和输入的虚拟视点的位姿，正向投影到虚拟视点的位置；通过滤波过滤得到过滤后的位于虚拟视点的深度图；左图投影深度图记为LD，右图投影深度图记为RD；4)利用过滤后的位于虚拟视点的深度图和输入的离虚拟位置最近的左右两张彩色图，作为左图和右图，进行反向投影，得到位于虚拟视点位置的两张投影彩色图；5)对于步骤4)得到的两张投影彩色图，相互补全对应空缺的图像信息，利用光流算法对两张投影彩色图进行左右对齐，得到左图相对右图的偏移f1，以及右图相对左图的偏移f2；其中，f1与f2均包含图像水平与垂直方向；6)根据左右对齐的偏移f1和偏移f2，计算得到左图相对右图的校准偏移LR和右图相对左图的校准偏移RL；分别根据LR和RL移动左图和右图中的像素；7)进行图像融合，得到合成图Iv；8)若合成图Iv中存在局部空缺，利用图像修补算法进行修补，得到修补之后的图；9)对存在突变的Iv的图像边缘进行平滑，得到边缘平滑之后的合成图像Iv’；通过上述步骤，针对低质量深度图进行DIBR自由视点合成，实现在虚拟视点合成高质量的图片。...

【技术特征摘要】
1.一种针对低质量深度图的DIBR自由视点合成方法，通过修复深度图，实现在虚拟视点合成高质量的图像；包括如下步骤：1)输入彩色图与深度图，提取深度图与彩色图的边缘信息，进行边缘的扩展对齐，修正深度图中的边缘错误；2)随后逐列平滑深度图，使得深度图图像中每一列的深度值无过大的突变；3)输入虚拟视点的位姿；利用步骤2得到的深度图和输入的虚拟视点的位姿，正向投影到虚拟视点的位置；通过滤波过滤得到过滤后的位于虚拟视点的深度图；左图投影深度图记为LD，右图投影深度图记为RD；4)利用过滤后的位于虚拟视点的深度图和输入的离虚拟位置最近的左右两张彩色图，作为左图和右图，进行反向投影，得到位于虚拟视点位置的两张投影彩色图；5)对于步骤4)得到的两张投影彩色图，相互补全对应空缺的图像信息，利用光流算法对两张投影彩色图进行左右对齐，得到左图相对右图的偏移f1，以及右图相对左图的偏移f2；其中，f1与f2均包含图像水平与垂直方向；6)根据左右对齐的偏移f1和偏移f2，计算得到左图相对右图的校准偏移LR和右图相对左图的校准偏移RL；分别根据LR和RL移动左图和右图中的像素；7)进行图像融合，得到合成图Iv；8)若合成图Iv中存在局部空缺，利用图像修补算法进行修补，得到修补之后的图；9)对存在突变的Iv的图像边缘进行平滑，得到边缘平滑之后的合成图像Iv’；通过上述步骤，针对低质量深度图进行DIBR自由视点合成，实现在虚拟视点合成高质量的图片。2.如权利要求1所述针对低质量深度图的DIBR自由视点合成方法，其特征是，步骤1)采用彩色图与深度图边缘对齐的方法，具体执行如下操作：11)首先提取输入深度图与彩色图的边缘，检测深度图边缘的前景边缘与背景边缘；12)进行第一次检测初步筛选是否需要扩展：对于前景边缘的背景方向，检测一定范围中是否存在彩色图的边缘；如果没有，则该边缘不扩展对齐；如果有，则进行第二次检测；13)进行第二次检测，避免第一次检测将小区域中的正确的背景设置为前景；具体地：检测前景边缘的前景方向在一定范围中是否存在彩色图边缘；如果有，则该边缘属于前景，不必扩展；否则，将该深度前景边缘，沿着背景方向，采用最近的前景深度值替换路径中的背景深度值，直到彩色图边缘。3.如权利要求2所述针对低质量深度图的DIBR自由视点合成方...

【专利技术属性】
技术研发人员：王荣刚，王盛，王振宇，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东,44