一种视点合成中基于深度的空洞修复方法技术

本发明专利技术公开了一种视点合成中基于深度的空洞修复方法，包括如下步骤：（1）对输入的参考深度图进行深度边缘单向膨胀预处理，以消除合成的虚拟视点视图中前景像素和背景像素的相互渗透现象；（2）利用预处理后的参考深度图和原参考视图，进行像素映射变换，得到带有空洞的虚拟视点视图和虚拟视点深度图；（3）结合虚拟视点深度图中空洞周围前景和背景的相对位置关系，采用基于像素的图像修复方法对虚拟深度图中的空洞进行修复；（4）结合修复后的虚拟视点深度图，对虚拟视点视图中的空洞采用改进的基于样本的图像修复方法进行修复。本发明专利技术方法能得到质量较好的虚拟视点视图，较好地保持图像边缘的连续性，消除前景和背景像素相互渗透的现象。

【技术实现步骤摘要】

本专利技术涉及视点合成中对空洞区域进行修复的方法，具体来说，涉及一种有效利用深度信息，同时考虑合成的虚拟视点视图中空洞周围前景和背景的相对位置关系，通过深度图预处理、图像映射变换、深度图修复、以及融合了深度信息的基于样本的彩色图像修复等步骤，来实现对空洞区域的有效填充，最终得到质量较好的虚拟视点视图的方法。
技术介绍
视点合成是指用某一个视点的真实图像，通过相应的参数，生成虚拟视点图像的过程。虚拟视点合成在虚拟现实、三维自由视点电视、人机交互、2D到3D视频转换等相关领域有着广泛的应用。目前，虚拟视点合成主要有二种方法：基于三维模型的绘制(MBR)和基于图像的绘制(IBR)，其中基于深度图像的绘制技术(DIBR)只需输入彩色图像和相应的深度图即可合成虚拟视点图像，是目前IBR方法中使用较为广泛的技术。虽然DIBR易于实现，但这种方法对深度图的精确度要求很高。如果深度图有错误，则会给视点合成结果带来较大的瑕疵，如绘制后的图像中存在伪像、空洞等现象。除此之外，遮挡也是造成空洞的主要原因。为了消除这些空洞及伪像，学者们提出了一系列方法，这些方法大致可分为三类：(1)层次化的深度图技术(LDI)，即图像的每一个像素点包含了多层深度的颜色信息。通过这种方式，可以有效填充合成的虚拟视点视图中由于遮挡所产生的空洞区域。例如有的方法首先构造了全局背景，再以此为辅助填补映射结果中的空洞。由于需要采集多层深度的颜色信息，这类方法存在的问题是采样复杂，数据量过大。(2)深度图的预处理和合成的虚拟视点视图的后处理。常用的方法是对深度图进行低通滤波平滑来减少合成视图中的空洞，并通过均值滤波、像素内插来修复合成视图中的较小空洞。如采用高斯滤波、高斯双边非对称滤波器、小波滤波等方法。但这类方法对于较大空洞的修补效果并不理想。(3)利用图像修复技术对空洞进行填补，即将二维图像的修复技术引入到对立体图像空洞修复中。如在自由视点视频的修复过程中加入深度信息的导引；或先将图像分为前景和背景，再利用分割信息对空洞进行修复；以及在修复过程中采用了先对深度图中空洞进行修复的策略等。在上述方法中，深度信息的利用，主要体现在填充优先值的计算和匹配代价的计算过程中。在自由视点电视、2D到3D视频转换等应用中，合成视点的位置一般位于参考视点的水平方向上。这时，由于遮挡原因，在视点合成结果中空洞区域的左右两侧会存在前景和背景之别。在视点合成的过程中我们可以获得前景和背景的相对位置，将此与场景的深度信息相结合，运用到图像修复技术中，则可有效提升空洞修复的效果。基于上述思想，本专利技术提出了一种新的空洞修复方法。
技术实现思路
本专利技术的有益效果是：通过对原始深度图进行深度边缘单向膨胀，可在很大程度上去除前景和背景的相互渗透现象，从而使前景边缘保持效果更好；在修复深度图的空洞时利用合成的虚拟视点视图中空洞周围前景背景的相对位置信息，使空洞修复为背景，提升了深度图中空洞的修复效果；将深度信息考虑进基于样本的图像修复中，有利于消除背景中的前景像素渗透，保持前景边缘的连续性；在基于样本的图像修复中加入匹配块预处理，使空洞边缘平滑过渡。上述措施的综合运用最终使本专利技术方法合成的虚拟视点视图拥有更自然的视觉效果。附图说明图1为本专利技术方法的流程图；图2为参考深度图预处理流程图；图3为参考深度图预处理示意图；图4为参考深度图中空洞修复的填充顺序示意图；图5为基于样本的图像修复方法示意图；图6为对最佳匹配块进行预编辑的示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细描述，本专利技术的目的和效果将变得更加明显。图1给出了依照本专利技术对视点合成结果中的空洞进行修复的方法流程图。本专利技术所述的视点合成是指输入某一个视点的参考视图和相应的参考深度图，通过给定的像素映射变换，来生成在一个虚拟视点下的视图的过程。由于不同视点之间的遮挡以及深度图的错误，在合成的虚拟视点视图中不可避免的会出现空洞。对这些空洞区域进行填充是视点合成的一个必要步骤，填补效果的好坏直接影响了视点合成的结果。如图1所示，在步骤101中，对输入的参考深度图进行预处理。在图像前景和背景的交界处，深度通常会发生显著变化，由于视角变化造成的遮挡，在合成的虚拟视点视图中就会有空洞区域存在。同时，由于深度图在前景和背景交界处的不准确，很容易造成在投影结果中在这些交界处前景像素和背景像素之间的混淆，使得边界不清晰。后续的空洞填充又进一步将这种效应放大，从而形成了明显的瑕疵。由于获得完全准确的深度图非常困难，为了有效地消除这种相互渗透现象，本专利技术提出了一种对深度边缘进行单向膨胀的预处理方法，具体步骤如图2所示。首先判断参考深度图中某点及其相邻点在映射变换后是否仍然相邻，若判断不相邻则会产生空洞。这时，该点在映射变换后，根据深度值判断，如果被投射到新的背景上，则放弃该点的预处理，以避免前景边缘出现两种背景的突兀现象；反之，则将该点的深度值向该点w宽度的邻域中深度值小于该点的像素点膨胀，覆盖较小的深度值。下面结合图3对上述过程进行更详细的说明。图3(a)为某视角原始深度图中的一行，A～L为该行中的像素。由像素值所代表的深度值可知，该行中A～C、J～L为背景像素，D～I为前景像素。为了判别这些在原始深度图中的像素在映射后是否相邻，先对这些像素施行像素映射变换，即图1中的步骤102—“映射变换”。然后对如图3(b)所示的映射结果进行考察。如图3(b)所示，在图3(a)中相邻的像素C和D，I和J在图3(b)中不再相邻，从现象上看C和D之间发生了重叠，而I和J之间产生了空洞。预处理选择其中深度值较大的前景像素，假设为D和I。由于D被映射到新的背景A上，不会像I和J之间那样产生空洞，因此只需处理像素I。方法是在原始深度图中将I的深度值赋给w宽度邻域内深度值小于I的像素。在该示例中，取w＝2，故将I像素赋给J、K像素，即J＝I，K＝I，得到图3(c)的预处理结果。通过上述深度边缘单向膨胀的预处理，原深度图中会产生空洞的前景边缘会有所扩展。这能去除视点合成的虚拟视点视图的背景上出现的前景像素残留，相当于将空洞的背景一侧w宽度的像素移动拼接到前景边缘一侧。如图1所示，在步骤102中，对输入的参考图和经过步骤101预处理后的深度图进行像素点的映射变换，合成带有空洞的虚拟视点视图和虚拟视点深度图。本文档来自技高网...

【技术保护点】
一种视点合成中基于深度的空洞修复方法，其特征在于，包括如下步骤：(1)输入参考视图和对应的参考深度图，对参考深度图进行预处理，检测出映射变换后会产生空洞的深度边缘，对该边缘进行单向膨胀；(2)对输入的参考视图和预处理后的参考深度图，进行像素映射变换，合成带有空洞的虚拟视点视图和虚拟视点深度图；(3)对虚拟视点深度图中的空洞区域，采用基于像素的图像修复方法进行修复，得到修复后的虚拟视点深度图；(4)结合修复后的虚拟视点深度图，对虚拟视点视图中的空洞，采用基于样本的图像修复方法进行修复，得到最终的虚拟视点视图。

【技术特征摘要】
1.一种视点合成中基于深度的空洞修复方法，其特征在于，包括如下步骤：
(1)输入参考视图和对应的参考深度图，对参考深度图进行预处理，检测
出映射变换后会产生空洞的深度边缘，对该边缘进行单向膨胀；
(2)对输入的参考视图和预处理后的参考深度图，进行像素映射变换，合
成带有空洞的虚拟视点视图和虚拟视点深度图；
(3)对虚拟视点深度图中的空洞区域，采用基于像素的图像修复方法进行
修复，得到修复后的虚拟视点深度图；
(4)结合修复后的虚拟视点深度图，对虚拟视点视图中的空洞，采用基于
样本的图像修复方法进行修复，得到最终的虚拟视点视图。
2.根据权利要求1所述的一种视点合成中基于深度的空洞修复方法，其特
征在于，所述的步骤(1)中对参考深度图进行深度边缘单向膨胀的预处理，包
含以下步骤：
(1.1)首先判断参考深度图中某点及其相邻点在映射变换后是否仍然相邻，
如若不相邻则会产生空洞，进行下一步的处理；
(1.2)对于判断为不相邻的点，如果该点在映射变换后，被投影到虚拟视
点视图的背景上，则放弃该点的预处理，以避免前景边缘出现二种背景的突兀
现象；否则，进行下一步处理；
(1.3)将该点的深度值向与该点的w宽度的邻域中深度值小于该点的像素
点膨胀，覆盖其中较小的深度值；
(1.4)对参考深度图中的所有像素进行如上处理，完成后得到预处理后的
参考深度图。
3.根据权利要求1所述的一种视点合成中基于深度的空洞修复方法，其特
征在于，所述的步骤(3)中采用基于像素的图像修复方法对虚拟视点深度图中
的空洞区域进行修复，其填充顺序为：定义由背景指向空洞的方向向量为v，填
充须从v的起始方向一侧(背景一侧)开始，使其生长填充沿着v的方向进行。
4.根据权利要求1所述的一种视点合成中基于深度的空洞修复方法，其特
征在于，所述的步骤(4)中采用基于样本的图像修复方法对虚拟视点视图中的
空洞进行修复，具体包含以下步骤：
(4.1)对于每一个空洞像素点p，用加入深度权重的优先值P(p)计算公式：
P(p)＝C(p)·[β·D(p)+γ·Z(p)+λ·Q(p)]，计算得到优先值，根据优先值
大小确定填充顺序；式中，C(p)为置信项，D(p)为数据项，Z(p)为深度项，Q(p)
为深度变化项，β、γ、λ为预定义的权重，C(p)、D(p)、Z(p)和Q(p)具体定义如
下：
C ( p ) = 1 | Ψ p | Σ q ∈ Ψ p ∩ Φ C ( q ) - - - ( 2 ) ]]> D ( p ) = < ▿ ⊥ I p , n p > α - - - ( 3 ) ]]> Z ( p ) ...

【专利技术属性】
技术研发人员：杜歆，邹泷，朱云芳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33