基于生成对抗网络的DIBR系统空洞填充方法技术方案

本发明专利技术公开了一种基于生成对抗网络的DIBR系统空洞填充方法，首先收集一批参考图像样本和对应的深度图像，生成训练样本，采用此训练样本对生成对抗网络进行训练，得到用于DIBR系统空洞填充的生成模型，然后采用与训练样本相同的方法生成待填充目标图像对应的张量，并生成前景抑制蒙版，处理得到输入张量，将其输入至生成模型，最后对输出结果进行进一步处理得到空洞填充后的目标图像。本发明专利技术采用生成对抗网络提取低级特征和高级语义特征，提高填充的空洞区域和剩余部分像素的一致性。

Hole Filling Method for DIBR System Based on Generating Countermeasure Network

The invention discloses a method for filling holes in DIBR system based on generating confrontation network. Firstly, a batch of reference image samples and corresponding depth images are collected to generate training samples. The training samples are used to train the generating confrontation network, and a generation model for filling holes in DIBR system is obtained. Then, the same method as the training samples is used to generate the target image pairs to be filled. The corresponding tensor is generated and the foreground suppression mask is processed to get the input tensor, which is input into the generating model. Finally, the output result is further processed to get the target image filled with holes. The invention adopts generation antagonism network to extract low-level features and high-level semantic features, so as to improve the consistency of the filled void area and the remaining part of the pixels.

【技术实现步骤摘要】
基于生成对抗网络的DIBR系统空洞填充方法
本专利技术属于三维图像变换
，更为具体地讲，涉及一种基于生成对抗网络的DIBR系统空洞填充方法。
技术介绍
视图合成引擎(viewsynthesisengine)是3D显示技术的重要组成部分，视图合成引擎中主要有两类视图合成方法：基于三维模型的立体内容生成方法和基于图像绘制生成立体图像的方法，目前普遍采用的是基于深度图像绘制(depth-image-basedrendering,DIBR)算法。传统的3D立体显示技术需要传递两路或多路视图，产生连续环视(continuouslook-around)，使人感受到立体效果。然而，DIBR技术可以只通过一路视频及其对应的深度图生成立体图像(stereoscopicimage)。采用DIBR技术合成的视图往往存在空洞(holes)，产生空洞的主要原因是视图中物体的可见性随着视点的改变发生了变化，例如参考图像中被前景遮挡的背景物体，在目标图像中变得可见，故生成的虚拟视点图像(目标图像)存在部分信息内容缺失，从而产生空洞。如何合理且有效地填充这些空洞是DIBR技术中待解决的关键问题。近年来，研究人员提出了许多空洞填充的方法，这些方法大致可分为以下4类：(1)深度图预处理深度图预处理的基本思想是减少甚至避免视图合成后出现空洞。在深度图中深度不连续的地方往往会产生空洞。如果参考图像中的两个相邻像素点的深度值存在一定差异，则它们在三维图像变换中相应的位移是不同的，即这两个像素在目标图像中不再相邻。参考图像中两个像素之间的深度越大，空洞的宽度也越大。深度图像预处理通过减小相邻像素之间的深度差来减少空洞，即在三维图像变换之前先对深度图进行平滑处理。平滑后的深度图的深度连续性较平缓，因此产生的空洞较小。由于深度图描述了场景的几何形状，深度图的每次改变，都会导致变换后的目标图像中场景几何形状的改变，这就意味着合成的视图中会产生几何失真。由于人眼对垂直失真更敏感，因此Zhang等人采用非对称高斯滤波器对深度图像进行滤波，以减弱背景中垂直纹理信息的几何失真现象。Daribo等人仅在深度图的边缘附近应用平滑，这样，只有空洞附近的区域才能被平滑，而其他区域保持不变。Hong提出方向高斯滤波(DGF,directionalgaussianfilter)，在预处理深度图时，先膨胀深度图，然后采用非对称高斯滤波器对出现空洞的地方进行滤波。然而，这类方法存在的普遍问题是它们会引入几何失真，使得目标图像的质量降低。(2)插值方法(Interpolation)基于插值的空洞填充方法思想比较简单，这种方法将空洞附近的纹理直接通过插值的方法传播到空洞区域。基于插值的方法主要包括水平内插(horizontalinterpolation)和背景外插(backgroundextrapolation)。水平内插方法对空洞区域逐行处理，通过该行中左右非空洞像素之间的线性内插来填充该行中的空洞像素。背景外推方法也逐行处理填充空洞，它首先识别该行左右非空洞像素，然后将更远处像素的像素值传播到空洞区域中。由于这些插值方法对视图中的每一行独立处理，因此，这类方法会导致行上的视觉伪像。(3)图像修复(Imageinpainting)基于图像修复的空洞填充方法依赖于更大的参考区域。目前图像修复方法主要分为两类：一种是基于补丁(patch)的传统方法，另一种是基于卷积神经网络的深度生成模型。由于空洞填充与图像修复问题的相似性，许多基于图像修复的空洞填充算法是由经典的图像修复算法改进得到的，但目前尚未见基于卷积神经网络的深度生成模型应用到DIBR系统空洞填充上。传统的基于补丁的修复算法可以有效地填充静态纹理，但在物体非静态情况下填充效果将会大幅降低。(4)基于时空域信息的空洞填充上述的空洞填充方法仅利用了某一时刻图像的空间信息，而基于时空域(spatio-temporaldomain)的方法利用时域(temporaldomain)上不同时刻的图像信息来进行空洞填充。Hua等人提出一种基于深度视频的绘制(Depth-Video-BasedRendering,DVBR)方法，该方法具有内容自适应特性，对于由遮挡的原因引起的大空洞利用场景的时域相关性来解决，但对于由量化误差引起的小空洞仍采用图像修复技术。Lin等人则提出一种采用子图像生成(spritegeneration)算法的空洞填充方法，子图像生成算法可对一系列连续帧之中的背景信息(包括彩色与深度图)进行融合，建立子图像模型，用于DIBR合成视图中空洞的填充。然而，基于时空域的方法不能完全填充空洞，其不能填充的空洞仍然需要其它的空洞填充方法来填充。然而，上述研究中仅使用了低级特征(low-levelfeatures)，而无法捕获到更高级的语义，导致复杂场景下的空洞填充效果不理想。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于生成对抗网络的DIBR系统空洞填充方法，采用生成对抗网络提取低级特征和高级语义特征，提高填充的空洞区域和剩余部分像素的一致性。为实现上述专利技术目的，本专利技术基于生成对抗网络的DIBR系统空洞填充方法包括以下步骤：S1：采用以下方法生成训练样本：S1.1：收集一批参考图像及对应的深度图像Dt，t＝1,2,…,K，K表示参考图像数量；S1.2：将每幅参考图像和深度图像Dt进行三维图像变换，得到对应的目标图像并生成与目标图像相同尺寸的蒙版maskt，蒙版maskt用于标记空洞像素点，如果目标图像中的像素点是空洞像素点，则在蒙版maskt中对应的像素值为1，如果是非空洞像素点，则在蒙版maskt中对应的像素值为0；S1.3：将每幅参考图像的各个通道矩阵和对应的蒙版maskt分别转化为batch_size×Mt×Nt×1的张量，然后依次拼接得到batch_size×Mt×Nt×(L+1)的张量作为对应的训练样本，其中batch_size表示批尺寸，Mt×Nt表示参考图像的尺寸，L表示参考图像的通道数；S2：采用步骤S1生成的训练样本对生成对抗网络进行训练，得到用于DIBR系统空洞填充的生成模型；S3：对于经参考图像I′R进行图像三维变换得到的待空洞填充的目标图像I′S，生成与目标图像I′S相同尺寸的非空洞矩阵M′S和蒙版mask′，其中非空洞矩阵M′S用于区分目标图像I′S中的非空像素点和空洞像素点，对于目标图像I′S中的像素点是空洞像素点，则在非空洞矩阵M′S中将对应的元素值置为-1，反之，如果是非空洞像素点，则在非空洞矩阵M′S中将对应的元素值置为该像素点的深度值；蒙版mask′用于标记空洞像素点，如果目标图像I′S中的像素点是空洞像素点，则在蒙版mask′中将对应的元素值为1，如果是非空洞像素点，则在蒙版mask′将中对应的元素值置为0；S4：根据非空洞矩阵M′S进行空洞检测并对检测到的空洞进行膨胀，将得到的矩阵作为前景抑制蒙版mask′FR；S5：采用步骤S1.3中同样方法将目标图像I′S的各个通道矩阵和蒙版mask′分别转化为batch_size×M′×N′×1的张量，其中M′×N′表示目标图像I′S的尺寸，然后依次拼接得到batch_size×M′×N′×(L+1)的张量R，然后根据以下本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的DIBR系统空洞填充方法，其特征在于，包括以下步骤：S1：采用以下方法生成训练样本：S1.1：收集一批参考图像

【技术特征摘要】
1.一种基于生成对抗网络的DIBR系统空洞填充方法，其特征在于，包括以下步骤：S1：采用以下方法生成训练样本：S1.1：收集一批参考图像及对应的深度图像Dt，t＝1,2,…,K，K表示参考图像数量；S1.2：将每幅参考图像和深度图像Dt进行三维图像变换，得到对应的目标图像并生成与目标图像相同尺寸的蒙版maskt，蒙版maskt用于标记空洞像素点，如果目标图像中的像素点是空洞像素点，则在蒙版maskt中对应的像素值为1，如果是非空洞像素点，则在蒙版maskt中对应的像素值为0；S1.3：将每幅参考图像的各个通道和对应的蒙版maskt分别转化为batch_size×Mt×Nt×1的张量，然后依次拼接得到batch_size×Mt×Nt×(L+1)的张量作为对应的训练样本，其中batch_size表示批尺寸，Mt×Nt表示参考图像的尺寸，L表示参考图像的通道数；S2：采用步骤S1生成的训练样本对生成对抗网络进行训练，得到用于DIBR系统空洞填充的生成模型；S3：对于经参考图像I′R进行图像三维变换得到的待空洞填充的目标图像I′S，生成与目标图像I′S相同尺寸的非空洞矩阵M′S和蒙版mask′，其中非空洞矩阵M′S用于区分目标图像I′S中的非空像素点和空洞像素点，对于目标图像I′S中的像素点是空洞像素点，则在非空洞矩阵M′S中将对应的元素值置为-1，反之，如果是非空洞像素点，则在非空洞矩阵M′S中将对应的元素值置为该像素点...

【专利技术属性】
技术研发人员：刘然，赵洋，肖迪，郑杨婷，刘亚琼，陈希，张艳珍，
申请(专利权)人：成都美律科技有限公司，重庆大学，
类型：发明
国别省市：四川,51