语境特征融合的虚拟视点合成图像空洞填充方法技术

本发明专利技术方法公开了语境特征融合的虚拟视点合成图像空洞填充方法。本发明专利技术方法首先以参考视图、参考深度图和相机信息为单位，检测出深度图的前景信息并进行前景扩散，然后根据3D变换和参考信息绘制出虚拟视点图像，最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素。本发明专利技术根据3D

【技术实现步骤摘要】
语境特征融合的虚拟视点合成图像空洞填充方法


[0001]本专利技术属于图像处理
，具体是虚拟视点合成
，涉及一种语境特征融合的虚拟视点合成图像空洞填充方法。

技术介绍

[0002]随着虚拟现实、全息投影及3D视频等技术在我们生活的应用发展。人们对具有逼真效果的3D视频影像的观看需求越来越多。目前3D视频的绘制和显示技术并不完善，因其视频质量的原因，导致人们在长时间观看质量较低的3D图像、视频时会产生视觉上的不舒适。3D视频的绘制技术主要使用的是基于深度图的绘制技术(DIBR，Depth Image Based Rendering)。DIBR以其在绘制过程中速度快、多视点自由转化、网络带宽小等特点已经成为虚拟视点合成中最主要的技术。在3D视频绘制技术中，深度图是绘制虚拟视点的重要部分，深度能够指引出虚拟视点中像素的位置信息，提高像素变换之后的位置准确性。然而，DIBR的关键问题是参考视图的前景遮挡和边缘图像缺失会导致绘制的虚拟视图出现大量的空洞。传统的空洞填充算法使用块匹配的方式对空洞进行修复，但会导致图像缺乏纹理一致性且耗时较长。
[0003]近些年来，深度学习的研究发展已经在许多领域展现了卓越的性能。其中生成对抗网络的发展为虚拟视点合成的图像质量提升提供了一个新的思路。这些方法的一个显著优点是可以通过学习大量数据中的图像特征生成出合理的视觉效果，特别是在静态的数据集上能获取不错的性能。另外，针对虚拟视点绘制的图像，还应该考虑到运动的前景信息，即不同帧的空洞区域是紧贴前景并随之发生变化。

技术实现思路

[0004]本专利技术的目的是针对虚拟视点合成技术研究尚不成熟的问题，提供一种结合语境特征融合的虚拟视点合成图像空洞生成方法。本专利技术方法不仅能有效生成空洞区域像素，而且进行了同一空洞区域的上下文特征融合，减少了前景信息的干扰。
[0005]本专利技术方法首先以参考视图、参考深度图和相机信息为单位，检测出深度图的前景信息并进行前景扩散，然后根据3D变换和参考信息绘制出虚拟视点图像，最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素。
[0006]本专利技术方法具体步骤如下：
[0007]步骤(1)通过canny边缘检测方法识别出深度图的前景边缘轮廓，得到边缘轮廓图；根据边缘轮廓图对深度图的前景物体进行边缘扩散，得到深度图的前景扩散图。
[0008](1
‑
1)首先采用canny边缘检测方法对参考序列的深度图D进行前景边缘检测，获得深度图的边缘轮廓图E；其中，canny算子检测前景边缘为成熟的现有技术。
[0009](1
‑
2)对边缘轮廓图进行滤波操作，对于非连续且闭环的边缘像素置0处理；以边缘轮廓图中某一像素点的像素值E(i,j)是否等于255为判断边界条件，如果E(i,j)＝255，则该像素点(i,j)为中心像素点，对中心像素点两侧的像素点在水平方向上向外侧扩散2个
像素点，得到深度图的前景扩散图。
[0010]步骤(2)基于3D
‑
warping技术在参考视图、预处理的深度图及相机信息，获取虚拟视点图像。
[0011]3D
‑
warping技术涉及四个坐标系，分别是：像素坐标系(u,v)、图像坐标系(x,y)、摄像机坐标系(Cam
‑
X
c
,Y
c
,Z
c
)、世界坐标系(O
‑
W
x
,W
y
,W
z
)。3D
‑
warping是将世界坐标系到摄像机坐标系做刚体运动，然后摄像机坐标系根据三角关系经焦距投影到摄像机成像平面上的像素坐标系，像素坐标系由于只表示图像中行列，所以需要转换到图像坐标系以表示具体的物理位置。
[0012]设M＝[X,Y,Z,1]T
为三维空间中的某个像素的世界坐标，m＝[u,v,1]T
为齐次坐标系下摄像机坐标系P的像素坐标，转化公式为sm＝PM；其中，s是归一化因子，T表示转置，P＝K[R|t]是由相机内参矩阵K、相机旋转矩阵R和相机平移矩阵t得到的相机外参矩阵。
[0013]通过参考视点的已知信息得到图像在世界坐标系M中的坐标信息，转化公式为其中，下标r表示矩阵信息来自参考视点的相机，上标
‑
1表示对矩阵求逆矩阵。
[0014]根据虚拟视点的相机外参矩阵信息P
v
＝K
v
[R
v
|t
v
]和世界坐标系M中的坐标信息得到虚拟视点的像素信息，转化公式为s
v
[x,y,1]T
＝K
v
R
v
[X,Y,Z,1]T
+K
v
t
v
；其中，下标v表示矩阵信息来自虚拟视点的相机。
[0015]根据求出的图像坐标信息和参考视点对应的图像坐标下的像素信息即可得到带有空洞和裂缝的虚拟视点图像。针对虚拟视点图像的裂缝，使用中值滤波进行处理，得到只带有空洞的虚拟视点图像V。采用基于深度图的绘制技术，属于成熟的现有技术。
[0016]步骤(3)在生成对抗网络训练提取图像的卷积特征。
[0017](3
‑
1)使用微软3DVideos
‑
distrib数据集作为网络模型的训练集和测试集。其中，网络模型由两个阶段的生成对抗网络组成，网络模型的输入图像都分割为256
×
256分辨率的图像，对应的空洞掩膜图MASK使用自由形状的掩膜。前阶段的网络通过简单的编解码层在空洞区域生成了大致的纹理信息，后阶段的网络以前阶段的输出和同样的空洞掩膜图MASK作为输入结合扩张卷积和注意力层进行进一步网络训练。经过多层的卷积编解码学习到了图像的像素特征。
[0018](3
‑
2)在网络训练中采用的掩膜图都是自由形状的掩膜，相对于常规的居中的矩阵掩膜，能在训练过程中减少对前景对象的训练，能更好的生成背景区域的像素。考虑到卷积层计算量大，对于分辨率为1024
×
768的虚拟视点数据集将有大量的网络参数进行训练，在后阶段网络的结合注意力机制的编码路线和结合扩张卷积的编码路线输入、输出部分整合卷积层，以减少计算量和网络参数，加快模型训练时间。
[0019](3
‑
3)使用两种损失函数，获取更为逼真的像素信息。
[0020]在两阶段的解码部分添加像素级的损失函数L2＝|Φ
n
(I
gt
)
‑
Φ
n
(I
pre
)|2，I
gt
和I
pre
分别是真实图像和该阶段生成的图像。
[0021]在后阶段的编码部分还加入了感知损失函数通过Keras库中的预训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.语境特征融合的虚拟视点合成图像空洞填充方法，其特征在于：首先以参考视图、参考深度图和相机信息为单位，检测出深度图的前景信息并进行前景扩散，然后根据3D变换和参考信息绘制出虚拟视点图像，最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素；步骤如下：步骤(1)通过canny边缘检测方法识别出深度图的前景边缘轮廓，得到边缘轮廓图；根据边缘轮廓图对深度图的前景物体进行边缘扩散，得到深度图的前景扩散图；步骤(2)基于3D
‑
warping技术在参考视图、预处理的深度图及相机信息，获取虚拟视点图像；步骤(3)在生成对抗网络训练提取图像的卷积特征；步骤(4)使用具有语境特征融合的注意力机制，重建空洞区域的特征。2.如权利要求1所述的语境特征融合的虚拟视点合成图像空洞填充方法，其特征在于：步骤(1)具体是：(1
‑
1)首先采用canny边缘检测方法对参考序列的深度图D进行前景边缘检测，获得深度图的边缘轮廓图E；(1
‑
2)对边缘轮廓图进行滤波操作，对于非连续且闭环的边缘像素置0处理；以边缘轮廓图中某一像素点的像素值E(i,j)是否等于255为判断边界条件，如果E(i,j)＝255，则该像素点(i,j)为中心像素点，对中心像素点两侧的像素点在水平方向上向外侧扩散2个像素点，得到深度图的前景扩散图。3.如权利要求2所述的语境特征融合的虚拟视点合成图像空洞填充方法，其特征在于：步骤(2)中所述的3D
‑
warping技术涉及四个坐标系，分别是：像素坐标系(u,v)、图像坐标系(x,y)、摄像机坐标系(Cam
‑
X
c
,Y
c
,Z
c
)、世界坐标系(O
‑
W
x
,W
y
,W
z
)；设M＝[X,Y,Z,1]
T
为三维空间中的某个像素的世界坐标，m＝[u,v,1]
T
为齐次坐标系下摄像机坐标系P的像素坐标，转化公式为sm＝PM；其中，s是归一化因子，T表示转置，P＝K[R|t]是由相机内参矩阵K、相机旋转矩阵R和相机平移矩阵t得到的相机外参矩阵；通过参考视点的已知信息得到图像在世界坐标系M中的坐标信息，转化公式为其中，下标r表示矩阵信息来自参考视点的相机，上标
‑
1表示对矩阵求逆矩阵；根据虚拟视点的相机外参矩阵信息P
v
＝K
v
[R
v
|t
v
]和世界坐标系M中的坐标信息得到虚拟视点的像素信息，转化公式为s
v
[x,y,1]
T
＝K
v
R
v
[X,Y,Z,1]
T
+K
v
t
v
；其中，下标v表示矩阵信息来自虚拟视点的相机；根据求出的图像坐标信息和参考视点对应的图像坐标下的像素信息即可得到带有空洞和裂缝的虚拟视点图像；针对虚拟视点图像的裂缝，使用中值滤波进行处理，得到只带有空洞的虚拟视点图像V。4.如权利要求3所述的语境特征融合的虚拟视点合成图像空洞填充方法，其特征在于：步骤(3)具体是：(3
‑
1)使用微软3DVideos

【专利技术属性】
技术研发人员：蔡毛毛，周洋，林坤，殷海兵，陈平安，黄晓峰，杨阳，俞定国，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：