一种虚拟视点合成方法、系统、介质、设备及终端技术方案

本发明专利技术属于三维显示技术领域，公开了一种虚拟视点合成方法、系统、介质、设备及终端，通过参考色彩图及深度图经3D

【技术实现步骤摘要】
一种虚拟视点合成方法、系统、介质、设备及终端


[0001]本专利技术属于三维显示
，尤其涉及一种虚拟视点合成方法、系统、介质、设备及终端。

技术介绍

[0002]目前，随着三维显示技术的不断进步，普通的2D视频逐渐向3D视频发展。作为三维显示的关键技术，基于深度图像的虚拟视点绘制技术(Depth Image Based Rendering，DIBR)具有绘制速度快、传输数据量小、存储空间少等优点。另外，由于深度图的质量以及物体间的遮挡，绘制后的图像仍然存在空洞、重叠、伪影等问题，导致虚拟视点图像质量整体下降。为此，人们提出了许多改进的DIBR算法进行虚拟视点合成，包括在DIBR前对深度图进行预处理减少空洞数量，DIBR后利用图像信息填补空洞，将深度信息引入到图像融合减少伪影和重叠。但是这些方法的往往需要复杂的处理手段，而且模型处理速度极慢。
[0003]随着硬件性能和深度学习技术的发展，深度学习技术在对图像高层语义表现出了强悍的理解力和感知力，很多基于深度学习的方法也被应用于虚拟视图合成。但是直接使用现有的深度学习进行空洞填补会导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟视点合成方法，其特征在于，所述虚拟视点合成方法包括两个相互独立的阶段：第一阶段由空洞填补模块多尺度融合部分卷积组成，用于对不规则空洞进行修复；第二阶段由图像优化模块组成，用于去除虚拟视图中的重叠、伪影和部分卷积带来的局部色差。2.如权利要求1所述的虚拟视点合成方法，其特征在于，所述虚拟视点合成方法包括以下步骤：步骤一，通过参考色彩图及深度图经3D
‑
Warping合成虚拟视图；步骤二，将带有空洞、伪影和重叠的虚拟视图经空洞填补模块空洞填补；步骤三，将填补空洞后的图像经图像优化模块进行图像质量的整体优化，输出虚拟视图。3.如权利要求2所述的虚拟视点合成方法，其特征在于，所述步骤一中的虚拟视图合成包括：虚拟视图的生成的核心是三维图像变换3D
‑
Warping，包括反向投影和重投影，利用已知参考视图的深度信息将色彩图像逆投影到3D世界坐标系中，并将世界坐标中的点重投影到虚拟视点平面；3D
‑
Warping的方程表示如以下公式所示：P
w
＝(K
r
R
r
)
‑1(d
r
p
r
+K
r
t
r
)；d
v
p
v
＝K
v
R
v
P
w
‑
K
v
t
v
；其中，P
w
＝(X
w
,Y
w
,Z
w
)
T
表示3D世界坐标中像素点的坐标；p
r
＝(u
r
,v
r
)和p
v
＝(u
v
,v
v
)分别表示参考视点平面和虚拟视点平面的坐标；K
r
、R
r
、t
r
和K
v
、R
v
、t
v
分别表示参考视点对应摄像机和虚拟视点对应摄像机)的内参矩阵、旋转矩阵和平移矩阵。d
r
和d
v
分别代表参考视点和虚拟视点在p
r
和p
v
坐标对应的深度值。4.如权利要求2所述的虚拟视点合成方法，其特征在于，所述步骤二中的空洞填补网络模块包括编码、解码器和多尺度融合两个部分；编码、解码器使用类U
‑
Net的网络结构并以PConv作为网络中的卷积方式，PConv的运算表示如下式所示：其中，W是卷积的权重，b是卷积的偏差，X是当前卷积窗口的特征值，M是当前的二进制掩码，1是大小与M相同，元素全为1的矩阵；每次PConv的输出值均取决于输入的有效像素值，掩码在每次PConv操作后更新，掩码自动更新机制如下式所示：其中，编码器共采用7层部分卷积层，除第一层使用多尺度部分卷积外，均采用基本PConv，基本PConv的内核大小分别为5、5、3、3、3、3，通道数分别为128，256，512，512，512，512，步长大小均为2；解码器共含有7个上采样层，每层的扩张系数为2，解码器中PConv的内
核大小均为3，通道数分别为512，512，512，256，128，64，3，步长大小均为1；编码器和解码器分别使用ReLU和Leaky ReLU作为激活函数，除去编码器的第一层和解码器的最后一层外，每个PConv和激活函数之间使用批量归一化层BN；同时在对应深度的编码器和解码器间加入跳跃连接以定位上采样的特征；利用多尺度卷积融合提取和表示多尺度特征，多尺度融合是将浅层的低级特征信息与编码器的深层信息融合，编码器的第一个卷积由卷积核大小分别为3、5、7的多尺度卷积构成；将多个卷积核卷积得到的特征图拼接形成包含更多特征信息的特征图后，通过与深层特征连接将浅...

【专利技术属性】
技术研发人员：魏敏，张应驰，朱烨，文武，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：