一种基于异构式成像的密集光场图像重建方法技术

本发明专利技术公开了一种基于异构式成像的密集光场图像重建方法，其构建了共享网络参数的前向光场重建模块和后向光场重建模块，其中前向光场重建模块是从输入数据中重建密集光场图像，后向光场重建模块是从由前向光场重建模块所生成的数据中重建原始输入数据，进而二者构成循环一致性约束以实现无监督学习；以上两个重建模块均包含深度估计器、光流估计器和遮挡预测器，首先利用深度估计器和光流估计器来从输入数据中估计场景的深度信息以及几何关系；之后利用绘制技术以合成初始的密集光场图像；最后，通过遮挡预测器来修复初始的密集光场图像中的绘制误差以提高重建质量；优点是能有效地从异构式成像数据中重建密集光场图像，并恢复角度一致性。复角度一致性。复角度一致性。

【技术实现步骤摘要】
一种基于异构式成像的密集光场图像重建方法


[0001]本专利技术涉及一种光场图像重建技术，尤其是涉及一种基于异构式成像的密集光场图像重建方法。

技术介绍

[0002]光场，作为自由空间中光线集合的完备表示，其能很好地记录场景的三维信息，正受到学术界和工业界的广泛关注。与之同时，光场所包含的丰富信息促发了许多视觉应用，如显著对象检测、捕获后重聚焦、深度推断等等。
[0003]手持式光场相机通过在主镜头和成像传感器之间插入微透镜阵列，以在单次拍摄中获取4D光线信息(即空间信息和角度信息)。但受限于传感器分辨率，获取的光场图像存在空间和角度分辨率相互制约的问题。为缓解这个问题，已有研究者提出一些计算成像方法来从稀疏视图中重建密集采样的光场图像。早期的工作是探索光场图像在变换域，如连续傅里叶域、剪切波域的稀疏特性来实现密集光场图像重建。随着深度学习在计算机视觉领域的广泛成功，许多基于深度学习的密集光场图像重建方法已被开发来提升重建精度。
[0004]一般而言，密集光场图像重建方法可分为深度依赖与深度无关两类。前者是估计深度/视差图作为辅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构式成像的密集光场图像重建方法，其特征在于包括以下步骤：步骤1：选取一幅用于测试的由异构式成像系统中的光场相机所采集的光场图像，其空间分辨率为W
×
H，角度分辨率为V
×
U，将其称之为参考光场图像，并记为L
ref
，以及对应的一幅由异构式成像系统中的2D数码相机所采集的2D图像，其分辨率为W
×
H，将其称之为目标2D图像，并记为I
tar
；步骤2：构建一个前向光场重建模块：前向光场重建模块接收一幅空间分辨率为W
×
H且角度分辨率为V
×
U的参考光场图像L
ref
，以及一幅分辨率为W
×
H的目标2D图像I
tar
，前向光场重建模块输出一幅空间分辨率为W
×
H且角度分辨率为V
×
U的重建的目标光场图像即密集光场图像，记为R
tar
；前向光场重建模块的处理过程为：步骤2_1：构建一个卷积神经网络作为深度估计器：深度估计器由依次连接的第一卷积块、第二卷积块和第三卷积块组成；在第一卷积块的输入端前，对L
ref
中的所有子孔径图像在通道维进行级联操作，级联结果等价于V
×
U幅宽度为W且高度为H的子孔径图像；第一卷积块的输入端接收级联结果，第一卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F
d1
；第二卷积块的输入端接收F
d1
中的所有特征图，第二卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F
d2
；第三卷积块的输入端接收F
d2
中的所有特征图，第三卷积块的输出端输出一幅宽度为W且高度为H的估计的光场深度图，将其记为D
ref
；步骤2_2：将步骤2_1得到的估计的光场深度图D
ref
进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为然后利用深度阈值Th，对进行前背景分割以得到前背景分割掩膜图，将其记为M
ref,FD
；其中，Th∈[0.5,1]；步骤2_3：构建一个卷积神经网络作为光流估计器：光流估计器包括前景光流估计网络、背景光流估计网络和基于前背景分割掩膜图的融合三部分；对于前景光流估计网络，其由依次连接的第四卷积块、第五卷积块和第六卷积块组成；第四卷积块的输入端接收对L
ref
的中心子孔径图像和I
tar
进行级联操作得到的级联结果，第四卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F
o1,f
；第五卷积块的输入端接收F
o1,f
中的所有特征图，第五卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F
o2,f
；第六卷积块的输入端接收F
o2,f
中的所有特征图，第六卷积块的输出端输出一幅宽度为W且高度为H的估计的前景水平光流图和一幅宽度为W且高度为H的估计的前景垂直光流图，对应记为O
ref,f1
和O
ref,f2
；对于背景光流估计网络，其由依次连接的第七卷积块、第八卷积块和第九卷积块组成；第七卷积块的输入端接收对L
ref
的中心子孔径图像和I
tar
进行级联操作得到的级联结果，第七卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F
o1,b
；第八卷积块的输入端接收F
o1,b
中的所有特征图，第八卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F
o2,b
；第九卷积块的输入端接收F
o2,b
中的所有特征图，第九卷积块的输出端输出一幅宽度为W且高度为H的估计的背景水平光流图和一幅宽度为W且高度为H的估计的背景垂直光流图，对应记为O
ref,b1
和O
ref,b2
；
对于基于前背景分割掩膜图的融合，其利用步骤2_2得到的前背景分割掩膜图M
ref,FD
来融合估计的前景水平光流图O
ref,f1
和估计的背景水平光流图O
ref,b1
，得到估计的水平光流图，记为O
ref1
；同样，利用步骤2_2得到的前背景分割掩膜图M
ref,FD
来融合估计的前景垂直光流图O
ref,f2
和估计的背景垂直光流图O
ref,b2
，得到估计的垂直光流图，记为O
ref2
；步骤2_4：利用步骤2_3得到的估计的水平光流图O
ref1
和估计的垂直光流图O
ref2
来对D
ref
进行基于光流的后向绘制，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为步骤2_5：利用步骤2_4得到的绘制后的光场深度图来对I
tar
进行基于深度的前向绘制，得到一幅空间分辨率为W
×
H且角度分辨率为V
×
U的初始的目标光场图像，将其记为步骤2_6：构建一个卷积神经网络作为遮挡预测器：遮挡预测器由依次连接的第十卷积层、第一改进空间角度卷积层、第二改进空间角度卷积层、第三改进空间角度卷积层、第十一卷积层和第十二卷积层组成；第十卷积层的输入端接收步骤2_5得到的第十卷积层的输出端输出64幅宽度为W
×
V且高度为H
×
U的特征图，将输出的所有特征图构成的集合记为F
p1
；第一改进空间角度卷积层的输入端接收F
p1
中的所有特征图，第一改进空间角度卷积层的输出端输出64幅宽度为W
×
V且高度为H
×
U的特征图，将输出的所有特征图构成的集合记为F
p2
；第二改进空间角度卷积层的输入端接收F
p2
中的所有特征图，第二改进空间角度卷积层的输出端输出64幅宽度为W
×
V且高度为H
×
U的特征图，将输出的所有特征图构成的集合记为F
p3
；第三改进空间角度卷积层的输入端接收F
p3
中的所有特征图，第三改进空间角度卷积层的输出端输出64幅宽度为W
×
V且高度为H
×
U的特征图，将输出的所有特征图构成的集合记为F
p4
；第十一卷积层的输入端接收F
p4
中的所有特征图，第十一卷积层的输出端输出64幅宽度为W
×
V且高度为H
×
U的特征图，将输出的所有特征图构成的集合记为F
p5
；第十二卷积层的输入端接收F
p5
中的所有特征图，第十二卷积层的输出端输出一幅宽度为W
×
V且高度为H
×
U的精细化后的光场图像，精细化后的光场图像进一步重组为空间分辨率为W
×
H且角度分辨率为V
×
U的重建的目标光场图像R
tar
；其中，第十卷积层的卷积核的尺寸为3
×
3、卷积扩张系数为1、卷积步长为1、输入通道数为1、输出通道数为64，第十一卷积层的卷积核的尺寸为3
×
3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为64，第十二卷积层的卷积核的尺寸为3
×
3、卷积扩张系数为1、卷积步长为1、输入通道数为64、输出通道数为1，第十卷积层和第十一卷积层采用的激活函数均为ReLU，第十二卷积层不采用激活函数；步骤3：构建一个后向光场重建模块，其结构与步骤2中构建的前向光场重建模块相同，并且与步骤2中构建的前向光场重建模块共享网络参数；后向光场重建模块接收一幅由前向光场重建模块所输出的空间分辨率为W
×
H且角度分辨率为V
×
U的重建的目标光场图像R
tar
，以及一幅空间分辨率为W
×
H且角度分辨率为V
×
U的参考光场图像L
ref
的中心子孔径图像，后向光场重建模块输出一幅空间分辨率为W
×
H且角度分辨率为V
×
U的重建的参考光场图像，记为R
ref
；后向光场重建模块的处理过程为：步骤3_1：利用步骤2_1构建的深度估计器来对R
tar
进行深度估计，得到一幅宽度为W且高度为H的估计的光场深度图，将其记为D
tar
；
步骤3_2：将步骤3_1得到的估计的光场深度图D
tar
进行像素归一化至[0,1]范围内，并将归一化后的光场深度图记为然后利用深度阈值Th，对进行前背景分割以得到前背景分割掩膜图，将其记为M
tar,FD
；步骤3_3：利用步骤2_3构建的光流估计器来对R
tar
的中心子孔径图像和L
ref
的中心子孔径图像进行光流估计，得到估计的水平光流图和估计的垂直光流图，对应记为O
tar1
和O
tar2
；步骤3_4：利用步骤3_3得到的估计的水平光流图O
tar1
和估计的垂直光流图O
tar2
来对D
tar
进行基于光流的后向绘制，得到一幅宽度为W且高度为H的绘制后的光场深度图，将其记为步骤3_5：利用步骤3_4得到的绘制后的光场深度图来对L
ref
的中心子孔径图像进行基于深度的前向绘制，得到一幅空间分辨率为W
×
H且角度分辨率为V
×
U的初始的参考光场图像，将其记为步骤3_6：利用步骤2_6构建的遮挡预测器来对步骤3_5得到的初始的参考光场图像进行精细化处理，精细化后的光场图像进一步重组为空间分辨率为W
×
H且角度分辨率为V
×
U的重建的参考光场图像R
ref
；步骤4：利用光度一致性假设来构造无监督的绘制损失，作为步骤2和步骤3中构建的深度估计器和光流估计器的训练损失；并利用L
ref
和步骤3_6中得到的重建的参考光场图像R
ref
来计算重建误差，以构成循环一致性约束，作为步骤2和步骤3中构建的遮挡预测器的训练损失；再根据上述训练损失来端到端地训练前向光场重建模块和后向光场重建模块；步骤5：在前向光场重建模块和后向光场重建模块训练结束后，得到训练有素的深度估计器、光流估计器和遮挡预测器；然后将L
ref
和I
tar
输入到前向光场重建模块中，测试得到空间分辨率为W
×
H且角度分辨率为V
×
U的重建的目标光场图像。2.根据权利要求1所述的一种基于异构式成像的密集光场图像重建方法，其特征在于所述的步骤2_1中，第一卷积块、第二卷积块和第三卷积块的结构相同，仅在输入和输出的通道数上有所区别，其包括依次连接的第一卷积层、第二卷积层和第三卷积层，第一卷积层的输入端为其所在的卷积块的输入端，第三卷积层的输出端为其所在的卷积块的输出端；在第一卷积块中，第一卷积层的输入端接收对L
ref
中的所有子孔径图像在通道维进行级联操作得到的级联结果，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为第二卷积层的输入端接收中的所有特征图，第二卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为第三卷积层的输入端接收中的所有特征图，第三卷积层的输出端输出64幅宽度为W且高度为H的特征图，这些特征图构成的集合即为F
d1
；在第二卷积块中，第一卷积层的输入端接收F
d1
中的所有特征图，第一卷积层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为第二卷积层的输入端接收中的所有...

【专利技术属性】
技术研发人员：陈晔曜，郁梅，徐海勇，蒋刚毅，
申请(专利权)人：宁波大学，
类型：发明
国别省市：