基于多视图信息交互的光场图像超分辨率网络生成方法技术

本发明专利技术公开了一种基于多视图信息交互的光场超分辨率网络生成方法，属于图像超分辨率重构技术领域，为了解决光场图像空间分辨率不足的问题。本发明专利技术采用了对抗生成网络作为网络的整体结构来提高网络的性能。针对光场数据的特殊性采用了分解核卷积，来提取光场图像的空间角度信息，同时与通道注意力机制结合，形成基于分解核的通道注意力残差模块。所提网络的生成器中采用了多个分解核通道注意力残差模块串联，并在该部分引入输入密集残差结构，实现特征提取。而判别器中则同样使用分解核卷积来提取特征，输出最终判别结果。该网络能提取光场数据中的更丰富的信息，来实现光场超分辨率重建。率重建。率重建。

【技术实现步骤摘要】
基于多视图信息交互的光场图像超分辨率网络生成方法


[0001]本专利技术属于计算成像
，特别是涉及一种基于多视图信息交互的光场图像超分辨率网络生成方法。

技术介绍

[0002]随着时代技术的发展，相机成像领域也在迅速的发展，传统的相机在拍摄物体时，所记录的只有光线的2D投影，从而丢失了大量光场的空间角度信息，为了获取这些缺失的信息，往往需要在不同的位置对场景进行多次拍摄，从而得到多视角图像。与传统相机相比，光场相机只需一次拍摄即可得到场景的多视角图像，能同时获取光场的空间和角度信息，并且经过处理后能够得到场景的深度信息、重聚焦视角图等，在成像效率上比传统相机要高，但光场相机的角度信息获取的代价是牺牲了单个视角图的空间分辨率，空间分辨率的低下对之后的各种数据处理都会有不小的影响，因此针对光场图像的超分辨率技术具有重要的意义。
[0003]近些年来，由于卷积神经网络(Convolutional Neural Network,CNN)的发展和光场数据集的出现，基于深度学习的方法在光场重建这方面有了一个良好的性能。2016年，Yoon等人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图信息交互的光场超分辨率网络生成方法，其特征在于：网络生成器和判别器的输入均为光场的原始4维数据，即角度分辨率U
×
V，空间分辨率W
×
H；网络的生成器先通过3
×
3空间卷积和8个基于分解核的通道注意力残差模块，并引入输入图像连接和密集残差连接，实现特征提取；再用2个角度卷积实现特征融合，最后采用亚像素卷积完成空间分辨率上采样；生成器输出的超分辨率光场图像和原高分辨率光场图像再分别送入判别器，先通过8层分解核卷积提取图像特征，最后经过一个平均池化层和两个1
×
1卷积输出判别结果。2.根据权利要求1所述的基于多视图信息交互的光场超分辨率网络生成方法，其特征在于：分解核卷积的具体设计为：输入光场图像的数据维度为五维数据(u，v，w，h，c)，c表示通道数；经过降维处理后得到光场图像的各个低维子空间，认为维度表现为(u
×
v，w，h，c)的光场数据为子孔径图像，u
×
v认为是视角图像批次，也称作空间子空间；同样，维度表现为(w
×
h，u，v，c)的光场数据为角度子空间，维度表现为(u
×
h，w，v，c)、(w
×
v，u，h，c)、(v
×
h，u，w，c)、(w
×
u，h，v，c)的光场数据为EPI子空间，共六种子空间，分解核的操作即为将依次光场数据降维至各个子空间后，对2和3维度的数据进行2D卷积操作，具体可用以下公式表示：DKConv＝k
h，v
(k
u，w
(k
u，h
(k
w，v
(k
u，v
(k
w，h
(L))))))其中，L表示光场的原始五维数据，k
w，h
表示对空间子空间进行卷积，该卷积也称作空间卷积；k
u，v
表示对角度子空间进行卷积，该卷积也成为角度卷积，k
w，v
、k
u，h
、k
u，w
、k
h，v
表示对EPI子空间进行卷积，DKConv表示分解核；具体的卷积操作可以用以下公式表示：其中，代表2D卷积操作，W代表相应2D卷积的权重，代表原始光场五维数据L变形的相应子空间，f(
·
)代表Relu激活函数操作；代表对光场数据进行变形并在维度(d1，d2)上进行卷积的操作。3.根据权利要求1所述的基于多视图信息交互的光场超分辨率网络生成方法，其特征在于：基于分解核的通道注意力残差模块的结构为：首先在该通道注意力残差模块前放一个1
×
1的分解核卷积作为瓶颈层，将通道注意力残差模块的输入通道数变至预设大小，经过3
×
3分解核卷积的特...

【专利技术属性】
技术研发人员：杨永祺，周树波，
申请(专利权)人：东华大学，
类型：发明
国别省市：