基于生成对抗网络的光场图像超分辨率模型及其训练方法技术

基于生成对抗网络的光场图像超分辨率模型，包括生成网络和判别网络,所述生成网络包括初始特征提取模块、特征聚合模块和上采样模块；所述初始特征提取模块包括顺序连接的1个三维卷积层和多个加深卷积层；所述特征聚合模块由空间特征聚合模块和角度特征聚合模块构成，所述上采样模块包括顺序连接的第一卷积层、亚像素卷积层、激活层和第二卷积层；所述判别网络的作用为判别所述生成网络的生成图像与真实图像之间的差别，辅助生成网络模型进行训练。本发明专利技术通过对抗学习的方式可以不断提升图像生成质量，生成的图像在视觉效果上比其它现有光场模型更好，高频信息更丰富。高频信息更丰富。高频信息更丰富。

【技术实现步骤摘要】
基于生成对抗网络的光场图像超分辨率模型及其训练方法


[0001]本专利技术涉及光场图像处理领域，具体为一种基于生成对抗网络的光场图像超分辨率模型及其训练方法。

技术介绍

[0002]随着成像设备的不断发展，光场成像已经成为一种可以从真实场景捕获更丰富视觉信息的技术。与传统成像设备相比，光场相机可以从各方向收集空间中的光线信息，通过一次曝光即可获得当前场景的四维光场信息。这种特性使光场相机具有很广泛的应用：图像捕获后的光场重聚焦、基于光场信息的深度估计和基于光场相机图像的三维渲染等。由于光场相机特殊的设计结构，使得其成像分辨率受到传感器分辨率的限制，所采集光场的角度分辨率和空间分辨率存在相互制约的关系，需在两者之间做合理的平衡，这就导致光场相机图像的空间分辨率普遍较低，不足以满足当前市场上的应用需求。
[0003]要提升光场图像空间分辨率主要有两种方法：第一就是升级光场相机硬件，提高图像传感器的像元数目的同时相应地提高微透镜阵列中微透镜的数量，或者提高图像传感器的像元密度；第二则是通过图像处理的相关算法提升光场相机的空间分辨率。现有的基于算法的光场图像超分辨方法可以分为基于传统的方法和基于深度学习的方法。传统的光场图像超分辨方法利用深度或视差估计技术进行建模，然后将超分辨表述为一个优化问题。基于深度学习的方法利用跨视图冗余和视图之间的互补信息来学习从低分辨率视图到高分辨率视图的映射。近年来基于深度学习的方法相比于传统方法在效果上有了显著的提升，但是现有的无论是卷积还是Transformer网络,大多通过最小化均方误差重建高分辨率图像，产生较高峰值信噪比(Peak Signal to Noise Ratio,PSNR)，但此做法会使生成图像较为平滑，高频细节不够。

技术实现思路

[0004]为克服现有技术存在的缺陷，本专利技术公开了一种基于生成对抗网络的光场图像超分辨率模型及其训练方法。
[0005]本专利技术所述基于生成对抗网络的光场图像超分辨率模型，包括生成网络和判别网络,所述生成网络包括初始特征提取模块、特征聚合模块和上采样模块；
[0006]所述初始特征提取模块包括顺序连接的1个三维卷积层和多个加深卷积层，所述加深卷积层包括1个三维卷积层和1个激活层；
[0007]所述特征聚合模块由空间特征聚合模块和角度特征聚合模块构成，
[0008]所述空间特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第一多层感知层、第一归一化层、第一多头自注意机制、第二归一化层和第二多层感知层，所述第一多头自注意机制的输出端与第一多层感知层的输出端进行跳跃连接，第二多层感知层的输出端和第二归一化层的输入端进行跳跃连接；跳跃连接即相加操作。
[0009]所述角度特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第三归一化层、第二多头自注意机制，第四归一化层和第三多层感知层，所述第一多头自注意机制的输出端与第三归一化层的输入端进行跳跃连接，第三多层感知层的输出端和第四归一化层的输入端进行跳跃连接；
[0010]所述上采样模块包括顺序连接的第一卷积层、亚像素卷积层、激活层和第二卷积层；
[0011]所述判别网络的作用为判别所述生成网络的生成图像与真实图像之间的差别。
[0012]优选的，所述判别网络使用视觉Transformer领域网络架构构造，包括顺序连接的分块模块、通道变换模块、STB模块、块融合模块和STB模块，所述STB模块包括依次连接的第五归一化层、第三多头自注意层、第六归一化层和第四多层感知层。
[0013]优选的，所述特征聚合模块有多个并顺序连接在初始特征提取模块和上采样模块之间。
[0014]基于生成对抗网络的光场图像超分辨率模型训练方法，包括如下步骤：
[0015]步骤1：准备开源光场训练数据集；
[0016]步骤2：对训练数据集进行预处理操作；
[0017]步骤3：预处理后的训练数据进入初始特征提取模块进行初始特征提取；得到提取后的初始特征；
[0018]步骤4.进行空间特征聚合，这一步骤分为两部分：Transformer部分和卷积部分，Transformer部分具体为：
[0019]步骤41.将提取后的初始特征做展开和边界填充；
[0020]步骤42.展开填充后的数据送入第一多层感知层中，实现局部特征聚合后重构为空间特征序列；
[0021]步骤43.对空间特征序列执行二维位置编码，得到空间位置编码并将其添加到空间特征序列中；
[0022]步骤44.求取空间特征序列的多头注意结果
[0023]T
′
Spa
＝MHSA(Q
S
，K
S
，V
S
)+T
Spa
[0024]则空间多头输出结果
[0025]且查询值空间矩阵Q
S
，索引值空间矩阵K
S
和内容值空间矩阵V
S
按照下式计算
[0026]Q
S
＝K
S
＝LN(T
Spa
+P
S
)
[0027]V
S
＝T
Spa
[0028]其中T
Spa
表示空间特征序列，MLP表示多层感知操作，LN表示归一化操作，MHSA表示多头自注意机制；
[0029]将空间Transformer模块输出结果重构为与输入的数据大小相同的数据进入下一步骤；
[0030]步骤45.空间特征聚合的卷积部分：将步骤3得到的提取后的初始特征做卷积，继续提取特征；
[0031]步骤46.将空间特征聚合的Transformer部分结果和步骤45得到的卷积部分
结果相加，继续进行下一步骤；
[0032]步骤5.进行角度特征聚合，这一步骤分为两部分：Transformer部分和卷积部分，Transformer部分具体为：
[0033]步骤51.将步骤46输出的数据按照角度维度展开成角度特征序列T
Ang
；
[0034]步骤52.对角度特征序列执行二维位置编码，得到角位置编码P
A
并将其添加到添加到角度特征序列T
Ang
中；
[0035]步骤53.求取角度特征序列的多头注意结果
[0036]T
′
Ang
＝MHSA(Q
A
，K
A
，V
A
)+T
Ang
[0037][0038]查询值角度矩阵Q
A
、索引值角度矩阵K
A
、内容值角度矩阵V
A
按照下式计算
[0039]Q
A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于生成对抗网络的光场图像超分辨率模型，其特征在于,包括生成网络和判别网络,所述生成网络包括初始特征提取模块、特征聚合模块和上采样模块；所述初始特征提取模块包括顺序连接的1个三维卷积层和多个加深卷积层，所述加深卷积层包括1个三维卷积层和1个激活层；所述特征聚合模块由空间特征聚合模块和角度特征聚合模块构成；所述空间特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第一多层感知层、第一归一化层、第一多头自注意机制、第二归一化层和第二多层感知层，所述第一多头自注意机制的输出端与第一多层感知层的输出端进行跳跃连接，第二多层感知层的输出端和第二归一化层的输入端进行跳跃连接；所述角度特征聚合模块包括卷积部分和Transformer部分，卷积部分包括卷积层和激活层，Transformer部分包括顺序排列的第三归一化层、第二多头自注意机制，第四归一化层和第三多层感知层，所述第一多头自注意机制的输出端与第三归一化层的输入端进行跳跃连接，第三多层感知层的输出端和第四归一化层的输入端进行跳跃连接；所述上采样模块包括顺序连接的第一卷积层、亚像素卷积层、激活层和第二卷积层；所述判别网络的作用为判别所述生成网络的生成图像与真实图像之间的差别。2.如权利要求1所述超分辨率模型，其特征在于，所述判别网络使用视觉Transformer领域网络架构构造，包括顺序连接的分块模块、通道变换模块、STB模块、块融合模块和STB模块，所述STB模块包括依次连接的第五归一化层、第三多头自注意层、第六归一化层和第四多层感知层。3.如权利要求1所述超分辨率模型，其特征在于，所述特征聚合模块有多个并顺序连接在初始特征提取模块和上采样模块之间。4.基于生成对抗网络的光场图像超分辨率模型训练方法，其特征在于，包括如下步骤：步骤1：准备开源光场训练数据集；步骤2：对训练数据集进行预处理操作；步骤3：预处理后的训练数据进入初始特征提取模块进行初始特征提取；得到提取后的初始特征；步骤4.进行空间特征聚合，这一步骤分为两部分：Transformer部分和卷积部分，Transformer部分具体为：步骤41.将提取后的初始特征做展开和边界填充；步骤42.展开填充后的数据送入第一多层感知层中，实现局部特征聚合后重构为空间特征序列；步骤43.对空间特征序列执行二维位置编码，得到空间位置编码P
S
并将其添加到空间特征序列中；步骤44.求取空间特征序列的多头注意结果T
′
Spa
＝MHSA(Q
S
，K
S
，V
S
)+T
Spa
则空间多头输出结果且查询值空间矩阵Q
s
,索引值空间矩阵K
s
和内容值空间矩阵V
s
按照下式计算
Q
S
＝K
S
＝LN(T
Spa
+P
S
)V
S
＝T
Spa
其中T
Spa
表示空间特征序列，MLP表示多层感知操作，LN表示归一化操作，MHSA表示多头自注意机制；将空间Transformer模块输出结果重构为与输入的数据大小相同的数据进入下一步骤；步骤45.空间特征聚合的卷积部分：将步骤3得到的提取后的初始特征做卷积，继续提取特征；步骤46.将空间特征聚合的Transformer部分结果和步骤45得到的卷积部分结果相加，继续进行下一步骤；步骤5.进行角度特征聚合，这一步骤分为两部分：Transformer部分和卷积部分，Transformer部分具体为：步骤51.将步骤46输出的数据按照角度维度展开成角度特征序列T
Ang
；步骤52.对角度特征序列执行二维位置编码，得到角位置编码P
A
并将其添加到角度特征序列T<...

【专利技术属性】
技术研发人员：梁志清，谢茹芸，李丰旭，龙雨馨，张泓宇，张怀元，伊腾达，张鸿波，刘子骥，郑兴，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：