【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于深度学习的光场图像空间超分辨率的方法。
技术介绍
1、不同于传统摄像机，光场摄像机可以记录光线的位置和方向的信息，广泛应用于深度估计、三维重建、重聚焦、虚拟现实等需要多视角的
由于相机传感器的物理分辨率是固定的，因此无法同时得到高角度分辨率和高空间分辨率，光场摄像机成像与传统的单视图成像相比，空间分辨率较低，但角度信息较多。低空间分辨率的低分辨率图像阻碍了低分辨率图像的应用。因此，研究光场角超分辨率和空间超分辨率具有重要意义。
2、一张四维光场图像可以被分割成大量的子孔径图像(sais)，这些sais记录的场景视角略有不同。因此，光场图像中的sais是高度相关的。由于直接使用单幅超分辨率sisr方法，对于lf-ssr是无效的。利用视差之间的强角相关性是获取高质量lf-ssr的关键，同时保持光场图像的特定视差结构也是相当具有挑战性的。
3、传统的lf-ssr方法虽然已经为解决这一问题提供了思路。然而，由于这些方法通常需要手工制作图像先验(例如深度图)，因此重建质量相当有限。近年来，随着深度卷积神经网络的快速发展，一些基于学习的方法被提出，以低分辨率观测作为输入，相应的高分辨率光场图像作为真值来解决lf-ssr问题。张和王采用不同方向即垂直、水平和对角线方向叠加sais来重建高分辨率sais。最近，金等人采用lf-ato方法，提出了一种all-to-one策略，利用空间角可分离卷积来保持结构一致性。
4、虽然这些方法表现出了显著的性能和效率，但有两个
技术实现思路
1、针对现有技术的不足，本专利技术设计一种基于深度学习的光场图像空间超分辨率的方法；提出一种新的lf-ssr方法，用于解决光场摄像机拍摄得到的光场图像空间分辨率不足的问题。
2、一种基于深度学习的光场图像空间超分辨率的方法，具体包括以下步骤：
3、步骤1：利用光场摄像机拍摄得到原始光场图像数据集，对其进行预处理，得到训练集和测试集；
4、步骤1.1：获取的原始光场图像lf具有n*n角度分辨率，将其转换为具有n*n角度分辨率的光场图像sais，并从中提取s*s角度分辨率的sais用于超分辨率任务；s小于n；
5、步骤1.2：将s*s角度分辨率的光场图像sais分别进行裁剪，用于进行2×sr和4×sr任务；
6、步骤1.3：对裁剪的不同图像块使用双三次下采样生成低分辨率光场图像块lrsais；
7、步骤1.4：通过对lrsais的每个视图执行均匀随机水平翻转、垂直翻转和90度旋转，使其扩充，并将扩充后的lrsais数据集划分成训练集和测试集；
8、步骤2：构建神经网络模型，并基于步骤1得到的训练集对模型进行训练，得到目标分辨率；模型训练完成后使用测试集对其进行测试验证；
9、所述神经网络模型包括：通道堆叠模块、角度堆叠模块、浅层特征提取模块、特征混合模块、顶部特征更新、底部特征更新模块、注意力机制模块以及上采样模块；
10、所述通道堆叠模块和角度堆叠模块：通道堆叠模块和角度堆叠模块分别用于提取像素级特征信息和亚像素级特征信息；在通道堆叠模块中将lrsais训练数据沿通道进行堆叠，然后送入到浅层特征提取模块进行特征的提取；在角度堆叠模块中将lrsais训练数据分别沿不同角度进行堆叠，送入到浅层特征提取模块中进行亚像素级特征信息的学习；
11、所述浅层特征提取模块：用于对堆叠的视图进行特征信息的提取；浅层特征提取模块由两个堆叠的残差空间金字塔池模块resaspp和残差块resblocks组成；在神经网络的顶部分支中，利用浅层特征提取模块从通道堆叠模块中提取全局的特征，从角度堆叠模块中提取亚像素级特征；在底部分支中，利用浅层特征提取模块分别提取每个lrsais的特征；首先通过1×1卷积提取每个输入sais的初始特征，然后将其馈送到级联的resaspp块和resblock中；在每个resassp块中，并行使用3×3卷积提取特征，空间膨胀因子分别为(1，1)、(2，2)、(3，3)和(4，4)；每次扩展卷积后使用leaky relu激活；激活的并行特征沿通道维度连接并通过1×1卷积融合；resblock由两个3×3卷积和一个leaky relu激活组成；
12、所述顶部特征更新模块和底部特征更新模块：顶部特征更新模块和底部特征更新模块用于进行视图间特征信息的交互；顶部分支将提取到的特征信息和亚像素级的特征信息进行拼接融合后送入到底部更新模块进行信息的交互，在底部分支将全局特征信息进行复制并和每个sais视图特征进行拼接，然后送入到1×1卷积并经过leaky relu激活；在顶部更新模块中，将各个视图特征进行重塑，通过3×3卷积进行融合，最后和全局视图特征利用特征混合模块进行拼接，通过3×3卷积来处理连接的特征；
13、所述注意力机制模块：对拼接的lrsais特征计算其通道注意力权重，以此来调节这些特征；
14、所述上采样模块：将经过注意力机制模块得到的lrsais特征信息基于双三次插值上采样得到2×sr和4×sr任务的目标分辨率。
15、本专利技术有益技术效果：
16、由于现有技术在使用深度学习的方法进行lf-ssr重建时，提取的特征信息不够全面，这对图像最终重建质量造成一定的影响，其次采用all-to-one策略在保持光场视差结构的同时，超分辨率所有视图带来了很高的时间复杂度。本专利技术方法设计的通道堆叠模块和角度堆叠模块能够很好提取视图的像素级和亚像素级的特征信息。本专利技术设计的双分支结构能够很好进行特征信息间的交互。此外本专利技术直接重建所有的sais，而不是采用all-to-one策略。通过这种方法，能够显著提升重建后图像的质量，在保持光场的视差结构的同时，显著降低计算的空间复杂度和时间复杂度。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，步骤1具体为：
3.根据权利要求1所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，步骤2所述神经网络模型包括：通道堆叠模块、角度堆叠模块、浅层特征提取模块、特征混合模块、顶部特征更新、底部特征更新模块、注意力机制模块以及上采样模块。
4.根据权利要求3所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，所述通道堆叠模块和角度堆叠模块：通道堆叠模块和角度堆叠模块分别用于提取像素级特征信息和亚像素级特征信息；在通道堆叠模块中将LRSAIs训练数据沿通道进行堆叠，然后送入到浅层特征提取模块进行特征的提取；在角度堆叠模块中将LRSAIs训练数据分别沿不同角度进行堆叠，送入到浅层特征提取模块中进行亚像素级特征信息的学习。
5.根据权利要求3所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，所述浅层特征提取模块：用于对堆叠的视图进行特征信息的
6.根据权利要求3所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，所述顶部特征更新模块和底部特征更新模块：顶部特征更新模块和底部特征更新模块用于进行视图间特征信息的交互；顶部分支将提取到的特征信息和亚像素级的特征信息进行拼接融合后送入到底部更新模块进行信息的交互，在底部分支将全局特征信息进行复制并和每个SAIs视图特征进行拼接，然后送入到1×1卷积并经过Leaky ReLU激活；在顶部更新模块中，将各个视图特征进行重塑，通过3×3卷积进行融合，最后和全局视图特征利用特征混合模块进行拼接，通过3×3卷积来处理连接的特征。
7.根据权利要求3所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，所述注意力机制模块：对拼接的LRSAIs特征计算其通道注意力权重，以此来调节这些特征；
...【技术特征摘要】
1.一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，步骤1具体为：
3.根据权利要求1所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，步骤2所述神经网络模型包括：通道堆叠模块、角度堆叠模块、浅层特征提取模块、特征混合模块、顶部特征更新、底部特征更新模块、注意力机制模块以及上采样模块。
4.根据权利要求3所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，所述通道堆叠模块和角度堆叠模块：通道堆叠模块和角度堆叠模块分别用于提取像素级特征信息和亚像素级特征信息；在通道堆叠模块中将lrsais训练数据沿通道进行堆叠，然后送入到浅层特征提取模块进行特征的提取；在角度堆叠模块中将lrsais训练数据分别沿不同角度进行堆叠，送入到浅层特征提取模块中进行亚像素级特征信息的学习。
5.根据权利要求3所述的一种基于深度学习的光场图像空间超分辨率的方法，其特征在于，所述浅层特征提取模块：用于对堆叠的视图进行特征信息的提取；浅层特征提取模块由两个堆叠的残差空间金字塔池模块resaspp和残差块resblocks组成；在神经网络的顶部分支中，利用浅层特征提取模块从通道堆叠模块中提取全局的特征，从角度堆叠模块中提取亚像素级...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。