一种基于卷积块注意模块的光场图像超分辨率方法技术

本发明专利技术公开了一种基于卷积块注意模块的光场图像超分辨率方法，本发明专利技术涉及图像处理领域，将光场子孔径图像转化为宏像素元图像，使用低分辨率宏像素元图像作为输入，将其送入基于卷积块注意模块的卷积神经网络中，学习低分辨率图像与高分辨率图像之间的映射关系，恢复高分辨率光场图像，本发明专利技术通过利用宏像素元图像，可以将角度信息和空间信息分开提取，得到的角度信息和空间信息相互正交，两者融合后利用CBAM模块将空间信息和通道信息加权，增强信息的表征能力，恢复出低分辨率图像丢失的精细的纹理结构。的纹理结构。的纹理结构。

【技术实现步骤摘要】
一种基于卷积块注意模块的光场图像超分辨率方法


[0001]本专利技术涉及图像处理领域，具体为一种基于卷积块注意模块的光场图像超分辨率方法。

技术介绍

[0002]随着网络信息高速发展，当今社会正处于数据大爆炸的信息时代，信息呈现出不同的状态，例如文字、视频和图像等。其中图像作为一种重要的信息形式，其分辨率的高低直接影响了信息的表达能力。因此，图像超分辨率成为图像处理中重要的研究课题。光场相机可以一次拍摄多个视角图像，且光场图像包含光线的空间信息和角度信息，因此，光场成像已经成为成像系统研究的焦点，在多个领域有良好的应用前景，例如图像深度估计、三维重建等。但由于光场相机内部传感器的限制带来的光场图像角度分辨率和空间分辨率之间的权衡问题，限制了光场相机的发展，为了充分利用光场相机的潜力，提高光场图像的空间分辨率至关重要。传统的光场图像超分辨率重建方法主要基于优化的方法，利用4D光场结构的数学建模使用各种优化框架对光场图像进行超分辨率。将空间超分辨率问题转化为一个全局优化的问题，利用目标函数约束光场图像之间的关系。但基于优化的方法大多依赖光场相机内部参数和光场图像精确的深度图，因此在使用时受到不同程度的限制。随着科学技术的发展，卷积神经网络逐渐成熟，基于学习的光场图像超分辨率算法随之出现，通过训练学习低分辨率图像和高分辨率图像之间的对应非线性映射关系，来实现光场图像的超分辨率重建。与传统的方法相比，基于学习的方法输出的高分辨率图像保留的高频细节更丰富，重建精度更高。但随着卷积神经网络逐渐加深，特征信息也在增多，这些信息的表征能力并没有得到重视，即对于超分辨率重要的信息应该得到增强，而对于超分辨率不重要的信息应该受到抑制。注意力机制的出现解决了这类问题。注意力最初是为了模仿人类的感知机制而建立的，主要集中在突出部分。即使不使用卷积运算或递归神经细胞，注意机制也能够解决长期依赖性问题。注意机制通常嵌入传统的网络主干中，通过为提取的特征分配自适应权重(注意图)，鼓励网络关注显著部分。其中卷积块注意模块(CBAM)强调沿通道和空间轴这两个主要维度的有意义特征，通过卷积运算混合跨通道和空间信息来提取信息特征。

技术实现思路

[0003]本专利技术的目的在于提供一种基于卷积块注意模块的光场图像超分辨率方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种基于卷积块注意模块的光场图像超分辨率方法，包括以下步骤：
[0005]步骤一：将子孔径图像转化为宏像素元图像；
[0006]步骤二：使用低分辨率宏像素元图像作为输入，将其送入基于卷积块注意模块的卷积神经网络中；
[0007]步骤三：学习低分辨率图像与高分辨率图像之间的映射关系，恢复光场高分辨率图像。
[0008]作为优选，提取光场子孔径图像相同空间坐标处的像素，根据其对应的角度信息进行排列成宏像素，并根据宏像素的空间位置排列成宏像素元图像，进而得到相互正交的角度信息和空间信息。
[0009]作为优选，将光场图像的角度信息和空间信息融合后得到光场图像整体特征，采用卷积块注意模块分别沿通道和空间上生成注意力向量，对两种信息进行加权。
[0010]作为优选，从宏像素元图像中可以提取到相互正交的空间信息和角度信息，经融合及注意力模块后在重构时立足整体，对整体使用ResASPP模块进行整体重构。
[0011]作为优选，所述步骤二中卷积块注意模块包括三部分；
[0012]特征提取部分，从输入的低分辨率宏像素元图像中提取空间特征和角度特征，并将提取的特征进行融合；
[0013]注意力模块，将融合后的特征分别沿通道和空间增强特征表征能力；
[0014]重构和上采样，采用ResASPP对整体进行重构后上采样到目标分辨率，并恢复子孔径图像。
[0015]作为优选，所述特征提取是对输入的低分辨率宏像素元图像进行空间上的卷积操作和角度上的卷积操作，获得正交的空间特征和角度特征，将获得的特征融合，融合后的特征再进行三次相同操作，以提取更深层次特征。
[0016]作为优选，所述的注意力模块是以密集连接的方式将四个CBAM模块连接起来，即每一个CBAM模块的输入都包含前面每一个CBAM模块的输出。每个CBAM模块中包含一个通道注意力部分和一个空间注意力部分。其中，通道注意力部分首先使用最大池化和平均池化对特征的空间维度进行压缩，将压缩后的向量输入到共享感知网络中生成两个注意力向量，将这两个向量对应位置相加并由sigmoid函数生成一个通道注意力权重矩阵，通道注意力向量与通道注意力的输入相乘得到通道注意力的输出。在空间注意力模块中，将通道注意力的输出同时采用最大池化和平均池化对通道域进行压缩，然后对池化后的向量进行串联拼接，对拼接后的向量卷积后经sigmoid函数得到空间注意力权重矩阵，将权重矩阵与空间注意力模块的输入相乘得到最终输出。
[0017]作为优选，所述的重构和上采样是重构时立足于整体，将整体看做一张图像，对其使用ResASPP模块重构特征，即将注意力块的输出同时经膨胀指数分别为1,2,4的卷积后按通道进行连接，并使用卷积核为1的卷积融合，最后与注意力块的输出相加得到重构后的特征。上采样时，将重构后的特征以像素重组的方式扩大到目标分辨率。
[0018]综上所述，本专利技术有益效果是：
[0019]本专利技术通过利用宏像素元图像，可以将角度信息和空间信息分开提取，得到的角度信息和空间信息相互正交，两者融合后利用CBAM模块将空间信息和通道信息加权，增强信息的表征能力，恢复出低分辨率图像丢失的精细的纹理结构。
附图说明
[0020]为了更清楚地说明专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是专利技术
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术一种基于卷积块注意模块的超分辨率方法整体流程结构示意图；
[0022]图2为本专利技术卷积块注意模块构成图
具体实施方式
[0023]本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0024]本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0025]下面结合图1
‑
2对本专利技术进行详细说明，其中，为叙述方便，现对下文所说的方位规定如下：下文所说的上下左右前后方向与图1视图方向的前后左右上下的方向一致，图1为本专利技术装置的正视图，图1所示方向与本专利技术装置正视方向的前后左右上下方向一致。
[0026]请参阅图1
‑
2，本专利技术提供的一种实施例：一种基于卷积块注本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积块注意模块的光场图像超分辨率方法，其特征在于：包括以下步骤：步骤一：将光场子孔径图像转化为宏像素元图像；步骤二：使用低分辨率宏像素元图像作为输入，将其送入基于卷积块注意模块的卷积神经网络中；步骤三：学习低分辨率图像与高分辨率图像之间的映射关系，恢复光场高分辨率图像。2.根据权利要求1所述的一种基于光场图像卷积块注意模块的超分辨率方法，其特征在于：提取光场子孔径图像相同空间坐标处的像素，根据其对应的角度信息进行排列成宏像素，并根据宏像素的空间位置排列成宏像素元图像，进而得到相互正交的角度信息和空间信息。3.根据权利要求1所述的一种基于卷积块注意模块的光场图像超分辨率方法，其特征在于：将光场图像的角度信息和空间信息融合后得到光场图像整体特征，采用卷积块注意模块分别沿通道和空间上生成注意力向量，对两种信息进行加权。4.根据权利要求1所述的一种基于卷积块注意模块的光场图像超分辨率方法，其特征在于：从宏像素元图像中可以提取到相互正交的空间信息和角度信息，经融合及注意力模块后在重构时立足整体，对整体使用ResASPP模块进行整体重构。5.根据权利要求1所述的一种基于卷积块注意模块的光场图像超分辨率方法，其特征在于：所述步骤二中卷积块注意模块包括三部分；特征提取部分，从输入的低分辨率宏像素元图像中...

【专利技术属性】
技术研发人员：单良，牛玉风，赵腾飞，孔明，洪波，华夏杰，周荣幸，仰文淇，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：