基于多级强化注意力机制的双目图像超分辨率重建方法技术

本发明专利技术提供了一种基于多级强化注意力机制的双目图像超分辨率重建方法，在神经网络训练中用多种注意力进行特征增强，充分利用视图内的特征信息进行融合处理，且使用频域相关的损失函数对频域进行约束处理，加强低频信息和图像整体结构的保留，对使得超分辨率后的双目图像恢复出更好的效果，恢复更加清晰的纹理和边缘细节。边缘细节。边缘细节。

【技术实现步骤摘要】
基于多级强化注意力机制的双目图像超分辨率重建方法


[0001]本专利技术涉及双目图像超分辨率
，特别是基于多级强化注意力机制的双目图像超分辨率重建方法。

技术介绍

[0002]实现双目图像超分辨率的一种很直接的方式是对左右两图分别使用单图像超分辨率算法。注意力机制是深度学习领域非常重要的一个研究方向，在过去的几年里，已经涌现了一些性能较为优越的单图像超分辨率算法，例如基于通道注意力构建的RCAN，基于像素注意力机制构建的PAN，基于Transformer自注意力机制构建的SwinIR，基于多尺度大核注意力的MAN等。然而，仅使用单图像超分辨率方法分别独立重建双目图像只使用了图像内的自相似性来恢复细节，但忽视了跨视图之间可以被利用的额外信息，即跨视图相似性，限制了超分辨性能的进一步提高。因此，充分利用跨视图信息可以帮助重建更高质量的超分辨图像，因为一个视图相对于另一个视图对同一个场景区域可能有补充的信息。随着社会的需求，各种适应时代的超分辨率重建技术被提出，双目图像超分辨率重建技术也被应用于各领域的研究基础中，具有极大的应用研究意义。由此产生了基于视差注意力构建的PASSRnet，基于双向视差注意力机制构建的iPASSR，基于Transformer自注意力机制构建的SwinFSR，基于大核卷积注意力机制构建的CVHSSR等。
[0003]尽管为了有效地从内部视图和跨试图中提取更多的特征，有许多尝试探索将多种注意力机制与双目图像超分辨率结合，但大部分双目图像超分辨率方法，在恢复图像自然纹理和边缘细节上差强人意仍然是一个悬而未决的问题。因此，如何基于多种注意力机制，有效利用不同注意力特征间的视点间依赖性，以重建超分辨率双目图像，需要进一步探索。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于多级强化注意力机制的双目图像超分辨率重建方法，充分利用视图内的特征信息进行融合处理，且使用频域相关的损失函数对频域进行处理，加强低频信息和图像整体结构的保留，对使得超分辨率后的双目图像恢复出更好的效果，恢复更加清晰的纹理和边缘细节。
[0005]为实现上述目的，本专利技术采用如下技术方案：基于多级强化注意力机制的双目图像超分辨率重建方法，包括以下步骤：
[0006]步骤S1，建立双目图像训练集；将双目图像超分辨率数据集划分成训练集和测试集，低分辨率图像是通过双三次下采样生成的；在训练阶段，生成的低分辨率图像被裁剪成小块，相应的高分辨率图像也被裁剪，同时这些小块被随机地水平和垂直翻转用来增强训练数据；
[0007]步骤S2，建立并训练基于多级强化注意力机制的双目超分辨率重建网络模型；网络以一对低分辨率的RGB双目图像作为输入，生成超分辨率的双目图像；
[0008]步骤S3，构建损失函数；采用L1损失函数和与频域损失函数相结合的方法来增强
高层次特征空间的监督，约束网络的训练；
[0009]步骤S4，设置训练参数进行网络训练；
[0010]步骤S5，测试网络性能；将低分辨率的双目图像对作为测试样本，输入上一步训练完成的网络模型中，获得超分辨率的双目图像对，用客观评价指标以及视觉效果对比检验超分辨率的效果。
[0011]在一较佳的实施例中，具体来说，基于多级强化注意力机制的双目超分辨率重建网络模型包含两个左右权重共享网络分支；在每个权重共享网络中，对混合注意信息提取模块进行堆叠，提取左右图像的视内通道和空间特征；双目交互视图注意模块用于捕获从左右双目图像中提取的全局对应的信息和交叉视图信息；具体分为三个部分：视图内特征提取、交互视图特征融合和双目图像重建。
[0012]在一较佳的实施例中，所述步骤2具体包括以下步骤：
[0013]步骤S21，视图内特征提取；在特征提取阶段，首先将输入的双目图像输入到3
×
3卷积层中提取浅层特征，生成高维特征其中C为特征通道数；然后将高维特征输入到堆叠的多注意增强块中进行视内特征提取，以获取更多的局部特征和交互信息，恢复更准确的纹理细节；其中，多注意增强块包含混合注意信息提取模块和双目交互视图注意模块；
[0014]混合注意信息提取模块是网络左右分支的基本模块，通过捕获远程和本地依赖关系来更深入地提取视图中的特征；混合注意信息提取模块由两个顺序连接的模块组成；第一个是简化通道和空间信息提取模块，第二个是残差信息聚合的前馈网络模块；两部分的计算过程如下：
[0015]在第一个模块中，经过层归一化后，使用1
×
1的卷积层扩展输入特征映射的通道之后，产生的输出将通过3
×
3深度卷积传递，以捕获每个通道的本地上下文；再使用交叉激活结构A单元来进一步学习空间上下文的有效表示；下一步是简化通道空间注意模块，充分利用通道注意机制和空间注意机制，给定原始输入首先利用平均池化和1
×
1卷积运算来学习给定输入图像的特征映射的通道间关系，实现全局空间信息聚合和通道信息交互的功能，输出简化通道注意特征X1；通过平均池化和最大池化操作对特征图的空间信息进行聚合，再采用3
×
3卷积和Sigmoid函数相结合的方法获得简化的空间注意图；最后，输入特征映射和Sigmoid层的输出的逐元素相乘的结果作为简化空间注意模块的输出X2；简化通道空间注意模块表示为：
[0016][0017][0018]式中W
C
(
·
),H
AP
(
·
)分别为1
×
1卷积、平均池化操作，H
AP,1
(
·
),H
MP,1
(
·
)分别表示对第1维度上进行平均池化、最大池化操作，H
cat
(
·
)表示按维数为1的形式进行拼接，σ(
·
)分别表示Sigmoid激活函数，Θ表示逐元素相乘；
[0019]经过简化通道和空间信息提取模块后，对特征映射的通道进行1
×
1卷积反变换，以产生自适应的特征细化，得到第一个模块的结果；在第二个模块中，在对前一个模块的输出结果进行归一化之后，通过一个含交叉激活结构B单元的残差信息聚合前馈网络来提高
局部上下文感知能力；具体地说，给定一个输入张量首先使用1
×
1的卷积层将X
′
扩展到更高的维度其中k为扩展比；接下来，使用一个3
×
3的深度卷积层对X
′1相邻像素位置的信息进行编码，然后使用CAS
‑
B单元作为深度卷积层的激活函数，特征通道数量减半输出；最后，通过1
×
1卷积层重新映射到的初始输入维X
′2；
[0020]上述过程表示为:
[0021][0022][0023]式中W
C
(
·
),W
D
分别为层归一化、1
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多级强化注意力机制的双目图像超分辨率重建方法，其特征在于，包括以下步骤：步骤S1，建立双目图像训练集；将双目图像超分辨率数据集划分成训练集和测试集，低分辨率图像是通过双三次下采样生成的；在训练阶段，生成的低分辨率图像被裁剪成小块，相应的高分辨率图像也被裁剪，同时这些小块被随机地水平和垂直翻转用来增强训练数据；步骤S2，建立并训练基于多级强化注意力机制的双目超分辨率重建网络模型；网络以一对低分辨率的RGB双目图像作为输入，生成超分辨率的双目图像；步骤S3，构建损失函数；采用L1损失函数和与频域损失函数相结合的方法来增强高层次特征空间的监督，约束网络的训练；步骤S4，设置训练参数进行网络训练；步骤S5，测试网络性能；将低分辨率的双目图像对作为测试样本，输入上一步训练完成的网络模型中，获得超分辨率的双目图像对，用客观评价指标以及视觉效果对比检验双目图像超分辨率的效果。2.根据权利要求1所述的基于多级强化注意力机制的双目图像超分辨率重建方法，其特征在于，具体来说，基于多级强化注意力机制的双目超分辨率重建网络模型包含两个左右权重共享网络分支；在每个权重共享网络中，对混合注意信息提取模块进行堆叠，提取左右图像的视内通道和空间特征；双目交互视图注意模块用于捕获从左右双目图像中提取的全局对应的信息和交叉视图信息；具体分为三个部分：视图内特征提取、交互视图特征融合和双目图像重建。3.根据权利要求2所述的基于多级强化注意力机制的双目图像超分辨率重建方法，其特征在于，所述步骤2具体包括以下步骤：步骤S21，视图内特征提取；在特征提取阶段，首先将输入的双目图像输入到3
×
3卷积层中提取浅层特征，生成高维特征其中C为特征通道数；然后将高维特征输入到堆叠的多注意增强块中进行视内特征提取，以获取更多的局部特征和交互信息，恢复更准确的纹理细节；其中，多注意增强块包含混合注意信息提取模块和双目交互视图注意模块；混合注意信息提取模块是网络左右分支的基本模块，通过捕获远程和本地依赖关系来更深入地提取视图中的特征；混合注意信息提取模块由两个顺序连接的模块组成；第一个是简化通道和空间信息提取模块，第二个是残差信息聚合的前馈网络模块；两部分的计算过程如下：在第一个模块中，经过层归一化后，使用1
×
1的卷积层扩展输入特征映射的通道之后，产生的输出将通过3
×
3深度卷积传递，以捕获每个通道的本地上下文；再使用交叉激活结构A单元来进一步学习空间上下文的有效表示；下一步是简化通道空间注意模块，充分利用通道注意机制和空间注意机制，给定原始输入首先利用平均池化和1
×
1卷积运算来学习给定输入图像的特征映射的通道间关系，实现全局空间信息聚合和通道信息交互的功能，输出简化通道注意特征X1；通过平均池化和最大池化操作对特征图的空间信息进行聚合，再采用3
×
3卷积和Sigmoid函数相结合的方法获得
简化的空间注意图；最后，输入特征映射和Sigmoid层的输出的逐元素相乘的结果作为简化空间注意模块的输出X2；简化通道空间注意模块表示为：简化通道空间注意模块表示为：式中W
C
(
·
),H
AP
(
·
)分别为1
×
1卷积、平均池化操作，H
AP,1
(
·
),H
MP,1
(
·
)分别表示对第1维度上进行平均池化、最大池化操作，H
cat
(
·
)表示按维数为1的形式进行拼接，σ(
·
)分别表示Sigmoid激活函数，Θ表示逐元素相乘；经过简化通道和空间信息提取模块后，对特征映射的通道进行1
×
1卷积反变换，以产生自适应的特征细化，得到第一个模块的结果；在第二个模块中，在对前一个模块的输出结果进行归一化之后，通过一个含交叉激活结构B单元的残差信息聚合前馈网络来提高局部上下文感知能力；具体地说，给定一个输入张量首先使用1
×
1的卷积层将X
′
扩展到更高的维度X
′1，其中k为扩展比；接下来，使用一个3
×
3的深度卷积层对X
′1相邻像素位置的信息进行编码，然后使用CAS
‑
B单元作为深度卷积层的激活函数，特征通道数量减半输出；最后，通过1
×
1卷积层重新映射到的初始输入维X
′2；上...

【专利技术属性】
技术研发人员：吴靖，罗文武，黄峰，
申请(专利权)人：福州大学，
类型：发明
国别省市：