基于多尺度自适应非局部注意力网络的图像超分辨率方法技术

本发明专利技术公开了一种多尺度自适应非局部注意力网络的图像超分辨率方法，包括：S1全局密集连接、局部残差连接的网络框架；S2非局部注意力模块中的基于自适应稀疏聚合的多尺度非注意力模块；S3非局部注意力模块中的反向残差投影特征融合方法；S4通道注意力模块中的二次通道注意力计算方法；S5基于亚像素卷积算法的上采样层。本发明专利技术首先将降采样后的低分辨率图像输入基于注意力机制的超分辨率模型中，经过浅层特征提取、深层特征提取、上采样以及重构后获得超分辨率图像。其中在深层特征提取中本发明专利技术设计了自适应稀疏聚合策略以及多尺度非局部注意力计算，使得网络能够关注更相关的特征信息以提升生成的超分辨率图像的精度。征信息以提升生成的超分辨率图像的精度。征信息以提升生成的超分辨率图像的精度。

【技术实现步骤摘要】
基于多尺度自适应非局部注意力网络的图像超分辨率方法


[0001]本专利技术属于基于深度学习神经网络的图像超分辨率领域，具体涉及通过注意力机制挖掘图像中潜在的非局部语义信息以及局部结构特征信息的基于多尺度自适应非局部注意力网络的图像超分辨率方法。

技术介绍

[0002]图像超分辨率技术，简称超分SR，指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。该技术在多个领域都有着广泛的应用范围和研究意义，主要包括：在图像压缩方面，网络传输过程中可以只传输低分辨率的图片，然后通过重建操作得到高分辨率图像。传输低分辨率图像相比高分辨率图像来说，可以减少网络负载；在医学图像方面，可以通过设备得到低分辨率图像，通过重建，能更加清晰地看到组织、细胞的状态；在公安安防方面，通过超分辨率重建可以恢复清晰的车牌号码、人脸；在视频感知领域，通过图像超分辨率重建技术，可以起到聚合视频画质、改善视频的质量，提升用户视觉体验的作用。随着深度学习的发展，基于深度学习的超分辨率方法性能相比传统的方法提升十分显著，并逐渐取代了传统的方法作为主流的超分辨率研究方法。如何设计网络拓扑结构、挖掘图片中潜藏的相关特征成为了学术界和工业界的核心关注点。
[0003]目前，国内外学者在基于注意力机制的图像超分领域做出了很多有价值的研究成果。Dai等人使用二阶通道注意(SPCA)模块使用二级特征度量(使用协方差计算通道权重而不是全局平均池化)提取更多的基于通道的数据表示。在此基础上，Woo等人在两种注意力的基础上提出了CBAM，该模块沿着通道和空间两个独立的维度依次推断注意特征图，然后将注意特征图乘以输入特征图进行自适应特征细化。由于非局部注意力会给噪声很大的权重，并且会带来2次的计算复杂度，Xia等人提出了一种新的高效的非局部对比注意(ENLCA)来执行长程视觉建模和利用更相关的非局部特征。
[0004]已有的图像超分方法通过残差卷积以及非局部注意力模块提取图像的结构特征，未充分利用图像中的跨尺度乃至多尺度及多级别特征，导致网络会受大量的非相关特征的噪声干扰，使得超分模型生成的高分辨率图像具有纹理紊乱、结构及边界模糊的现象。

技术实现思路

[0005]通过对现有的图像超分辨率模型进行探究，发现大多数基于注意力机制的模型存在以下几点缺陷：不能很好地利用跨尺度之间的空间信息来充分挖掘图片的深层次特征；没有考虑到空间注意力与通道注意力对特征的相互影响；在空间注意力中将噪音权重过于放大，没有突出相似度较大的像素特征。为改善这些问题，本专利技术提出基于自适应稀疏聚合的多尺度非局部注意力模块，利用反向残差投影将基于自适应稀疏聚合的多尺度非局部注意力模块输出与普通非局部注意力模块输出进行特征融合，并采用二阶通道注意力模块同
上述构成的空间注意力模块级联残差块部分，最后采用全局密集连接、局部残差连接的方式作为非线性映射部分的总体网络框架。
[0006]本专利技术提供基于多尺度自适应非局部注意力网络的图像超分辨率方法具体分为以下步骤：
[0007]步骤1.提取浅层特征，采用单卷积层实现。分别将I
LR
和I
SR
作为模型的输入与输出，输入代表低分辨率图像，输出代表模型生成的高分辨率图像。公式为：
[0008]F0＝H
FSE
(I
LR
)
[0009]其中H
FSE
(
·
)表示卷积操作，F0为浅层特征的提取结果。
[0010]步骤2.将提取到的浅层特征图输入到非线性映射层。非线性映射层作为网络设计的主要部分，能够捕获到图像的深层特征。非线性映射层主要由若干个残差组密集连接而成，在残差组内本专利技术采用长跳跃的残差连接。一方面，这种方式能够有效构建起全局的密集连接从而避免梯度消失和梯度爆炸影响模型性能，另一方面，局部采用长跳跃连接可以有效减小模型的计算复杂度，提高训练模型的效率。在残差组中，本专利技术设计了基于自适应稀疏聚合的多尺度非局部注意力模块，该模块是在原有的非局部注意力上进行拓展，通过对多个特定尺度的特征图进行跨尺度像素匹配，来评估特征之间的相关性。
[0011]通过跨尺度搜索信息可以从多尺度的对应关系中匹配到噪声更低的信号，因为将特征图缩小为更粗粒度的描述符并与之进行匹配可以有效降低噪声影响，而由于跨尺度所代表的内容相似，因此在缩小尺度后的结构信息仍将得到很好的保存。在每一级的跨尺度操作中采用卷积的方法来实现非局部注意力计算，实现方式是将较小尺寸的特征图作为卷积核对较大尺度的特征图进行卷积计算来实现相似度矩阵的获取。最后再利用小尺寸特征图所构成的卷积核对相似度矩阵做反卷积计算即可获得输出结果。
[0012]本专利技术同时设计了一种新的相似度矩阵降噪策略，即自适应稀疏聚合策略。自适应稀疏聚合是对非局部注意力的自相似矩阵进行元素级映射操作，其本质是过滤无关的空间信息，并且扩大相关信息的权重。当自相似矩阵做归一化指数函数操作时元素会根据自身值的大小来决定能否被赋予一个更大的权重。添加自适应稀疏聚合的非局部注意力计算公式可以表示为：
[0013][0014]f(x)＝xe
k|x|
[0015]其中Q
i
、K
j
和V
j
分别是待计算相似度的特征图，Y
j
是计算结果，f(x)是相似度矩阵的映射函数，k是一个大于0的系数。
[0016]为了使得基于自适应稀疏聚合的多尺度非局部注意力模块输出的特征图能够赋予相关特征更大的权重，本专利技术提出了反向残差投影来进行特征融合。反向残差投影是用于对各分支进行特征融合，其中的分支包括多尺度非局部注意力分支、普通单尺度非局部注意力分支、恒等映射分支。传统的解决办法之一是将几个分支的输出特征图连接在一起，再做一个卷积核宽高为1的通道卷积操作压缩通道。而反向残差投影可以充分利用不同分支上的特征间相互作用关系，从而使网络更加关注富信息量特征。
[0017]具体来说，反向残差投影分为残差投影和反向投影。残差投影首先对基于自适应
稀疏聚合的多尺度非局部注意力模块和普通非局部注意力模块的输出相减获得的相差特征图做一次卷积操作后与基于自适应稀疏聚合的多尺度非局部注意力模块输出的特征图进行长跳跃连接。这样做的目的是使得网络关注两个输入之间的信息差异而绕过输入之间的信息共识。反向投影的灵感则是来源于深度反向投影网络，该部分的输入分别是上述的残差连接的输出以及模块的原输入，即恒等映射。首先分别将两个输入进行上采样，放大到相同尺寸后将二者做相减操作，然后对结果进行卷积操作后将结果进行下采样，最后于残差连接的结果进行长跳跃连接，最终获得输出。
[0018]将上述的部分作为空间注意力模块，并同二次通道注意力模块、局部注意力模块进行级联，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度自适应非局部注意力网络的图像超分辨率方法，其特征在于，包括以下步骤：步骤1.将低分辨率图像输入到超分辨率网络中；首先输入通过浅层特征提取层；该层由一个3
×
256
×3×
3的卷积层构成，将低分辨率图像通道维映射到高维空间；计算公式为：F0＝H
FSE
(I
LR
)其中H
FSE
表示浅层特征提取过程，I
LR
表示低分辨率图像，F0为浅层特征提取层的输出特征图；步骤2.将上述得到的浅层特征图作为非线性映射层的输入；计算公式为：F1＝H
DF
(F0)其中H
DF
表示非线性映射整体过程，F1为非线性映射层的输出特征图；步骤3.将非线性映射部分的输出作为上采样层的输入；上采样层采用亚像素卷积算法来实现特征图的尺寸放大到指定大小；计算公式为：F2＝H
PS
(F1)其中H
PS
表示亚像素卷积层，F2为上采样层的输出特征图；步骤4.将放大尺寸后的特征图通过一个卷积层进行重构，该卷积核拥有三个通道分别对应颜色的RGB三个通道，生成高分辨率的图像I
SR
；重构的计算公式可以表示为：I
SR
＝H
RE
(F2)其中H
RE
表示重构模块的单卷积层；整个模型用计算公式表示为：I
SR
＝H
A
(I
LR
)其中H
A
()表示本发明所设计的超分辨率模型；步骤5.采用平均绝对误差作为损失函数计算损失；损失函数公式为：其中，N表示图像中特征的总个数，I
LR
表示低分辨率图像，I
HR
表示高分辨率图像；在优化过程中，将当前批量的数据集作为输入传入模型，然后计算预测值与实际值之间的损失函数值；根据损失函数的值来更新模型参数，使得损失函数的值下降；重复进行这种迭代的优化过程，直到达到收敛条件为止，最终训练结束得到模型；步骤6.计算超分辨率模型定量评估指标PSNR以及SSIM来量化模型性能；PSNR值的计算公式为：其中，M是像素值的最大值，MSE是均方误差，是两幅图像之间每个像素误差的平方和的平均值；SSIM值的计算公式为：
其中，x和y分别为两幅图像；μ
x
和μ
y
为两幅图像的均值；和为两幅图像的方差；σ
xy
为两幅图像的协方差；C1和C2为需要进行调整的常数参数。2.根据权利要求1所述的基于多尺度自适应非局部注意力网络的图像超分辨率方法，其特征在于，步骤2包括以下子步骤：步骤2.1.非线性映射层由若干个残差块RB密集连接而成，所以每一个残差块RB中的第一个构成模块RCABP都需要接收前面所有残差块的输出，从而构成密集连接；密集连接通过连接所有先前的层，使得所有层都能够访问之前的特征图；实现密集连接的模块分别由由一个(256*n)
×
256
×3×
3的卷积层convD、relu函数、一个256
×
256
×3×
3的卷积层conv以及通道注意力层CAlayer构成；其中n为残差块的序号，Out
RCABP
是RCABP的输出结果，F
conv
表示卷积操作，F
convD
表示用于处理密集连接的卷积操作；计算公式为：Out
RCABP
＝F
CAlayer
(F
conv
(relu((F
convD
(F1))))步骤2.2.RCABP的输出作为非局部注意力模块的输入；非局部注意力将输入分别用基于自适应稀疏聚合的多尺度非局部注意力模块、普通非局部注意力模块和恒等映射进行处理，并通过反向残差投影对三个模块的输出进行特征融合；步骤2.3.非局部注意力...

【专利技术属性】
技术研发人员：张新，江胜嵊，殷昱煜，张伟，孙茜茜，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：