高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质技术

本发明专利技术公开了一种高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质，重建模型包括特征提取模块和重建模块，特征提取模块利用一个3*3卷积和8个渐进式特征融合块(PFFB)逐步提取图像的深层次特征信息，同时结合其内部的高效多注意力块(EMAB)对提取到的特征信息进行加权使网络更多的关注高频信息；重建模块由多尺度感受野块RFB_x、3*3卷积和亚像素卷积层组成，RFB_x利用多分支结构对PFFB提取的特征进一步增强，并融合多尺度的特征信息来提升模型的重建性能；最后将低分辨率LR图像的双三次上采样结果与亚像素卷积层上采样结果进行叠加得到重建后的图像。本发明专利技术重建的图像能够恢复更多的高频信息，纹理细节丰富，更接近于原始图像。更接近于原始图像。更接近于原始图像。

【技术实现步骤摘要】
高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质


[0001]本专利技术属于图像重建
，涉及一种高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质。

技术介绍

[0002]单幅图像的超分辨率重建(Single Image super
‑
Resolution，SISR)技术是指将将给定的一幅低分辨率(Low
‑
Resolution，LR)图像通过特定算法恢复成相应的高分辨率(High
‑
Resolution，HR)图像，旨在克服或补偿由于图像采集系统或采集环境本身限制，导致的成像图像质量低下、感兴趣区域不显著等问题。传统的图像超分辨率重建算法主要依靠基本的数字图像处理技术进行重建，计算复杂且不能有效恢复图像的原始信息。
[0003]随着深度学习在图像超分辨率重建中的广泛应用并逐渐取得了较好的结果，受到越来越多研究人员的关注。Dong等首次将卷积神经网络应用于超分辨率重建技术中，提出的SRCNN利用三个卷积层以像素映射的方式生成重建的图像，详见“C.Dong,C.C.Loy, K.He,X.Tang,Image super
‑
resolution using deep convolutional networks,in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),2014,pp.184
‑
199”；Dong等基于SRCNN提出了FSRCNN，其内部采用了更小卷积层，并在网络末端通过反卷积层放大尺寸，详见“C.Dong,C.C.Loy,X.Tang,Accelerating the super
‑
resolution convolutional neuralnetwork,Computer Vision
‑
ECCV Workshops,2016,pp.391
‑
407”；Shi等提出的高效的亚像素卷积神经网络ESPCN在重建模块使用重新排列后的亚像素层实现上采样操作，详情见“W.Shi,J.Caballero,F.Huszar,et al.,Real
‑
time single image and video super
‑
resolutionusing an efficient sub
‑
pixel convolutional neural network,in Proc.IEEE Conf Comput Vis. Pattern Recognit(CVPR),2016,pp.1874
‑
1883”。以上的超分辨率重建方法比较轻量但重建效果不达预期。
[0004]于是人们开始通过增加网络深度来提高模型性能。Kim等提出20层的深层网络 VDSR，它利用残差学习的思想加快网络训练的收敛速度，详情见“J.Kim,K.J.Lee,M.K. Lee,Accurate Image Super
‑
Resolution Using Very Deep Convolutional Networks,in Proc. IEEE Conf Comput.Vis.Pattern Recognit(CVPR),2016,pp.1646
‑
1654”；Ahn等提出一种在残差网络(ResNet)上实现级联机制的架构CARN，其中间部分基于ResNet，网络的全局和局部使用级联机制以更好融合各层网络的特征，详见“N.Ahn,B.Kang,A.K.Sohn, Fast,Accurate,and Lightweight Super
‑
Resolution with Cascading Residual Network, Computer Vision
‑
ECCV Workshops,2018,pp.252
‑
268”；Zhao等提出像素注意力的超分辨率重建网络PAN，通过引入轻量的像素注意力机制来提升网络的重建性能，详见“H. Zhao,X.Kong,J.He,et al.,Efficient image super
‑
resolution using pixel attention,ComputerVision
‑
ECCV Workshops,2020,pp.56
‑
72”；Tian等提出的CFSRCNN利用特征提取模块学习长短路径特征，通过将网络浅层的信息扩展到深层来融合学习到的特
征，详见“C. Tian,Y.Xu,W.Zuo,et al.,Coarse
‑
to
‑
fine CNN for image super
‑
resolution,IEEETransactions on Multimedia,vol.23,2021,pp.1489
‑
1502”。上述方法通过增加网络层数使模型性能得到提升，但随之激增的参数量导致训练难度大幅度增加，有些模型降参后重建性能会明显下降。可见参数和性能很难达到很好的平衡。
[0005]经专利技术人研究发现，现有的基于深度学习的单幅图像超分辨率重建方法的重建效果不佳，主要存在以下问题：(1)基于CNN的一部分超分辨率重建网络较为轻量，但性能不达预期。(2)越来越多的模型为追求重建效果而增加网络深度，尽管性能有所提升但庞大的参数量导致训练的时间复杂度增大，同时特征信息在深层次网络传递过程中的丢失也会影响重建效果。如何充分利用图像的特征信息，使有限的特征实现更好的传递和重用，高效恢复图像的边缘轮廓和纹理细节，在保证性能的同时使模型尽可能的轻量化成为当前急需解决的问题。

技术实现思路

[0006]为了解决上述问题，本专利技术提供一种高效多注意力特征融合的图像超分辨率重建模型，能够改善图像质量，提升观测效果，解决现有超分辨率重建算法由于网络层数过深导致的信息丢失、参数量大的问题。
[0007]本专利技术的第二目的是，提供一种高效多注意力特征融合的图像超分辨率重建方法。
[0008]本专利技术的第三目的是，提供一种电子设备。
[0009]本专利技术的第四目的是，提供一种计算机存储介质。
[0010]本专利技术所采用的技术方案是，一种高效多注意力特征融合的超分辨率重建模型，包括特征提取模块和重建模块；
[0011]所述特征提取模块分为浅层特征提取模块和深层特征提取模块，
[0012]浅层特征提取模块为一个3*3卷积层，对输入的低分辨率LR图像在低维空间进行初始特征提取，有效减少其计算量；
[0013]深层特征提取模块包含8个渐进式特征融合块(PFFB)，PFFB采用渐进式融合的连接方式逐步提取图像的深层次特征信息以加强特征传递，同时结合其内部的高效多注意力块(EMAB)对提取到的特征信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效多注意力特征融合的超分辨率重建模型，其特征在于，主要包括特征提取模块和重建模块；所述特征提取模块分为浅层特征提取模块和深层特征提取模块，浅层特征提取模块为一个3*3卷积层，对输入的低分辨率LR图像在低维空间进行初始特征提取，有效减少其计算量；深层特征提取模块包含8个渐进式特征融合块(PFFB)，PFFB采用渐进式融合的连接方式逐步提取图像的深层次特征信息以加强特征传递，同时结合其内部的高效多注意力块(EMAB)对提取到的特征信息进行加权使网络更多的关注高频信息；所述重建模块由多尺度感受野块RFB_x、一个3*3卷积和一个亚像素卷积层组成，RFB_x利用多分支结构对PFFB块提取的特征进一步增强，并融合多尺度的特征信息来提升模型的重建性能；最后将低分辨率LR图像的双三次上采样结果与亚像素卷积层上采样结果进行叠加得到重建后的高分辨率图像。2.根据权利要求1所述一种高效多注意力特征融合的超分辨率重建模型，其特征在于，所述深层特征提取模块包含8个渐进式特征融合块(PFFB)；所述PFFB中采用四个高效多注意力块(EMAB)层层递进，逐步提取图像的深层次信息；所述PFFB通过多次通道随机混合(C shuffle)，实现对EMAB块中卷积层结果的“信息交互”，将输出的通道进行重新分组，然后混合不同通道的信息，解决卷积层之间的信息流通不畅，不增加计算量的同时使通道充分融合；所述PFFB对每个经EMAB块提取到的特征进行C shuffle，随后连接相邻两个经Cshuffle处理的特征再次进行C shuffle以提高网络的泛化能力，使用1*1卷积移除冗余信息，产生的结果与下一个经C shuffle操作的信息进行特征融合；在PFFB内的EMAB块间重复此操作，逐步收集局部信息并进行特征融合，加强特征传递，有助于提升重建图像的精度；最后采用残差学习将输入特征x
i
与融合后的特征叠加得到第i(i＝0,1,
…
,7)个PFFB块的输出特征x
i+1
，最大限度的利用了LR图像信息来缓解特征在传递过程中的丢失；所述PFFB通过“渐进式”特征融合的连接方式，加强特征提取并对提取到的多层信息进行融合，方便每一层充分利用前面层数学习到的所有特征，使有限的特征实现更好的传递和重用。3.根据权利要求2所述渐进式特征融合块(PFFB)，其特征在于，所述PFFB中采用四个高效多注意力块(EMAB)逐层提取特征；所述EMAB充分利用通道和空间的特征信息逐步对图像的浅层特征去噪，使网络侧重于关注图像中高频细节，有助于增强重建后图像的纹理细节信息；所述EMAB在两个3*3卷积核后使用1*1卷积层缩减通道尺寸，通过步长为2的步长卷积扩大感受野并结合2*2的最大池化层进一步降低网络的空间维数；之后使用空洞卷积层进一步聚合感受野的上下文信息，降低内存的同时提升网络性能，将得到的特征进行上采样操作恢复空间维度，并通过1*1卷积恢复通道维度；所述EMAB在3个卷积层后使用激活函数Frelu来加快收敛速度、防止梯度爆炸；所述EMAB采用高效通道注意力块，避免维度缩减带来的问题，通道注意力由快速的一维卷积生成，通过通道维数的非线性映射自适应确定内部卷积核的尺寸；
所述一维卷积可以高效实现局部跨通道交互，通过捕获局部跨通道的信息，完成其间的相互交流，学习有效的通道注意力。4.根据权利要求1所述一种高效多注意力特征融合的超分辨率重建模型，其特征在于，所述重建模块中的多尺度感受野块RFB_x由1*...

【专利技术属性】
技术研发人员：贾晓芬，李方玗，赵佰亭，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：