本发明专利技术公开了一种轻量级Transformer的垃圾图像超分辨方法及系统，轻量级Transformer块实现多尺度分层网络，获取不同程度的图像细节特征，提高图像的质量。并利用残差操作集成层次特征，提高浅层特征作用，获得更多的细节信息。先验知识转化块将先验信息加到不同尺度不同层获得的结构信息中，提高图像超分辨的鲁棒性。特征融合块根据生物技术中双目互补的思想，通过残差学习操作融合并行的先验知识转化块，提取互补的特征，提高预测图像的像素。最后通过一个卷积，重构高质量图像。本发明专利技术在改进垃圾图像超分辨效果的同时，降低了计算复杂度，实现了高效的轻量级超分辨网络，适用于垃圾图像的识别、分类等应用，在多种应用领域均有显著提升。有显著提升。有显著提升。
【技术实现步骤摘要】
一种轻量级Transformer的垃圾图像超分辨方法及系统
[0001]本专利技术属于图像处理与计算机视觉
，具体涉及一种轻量级Transformer的垃圾图像超分辨方法及系统。
技术介绍
[0002]图像超分辨是计算机视觉领域一个重要分支，指的是以低分辨率图像为输入，重建具有丰富图像细节和清晰纹理的高分辨率图像。图像超分辨在医疗诊断、安全监控和视频恢复等领域有着广泛的应用。例如，在医疗领域，高质量的图像可以帮助医生准确检测疾病；在监控与安全领域，可以提高图像质量，得到更多有价值的图像信息。因此，图像超分辨无论在学术研究还是工业应用中都具有重要意义。
[0003]为了解决单图像超分辨问题，研究人员根据上述模型，开发了多种基于低水平视觉任务退化模型的方法。其中不使用神经网络进行处理的超分辨方法被称为传统方法。一般来说，传统的单图像超分辨率可分为三类，即基于图像本身信息的方法、基于先验知识的方法和机器学习方法。但是传统方法在图像处理的过程中存在一些弊端，例如模型过于复杂、计算成本过高和超分辨过程需要手动设置参数等。针对上述问题，深度学习方法异军突起。2016年，研究人员提出超分辨率卷积神经网络(Super
‑
Resolution Convolutional Neural Network，SRCNN)，这是深度学习第一次应用到图像超分辨率重建领域。与传统方法相比，该模型不仅可以自动学习参数，而且优化算法更加简明，模型组成更加轻量化。尽管该网络模型只包含一个预处理层和三个卷积层，但在图像超分辨率方面获得了比一些流行的机器学习方法更强的学习能力，证明了卷积神经网络(Convolutional Neural Network，CNN)在处理图像超分辨任务的优越性。SRCNN的网络结构如图1所示。
[0004]SRCNN虽然成功地将深度学习技术引入到单图像超分辨率问题中，但仍然存在三方面局限性：
[0005]第一，模型依赖于小图像区域的上下文信息；
[0006]第二，模型训练收敛过慢；
[0007]第三，模型只适用于单一尺寸的输入图像。
[0008]为了解决上述问题，研究人员提出了深度超分辨率卷积神经网络(Very Deep Super
‑
Resolution convolutional network，VDSR)，针对SRCNN的第一个问题，VDSR通过在深度网络结构中使用多次级联小滤波器，可以有效利用大图像区域的上下文信息；针对第二个问题，VDSR利用残差结构，并使用可调梯度剪裁提高学习率来加快收敛速度；针对第三个问题，模型通过设置比例因子，实现了模型参数在所有预定义的比例因子中共享，由此得到多尺度模型。VDSR的网络结构如图2所示。总体而言，VDSR将残差学习引入了图像超分辨领域，使用残差学习和极高的学习率实现了深层网络的快速优化，不仅将收敛速度最大化，而且采用梯度裁剪保证了训练的稳定性。
技术实现思路
[0009]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种轻量级Transformer的垃圾图像超分辨方法及系统，用于解决垃圾图像分辨率较低、图像质量差的技术问题，在降低模型计算复杂度、加快训练过程的同时，有效提高了图像超分辨网络的性能。
[0010]本专利技术采用以下技术方案：
[0011]一种轻量级Transformer的垃圾图像超分辨方法，包括以下步骤：
[0012]对低分辨率图像进行分层提取并加入残差信息，获得四种不同层级的图像细节特征信息；
[0013]通过卷积和轻量化操作对四种不同层级的图像细节特征信息进行处理，然后将先验知识分级融合到四种不同层级的图像细节特征信息中，利用残差融合架构将特征合并输出；
[0014]对输出的图像细节特征信息进行像素重组，得到预测的高分辨率图像。
[0015]具体的，获得四种不同层级的图像细节特征信息具体为：
[0016]使用分层特征提取模块输出不同程度的图像细节特征信息，使用特征融合块结合四种图像特征，并将先验信息与图像特征融合，得到四种不同层级的图像细节特征信息。
[0017]进一步的，分层特征提取模块包括四个层级，具体如下：
[0018]第一层级包括8个Transformer L1块，根据数据处理的顺序，前4块Transformer L1块执行初步提取，并通过PCA模块处理后输入第二层级；后四块Transformer L1块用于对加入残差信息后的图像特征进行再次提取，然后输出至特征融合块；
[0019]第二层级包括6个Transformer L2块，前3块Transformer L2块用于对上级特征提取后继续向下输出；后3块Transformer L2块用于对Transformer L1和Transformer L3残差合并后进一步特征处理，并输出至特征融合块；
[0020]第三层级包括4个Transformer L3块，前2块Transformer L3块用于对上级特征提取后通过PCA模块与5
×
5卷积输入第四层级，后2块Transformer L3块在融合残差信息处理后，输出至特征融合块；
[0021]第四层级包括两个Transformer L4块，用于对融合第一层级与第三层级残差后的特征信息进行提取，并输出至特征融合块。
[0022]更进一步的，第一层级、第二层级、第三层级和第四层级中，Transformer块的数量自底向上逐渐增加。
[0023]更进一步的，第四层级中，使用残差连接得到融合后的图像特征信息，经过层标准化后输入多头注意力机制，输出的特征图为：
[0024][0025]其中，X为输入的特征图，分别为将原始大小的张量重塑后得到Query，Key和Value矩阵，W
p
为1
×
1卷积，α为一个可学习的尺度参数；
[0026]输出的图像特征F
l
为：
[0027]F
l
∈R
H/8
×
W/8
×
8C
[0028]其中，R为特征图，C为特征图通道数，H为特征图的高，W为特征图的宽。
[0029]具体的，利用残差融合架构将特征合并输出具体为：
[0030]将输入特征通过不同卷积进行初步提取，同时将特征图维度保持一致；将初步提取的特征信息输入先验知识转化块PITM用于融合先验信息，得到先验信息集合；通过1*1卷积以及softmax层对先验信息集合执行自适应权值分配，按照相应权值与图像特征进一步融合。
[0031]进一步的，先验信息ψ是由一对仿射变换参数(γ,β)通过映射函数M:ψ
→
(γ,β)建模得到，函数计算如下：
[0032][0033](γ,β)＝M(ψ)
[0034]其中，(γ,β)分别为先验信息通过卷积运算得到，x为处理后的先验信息对，表示处理后的先验本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种轻量级Transformer的垃圾图像超分辨方法，其特征在于，包括以下步骤：对低分辨率图像进行分层提取并加入残差信息，获得四种不同层级的图像细节特征信息；通过卷积和轻量化操作对四种不同层级的图像细节特征信息进行处理，然后将先验知识分级融合到四种不同层级的图像细节特征信息中，利用残差融合架构将特征合并输出；对输出的图像细节特征信息进行像素重组，得到预测的高分辨率图像。2.根据权利要求1所述的轻量级Transformer的垃圾图像超分辨方法，其特征在于，获得四种不同层级的图像细节特征信息具体为：使用分层特征提取模块输出不同程度的图像细节特征信息，使用特征融合块结合四种图像特征，并将先验信息与图像特征融合，得到四种不同层级的图像细节特征信息。3.根据权利要求2所述的轻量级Transformer的垃圾图像超分辨方法，其特征在于，分层特征提取模块包括四个层级，具体如下：第一层级包括8个Transformer L1块，根据数据处理的顺序，前4块Transformer L1块执行初步提取，并通过PCA模块处理后输入第二层级；后四块Transformer L1块用于对加入残差信息后的图像特征进行再次提取，然后输出至特征融合块；第二层级包括6个Transformer L2块，前3块Transformer L2块用于对上级特征提取后继续向下输出；后3块Transformer L2块用于对Transformer L1和Transformer L3残差合并后进一步特征处理，并输出至特征融合块；第三层级包括4个Transformer L3块，前2块Transformer L3块用于对上级特征提取后通过PCA模块与5
×
5卷积输入第四层级，后2块Transformer L3块在融合残差信息处理后，输出至特征融合块；第四层级包括两个Transformer L4块，用于对融合第一层级与第三层级残差后的特征信息进行提取，并输出至特征融合块。4.根据权利要求3所述的轻量级Transformer的垃圾图像超分辨方法，其特征在于，第一层级、第二层级、第三层级和第四层级中，Transformer块的数量自底向上逐渐增加。5.根据权利要求3所述的轻量级Transformer的垃圾图像超分辨方法，其特征在于，第四层级中，使用残差连接得到融合后的图像特征信息，经过层标准化后输入多头注意力机制，输出的特征图为：其中，X为输入的特征图，分...
【专利技术属性】
技术研发人员：田春伟，王璐，张璇昱，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。