一种基于微注意力的轻量化图像超分辨率重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于微注意力的轻量化图像超分辨率重建方法及装置，涉及计算机视觉领域，其中，重建方法包括：基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力Transformer模块；收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小并进行旋转处理，作为训练图像；基于微注意力机制和混合注意力Transformer模块，构建轻量化图像超分辨网络；基于训练图像训练轻量化图像超分辨网络，并使用Adam优化器计算梯度和更新轻量化图像超分辨网络的参数；基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。有效地降低了模型复杂度，提高了图像处理效率。提高了图像处理效率。提高了图像处理效率。

【技术实现步骤摘要】
一种基于微注意力的轻量化图像超分辨率重建方法及装置


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于微注意力的轻量化图像超分辨率重建方法及装置。

技术介绍

[0002]图像超分辨率重建旨在从因各种原因而退化的低分辨率图像中重建出拥有纹理细节以及良好视觉效果的高分辨率图像。图像超分辨率重建是一个不适定的任务，对于某一个低分辨率图像输入，可能存在着多个不同的高分辨率图像与之对应，是一种一对多的映射关系。超分辨率是计算机视觉以及图像处理领域中一个重要的任务，它被广泛地应用在目标检测、智能移动设备、大型的智能屏幕显示设备、医学图像、安全监控中的目标识别以及遥感图像等领域。
[0003]近年来，随着深度学习在计算机视觉领域的兴起，并在各个视觉任务中取得了远远超过传统方法的成果。自然地，将深度学习应用到图像超分辨率上也成为当下的热点，大量基于深度学习的图像超分辨率算法如雨后春笋般涌现并在取得了远超传统图像重建方法的世界一流成绩。尤其在Transformer模型(自注意力模型)应用到图像处理领域，研究人员发现其拥有远超卷积神经网络的特征提取能力。Transformer在图像超分辨率重建上也取得了巨大成就，然而现阶段大多数方法都具有巨大的参数量，复杂的网络结构，随之而来的就是模型体积大，运算速率慢。这些问题导致就注定了其很难被部署到移动设备和边缘设备等一系列计算资源有限的设备上。为了解决这些问题，大量的轻量型深度学习网络模型被提出。
[0004]其中，IMDN网络(Lightweight Image Super
‑
Resolution with Information Multi
‑
distillationNetwork，超分辨率网络)是该类算法中的经典算法，但以该模型为代表的轻量型超分辨率算法由于使用了普通的卷积核而导致部分冗余参数；另外，这种普通的卷积机制的感受野较小，存在着无法捕捉长距离信息依赖关系的问题；为了减少运算量，很多轻量型网络在细节重建上表现欠佳。总之，这些方法没有很好地同时在模型容量，运行时间以及超分辨率结果上取得一个很好地平衡。因此，亟需设计一种在使得模型在各个方面都更加轻量化的同时还能很好保持模型超分辨率结果的方案。

技术实现思路

[0005]针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于微注意力的轻量化图像超分辨率重建方法及装置。本专利技术利用递归思想将深层特征提取分解为4个迭代的模块，通过这种方法有效地降低了模型复杂度，提高了信息处理效率，相比于已有的轻量化图像超分辨率模型，本专利技术在取得优良的图像超分辨率重建结果的同时减小模型的容量和计算消耗来提升模型的推理速度。
[0006]为达到以上目的，本专利技术采取的技术方案是：
[0007]基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力
Transformer模块；
[0008]收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；
[0009]基于微注意力机制和混合注意力Transformer模块，构建轻量化图像超分辨网络；
[0010]基于训练图像训练轻量化图像超分辨网络，并使用Adam优化器计算梯度和更新轻量化图像超分辨网络的参数；
[0011]基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。
[0012]在上述技术方案的基础上，对于移动分组卷积，构建的具体步骤包括：
[0013]初始化一个3*3值为0的卷积权重，并将通道分为5份，每份通道大小记为g；
[0014]将[0,g]通道的(0，0)位置的权重设为1，关注左上角信息；将[g，2g]通道的(0，2)位置的权重设为1，关注右上角信息；将[2g，3g]通道的(0，0)位置的权重设为1，关注左下角信息；将[3g,4g]通道的(2，2)位置的权重设为1，关注右下角信息；将[4g，5g]通道的(1，1)位置的权重设为1，关注全局信息，并进行步长为1的分组卷积。
[0015]在上述技术方案的基础上，所述可变多头蓝图自注意力用于对头部数量进行设置和控制，以及进行Q、K、V的提取，并将Q与K相乘得到注意力矩阵，将注意力矩阵与V相乘以对重点信息进行加强；
[0016]其中，Q为查询矩阵，K为键矩阵，V为值矩阵。
[0017]在上述技术方案的基础上，所述蓝图前馈神经网络基于蓝图卷积和GELU激活函数构建得到。
[0018]在上述技术方案的基础上，所述收集预设数量的高低分辨率图像对，具体步骤包括：
[0019]下载图像恢复领域中提供的DIV2K数据集和Flickr2K数据集中的高分辨率图像，以及下载高分辨率图像对应的不同下采样倍数的低分辨率图像。
[0020]在上述技术方案的基础上，所述基于训练图像训练轻量化图像超分辨网络，并使用Adam优化器计算梯度和更新轻量化图像超分辨网络的参数，具体步骤包括：
[0021]使用Adam优化器计算梯度和更新基于微注意力机制的轻量化图像超分辨率网络参数，且计算和更新过程中迭代训练预设次数，并采用损失函数L1进行评估，将学利率设置为设定值，并采用cos余弦学习率下降；
[0022]其中，所述损失函数L1为：
[0023][0024]其中，HR为高分辨率图像，SR为图像超分辨率重建结果，n为图像超分辨率重建结果的像素点个数。
[0025]在上述技术方案的基础上，所述轻量化图像超分辨网络包括2个3*3的普通卷积和4个Transformer模块组；
[0026]所述Transformer模块组包括2个混合注意力Transformer模块。
[0027]在上述技术方案的基础上，所述基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建，
具体步骤包括：
[0028]将待处理图像输入轻量化图像超分辨网络，基于3*3的普通卷积提取得到浅层特征；
[0029]将待处理图像作为输入，输入到当前Transformer模块组，控制第一个移动分组卷积进行通道扩张；
[0030]将通过第一个移动分组卷积的特征通过激活函数ReLU，并通过下一个移动分组卷积进行通道回缩；
[0031]通过对比感知通道注意力加强对通道重要信息的关注，将通道重要信息与通过第一个移动分组卷积的特征相加得到特征信息，并将特征信息再输入到蓝图前馈神经网络；
[0032]将通过蓝图前馈神经网络的特征信息输入蓝图多头自注意力，提取得到深层特征；
[0033]将提取得到的深层特征作为输入，输入到下一个Transformer模块组，依此循环，直至第四个Transformer模块组输出深层特征；
[0034]将第四个Transformer模块组输出的深层特征与提取得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，包括以下步骤：基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力Transformer模块；收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；基于微注意力机制和混合注意力Transformer模块，构建轻量化图像超分辨网络；基于训练图像训练轻量化图像超分辨网络，并使用Adam优化器计算梯度和更新轻量化图像超分辨网络的参数；基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。2.如权利要求1所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，对于移动分组卷积，构建的具体步骤包括：初始化一个3*3值为0的卷积权重，并将通道分为5份，每份通道大小记为g；将[0,g]通道的(0，0)位置的权重设为1，关注左上角信息；将[g，2g]通道的(0，2)位置的权重设为1，关注右上角信息；将[2g，3g]通道的(0，0)位置的权重设为1，关注左下角信息；将[3g,4g]通道的(2，2)位置的权重设为1，关注右下角信息；将[4g，5g]通道的(1，1)位置的权重设为1，关注全局信息，并进行步长为1的分组卷积。3.如权利要求2所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于：所述可变多头蓝图自注意力用于对头部数量进行设置和控制，以及进行Q、K、V的提取，并将Q与K相乘得到注意力矩阵，将注意力矩阵与V相乘以对重点信息进行加强；其中，Q为查询矩阵，K为键矩阵，V为值矩阵。4.如权利要求3所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于：所述蓝图前馈神经网络基于蓝图卷积和GELU激活函数构建得到。5.如权利要求4所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，所述收集预设数量的高低分辨率图像对，具体步骤包括：下载图像恢复领域中提供的DIV2K数据集和Flickr2K数据集中的高分辨率图像，以及下载高分辨率图像对应的不同下采样倍数的低分辨率图像。6.如权利要求5所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，所述基于训练图像训练轻量化图像超分辨网络，并使用Adam优化器计算梯度和更新轻量化图像超分辨网络的参数，具体步骤包括：使用Adam优化器计算梯度和更新基于微注意力机制的轻量化图像超分辨率网络参数，且计算和更新过程中迭代训练预设次数，并采用损失函数L1进行评估，将学利率设置为设定值，并采...

【专利技术属性】
技术研发人员：张乐飞，毕修平，
申请(专利权)人：武汉大学，
类型：发明
国别省市：